WO2018088425A1 - 画像評価装置、画像評価方法及び画像評価プログラム - Google Patents

画像評価装置、画像評価方法及び画像評価プログラム Download PDF

Info

Publication number
WO2018088425A1
WO2018088425A1 PCT/JP2017/040238 JP2017040238W WO2018088425A1 WO 2018088425 A1 WO2018088425 A1 WO 2018088425A1 JP 2017040238 W JP2017040238 W JP 2017040238W WO 2018088425 A1 WO2018088425 A1 WO 2018088425A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
difference
images
region
target
Prior art date
Application number
PCT/JP2017/040238
Other languages
English (en)
French (fr)
Inventor
暁経 三反崎
和也 早瀬
清水　淳
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to EP17869905.4A priority Critical patent/EP3525459B1/en
Priority to JP2018550227A priority patent/JP6708749B2/ja
Priority to EP21217737.2A priority patent/EP4002832B1/en
Priority to US16/348,414 priority patent/US11042771B2/en
Publication of WO2018088425A1 publication Critical patent/WO2018088425A1/ja
Priority to US17/187,187 priority patent/US11710226B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Definitions

  • the present invention relates to an image evaluation apparatus, an image evaluation method, and an image evaluation program.
  • This application claims priority based on Japanese Patent Application No. 2016-219716 filed in Japan on November 10, 2016 and Japanese Patent Application No. 2016-224922 filed in Japan on November 18, 2016, The contents are incorporated here.
  • Patent Document 1 With the increase in storage capacity of hard disk drives and semiconductor storage devices, it is possible to store a large amount of images (see Patent Document 1). A technique for detecting a difference between accumulated images has also been studied (see Patent Document 2). However, it is assumed that as the number of stored images increases, the number or / and the ratio of inappropriate images increases, and it becomes difficult to perform appropriate evaluation based on a plurality of stored images. As a cause that makes it difficult to evaluate a plurality of accumulated images, for example, it may be difficult to determine an evaluation index based on a plurality of accumulated images.
  • JP 2014-86913 A Japanese Patent No. 4995787
  • an object of the present invention is to provide an image evaluation apparatus, an image evaluation method, and an image evaluation program capable of obtaining an evaluation index based on the quality of a plurality of accumulated images.
  • the image evaluation device includes a target image that is one of three or more images obtained by capturing substantially the same spatial region, and the target image among the plurality of images.
  • a determination result acquisition unit that acquires a determination result about the presence or absence of a difference from a reference image that is an image other than the number, a number determined to have a difference between the target image and the reference image, and the target image
  • an evaluation index acquisition unit that acquires evaluation indexes of the plurality of images based on at least one of the numbers determined to have no difference from the reference image.
  • the plurality of images are time-series images
  • the determination result acquired by the determination result acquisition unit is the target.
  • a result of detecting the number of the time-series images for each region in the target image is obtained as the evaluation index.
  • the evaluation index acquisition unit has a probability that the presence or absence of a difference between the small images is erroneously determined is less than a first threshold value. In some cases, a value representing the priority at which the difference is to be evaluated is obtained as the evaluation index.
  • the evaluation index acquisition unit has a probability that the presence / absence of a difference between the small images is erroneously determined is greater than or equal to a first threshold value. In some cases, a value representing the accuracy of the result determined that there is a difference between the small images is obtained as the evaluation index.
  • the image evaluation device in the third or fourth aspect, between the small images based on a comparison result between a value corresponding to the evaluation index and a second threshold value.
  • a binarization unit that obtains a binary evaluation index indicating the presence or absence of a difference is further provided.
  • the small image of the region in the target image and the small image of the region in the reference image And a difference determination unit that determines whether or not there is a difference and obtains the determination result.
  • the target image is based on the evaluation index obtained for each of the regions in the target image.
  • an image processing unit for enlarging the small image in the region.
  • the evaluation index acquisition unit determines a quality standard related to the spatial region among the plurality of images based on the evaluation index. An image that satisfies the quality criteria is classified from an image that does not meet the quality standard.
  • the evaluation index acquisition unit is different from the target image with respect to the total number of the reference images in the plurality of images.
  • the ratio of the number of the reference images determined as is acquired as the evaluation index.
  • the evaluation index acquisition unit is configured to determine a region in the target image with respect to a total area of the reference image in the plurality of images.
  • the ratio of the total area of the small images in the area in the reference image determined to have a difference from the small image to the total number of areas in the reference image in the plurality of images is small in the area in the target image.
  • One of the ratio of the number of regions in the reference image including the small image determined to be different from the image is acquired as the evaluation index.
  • the target image that does not satisfy the quality standard is determined based on a magnitude relationship between the evaluation index and a threshold value.
  • the image processing apparatus further includes a removal unit that removes the plurality of images.
  • the image evaluation device further includes a difference determination unit that determines whether or not there is a difference between the target image and the reference image. .
  • the difference determination unit has a difference from the target image in an area of a certain ratio or more with respect to the area of the reference image.
  • the determined reference image is determined to be the reference image having a difference from the target image.
  • the difference determination unit determines that there is no difference from an image selected from the plurality of images. Other images are included in the plurality of images.
  • An image evaluation method includes a target image that is one of three or more images obtained by capturing substantially the same spatial region, and the target image of the plurality of images.
  • a step of obtaining a determination result about the presence or absence of a difference from a reference image that is an image other than the number, a number determined to have a difference between the target image and the reference image, the target image and the reference image Obtaining evaluation indices of the plurality of images based on at least one of the numbers determined to be no difference between the first and second images.
  • An image evaluation program provides a computer included in an image evaluation apparatus, a target image that is one of three or more images obtained by capturing substantially the same spatial region, It is determined that there is a difference between a determination result acquisition unit that acquires a determination result regarding the presence or absence of a difference from a reference image that is an image other than the target image among a plurality of images, and the target image and the reference image. And an evaluation index acquisition unit that acquires the evaluation index of the plurality of images based on at least one of the number and the number determined to have no difference between the target image and the reference image It is a program.
  • FIG. 1 is a diagram illustrating an example of the configuration of the evaluation support system 1.
  • the evaluation support system 1 is a system that supports a user's judgment for evaluating a difference between images.
  • the evaluation support system 1 includes a database 10, an evaluation support device 20a, and a display device 30.
  • the database 10 is a storage device having a nonvolatile recording medium (non-temporary recording medium) such as a magnetic hard disk device or a semiconductor storage device.
  • the database 10 stores time-series images.
  • substantially the same spatial region is captured in the time-series images.
  • the time-series images may be captured from different directions for each image as long as substantially the same spatial region is captured, and the scales may be different for each image.
  • the image is, for example, a medical image, a monitoring image, an aerial image, or a satellite image.
  • the satellite image is, for example, an image of almost the same area on the surface of the earth taken by an artificial satellite at a cycle of about once a day.
  • the image is an image (a clear image) that satisfies a predetermined quality standard desired by the user.
  • the quality standard is, for example, a quality standard in which a spatial region having a certain area or larger is captured in a spatial region to be imaged.
  • the quality standard is a quality standard in which an area having a certain area or more is captured without being hidden by clouds or fog.
  • the imaging target may be, for example, a subject whose detection is desired.
  • the spatial region of the imaging target or the image obtained by imaging the imaging target may be an image in which a subject whose detection is desired is detected.
  • ease of detection of a change in the imaging target between accumulated images may be used as the quality standard.
  • the ratio of the area in which the imaging target is captured to the area of the image may be used.
  • the ratio of the area in which the imaging target is captured in the image without being hidden by another subject is equal to or greater than a predetermined value, it may be determined that the image satisfies the quality standard.
  • the imaging target is clearly shown in the image, it may be determined that the image satisfies the quality standard.
  • the quality standard may be defined with respect to the imaging target or the spatial region of the imaging target.
  • An image includes a plurality of areas (blocks).
  • the shape of the region in the image is, for example, a rectangle.
  • the region in the image includes, for example, a macro block (MB: Macro Block) such as MPEG (Moving Picture Experts Group), a coding unit (CU: Coding Unit) such as HEVC (High Efficiency Video Coding), a maximum coding unit ( LCU: Largest CU), prediction unit (PU: Prediction Unit), and transform unit (TU: Transform Unit).
  • MB Macro Block
  • CU Coding Unit
  • HEVC High Efficiency Video Coding
  • LCU Largest CU
  • PU Prediction Unit
  • transform unit TU: Transform Unit
  • the evaluation support apparatus 20a as an image evaluation apparatus is an apparatus that supports a user's judgment for evaluating a difference between images.
  • the evaluation support apparatus 20a acquires a time-series image including an area where the user evaluates the difference from the database 10.
  • the evaluation support apparatus 20a determines whether there is a difference between time-series images for each region in the image.
  • the evaluation support apparatus 20a uses an evaluation index for the user to determine which region is prioritized and evaluates a difference between time-series images based on a determination result indicating the presence or absence of a difference for each region. It is given to the area.
  • the evaluation support apparatus 20a transmits the evaluation index assigned to the area to the display device.
  • the evaluation support apparatus 20a may perform image processing on the image based on the evaluation index.
  • the evaluation support apparatus 20a transmits the image subjected to the image processing to the display apparatus 30.
  • the display device 30 includes a screen having a liquid crystal display and a light emitting diode (LED).
  • the display device 30 displays the evaluation index assigned to the area on the screen.
  • the display device 30 displays on the screen an image that has been subjected to image processing by the evaluation support device 20a. Accordingly, the user can evaluate the difference between images for each region in the image based on the image displayed on the screen and the evaluation index.
  • the display device 30 may include an operation device such as a touch panel on the screen.
  • the display device 30 may transmit a signal corresponding to an operation received by an operation device such as a touch panel to the evaluation support device 20a.
  • the configuration of the evaluation support apparatus 20a will be described.
  • the evaluation support apparatus 20a includes a size acquisition unit 21, a parameter determination unit 22, an image acquisition unit 23, an encoding unit 24, a difference determination unit 25, an evaluation index unit 26, an image processing unit 27, and a storage unit. 28.
  • Some or all of the size acquisition unit 21, the parameter determination unit 22, the image acquisition unit 23, the encoding unit 24, the difference determination unit 25, the evaluation index unit 26, and the image processing unit 27 are, for example, CPU (Central Processing Unit ) Or the like may be realized by executing a program stored in the storage unit 28, or may be realized using hardware such as LSI (Large Scale Integration) or ASIC (Application Specific Specific Integrated Circuit). Also good.
  • CPU Central Processing Unit
  • LSI Large Scale Integration
  • ASIC Application Specific Specific Integrated Circuit
  • the size acquisition unit 21 acquires information (hereinafter referred to as “determination size information”) representing the size of the difference to be determined on the image (hereinafter referred to as “determination size”) from the outside.
  • the determination size is the size of the maximum coding unit.
  • the determination size is represented using, for example, the number of pixels.
  • the size acquisition unit 21 transmits the determination size information to the parameter determination unit 22.
  • the parameter determination unit 22 determines at least the size of the maximum encoding unit (hereinafter referred to as “encoding size”) based on the determination size.
  • the parameter determination unit 22 transmits an encoding parameter including information indicating the encoding size to the encoding unit 24.
  • the image acquisition unit 23 acquires, from the database 10, a time series image in which the user evaluates the difference for each region.
  • the image acquisition unit 23 acquires three or more time-series images.
  • the image acquisition unit 23 acquires four images from the first image to the fourth image.
  • the first image is an image captured at the latest time.
  • the second image is an image captured at a new time after the first image.
  • the third image is an image captured at a new time after the second image.
  • the fourth image is an image captured at the most past time.
  • the image acquisition unit 23 transmits time-series images to the encoding unit 24 and the image processing unit 27.
  • the encoding unit 24 encodes time-series images. For example, the encoding unit 24 performs H.264 based on the encoding parameter. H.264 / AVC (Advanced Video Video Coding), HEVC, MPEG, and other moving image encoding processing may be executed. The encoding unit 24 may execute a still image encoding process such as JPEG based on the encoding parameter.
  • H.264 / AVC Advanced Video Video Coding
  • HEVC High Efficiency Video Video Coding
  • MPEG Motion Picture Experts
  • JPEG still image encoding process
  • the plurality of reference images among the time-series images are the second image, the third image, and the fourth image.
  • the target image (hereinafter referred to as “target image”) for which the presence or absence of a difference from the reference image is determined is the first image.
  • the target image and the reference image are sorted by, for example, the image acquisition unit 23 based on a predetermined condition.
  • the time-series images may be stored in the database 10 separately for the target image and the reference image.
  • the encoding unit 24 encodes the target image and the reference image based on the determination size.
  • the encoding unit 24 performs HEVC intra encoding processing based on the determination size on the target image and the reference image.
  • the maximum encoding unit in the target image is referred to as “target LCU”.
  • the maximum coding unit adjacent to the target LCU in the target image is referred to as “adjacent LCU”.
  • the maximum coding unit in the reference image that is spatially substantially the same as the position of the target LCU is referred to as “the same position LCU”.
  • the image in the area is referred to as “small image of the area”.
  • the difference determination unit 25 determines whether or not there is a difference between the small image in the region of the target LCU and the small image in the region of the adjacent LCU, and encodes the small image encoding information in the region of the target LCU and the small image in the region of the adjacent LCU. Judgment is made based on the difference from the information. For example, the difference determination unit 25 determines whether or not there is a difference between the small image in the target LCU region and the small image in the adjacent LCU region, and the difference between the generated code amount in the target LCU region and the generated code amount in the adjacent LCU region. Determine based on.
  • the difference determination unit 25 determines whether there is a difference between the small image in the region of the target LCU and the small image in the region of the same position LCU. Further determine.
  • the difference determination unit 25 determines whether or not there is a difference between the small image in the region of the target LCU and the small image in the region of the same position LCU and the encoding information of the small image in the region of the target LCU and the small image in the region of the same position LCU. The determination is based on the difference from the encoded information. For example, the difference determination unit 25 determines whether or not there is a difference between the small image in the region of the target LCU and the small image in the region of the adjacent LCU, and the generated code amount of the region of the target LCU and the generated code amount of the region of the same position LCU. Judge based on the difference.
  • the method by which the difference determining unit 25 determines whether there is a difference between the target image and the reference image is not limited to a specific method.
  • a method will be described in which the difference determination unit 25 determines the presence / absence of a difference between small images based on the generated code amount in the encoding process.
  • the difference determination unit 25 compares the generated code amount of the target LCU region with the generated code amounts of the adjacent LCU regions on the upper, lower, left, and right sides of the target LCU region. For example, the difference determination unit 25 determines whether the relationship between the generated code amount of the target LCU region and the generated code amount of the adjacent LCU region satisfies any of the following first condition to eighth condition: .
  • R represents the generated code amount in the area of the maximum coding unit.
  • max (R (N ⁇ 1), R (N)) represents a larger value of the generated code amounts R (N ⁇ 1) and R (N).
  • min (R (N ⁇ 1), R (N)) represents a smaller value of the generated code amounts R (N ⁇ 1) and R (N).
  • R_Th1 is a generated code amount threshold value that satisfies R_Th1> 1.
  • R_Th2 is a generated code amount threshold value that satisfies 0 ⁇ R_Th2 ⁇ 1.
  • N represents the Nth target LCU in the target image.
  • N ⁇ 1 represents the left adjacent LCU of the target LCU.
  • N + 1 represents the right adjacent LCU of the target LCU.
  • N ⁇ x represents an adjacent LCU above the target LCU.
  • N + x represents an adjacent LCU below the target LCU.
  • the difference determining unit 25 It is determined that there is no difference between the small image in the area of the adjacent LCU. That is, when the difference between the generated code amount in the region of the target LCU and the generated code amount in the region of the adjacent LCU is small, the difference determination unit 25 determines whether the small image in the region of the target LCU and the small image in the region of the adjacent LCU It is determined that there is no difference. The difference determination unit 25 records the result of determining that there is no difference between the small image of the target LCU region and the small image of the adjacent LCU region in the storage unit 28 in association with the target LCU region.
  • the difference determination unit 25 generates the region of the target LCU when the relationship between the generated code amount of the target LCU region and the generated code amount of the adjacent LCU region satisfies any one of the first condition to the eighth condition.
  • the code amount is compared with the generated code amount in the region of the same position LCU. For example, the difference determination unit 25 determines whether or not the relationship between the generated code amount of the region of the target LCU and the generated code amount of the region of the same position LCU satisfies the following ninth condition or tenth condition.
  • R_A represents the generated code amount in the region of the same position LCU in the reference image “A”.
  • R_B represents the generated code amount of the region of the target LCU in the target image “B”.
  • R_Th3 is a generated code amount threshold value that satisfies R_Th3> 1.
  • R_Th4 is a generated code amount threshold that satisfies 0 ⁇ R_Th4 ⁇ 1.
  • the difference determining unit 25 It is determined that there is no difference from the small image in the region of the same position LCU. That is, when the difference between the generated code amount of the region of the target LCU and the generated code amount of the region of the same position LCU is small, the difference determination unit 25 determines that the small image of the region of the target LCU and the small image of the region of the same position LCU Determine that there is no difference between. The difference determination unit 25 records the result of determining that there is no difference between the small image in the region of the target LCU and the small image in the region of the same position LCU in the storage unit 28 in association with the region of the target LCU. .
  • the difference determining unit 25 matches the small image of the region of the target LCU and the same position LCU. It is determined that there is a difference from the small image in the area. That is, when there is a large difference between the generated code amount in the region of the target LCU and the generated code amount in the region of the same position LCU, the difference determination unit 25 determines that the small image in the region of the target LCU and the small image in the region of the same position LCU Determine that there is a difference between.
  • the difference determination unit 25 stores a determination result indicating that it is determined that there is a difference between the small image of the region of the target LCU and the small image of the region of the same position LCU in association with the region of the target LCU. 28.
  • the difference determination unit 25 performs a difference between small images when encoding is performed by shifting the encoding start point defined at the upper left corner of the image.
  • the presence / absence determination result may be calculated.
  • the difference determination unit 25 finalizes a result (logical OR result) obtained by superimposing a determination result when encoding is performed without shifting the encoding start point and a determination result when encoding is performed by shifting the encoding start point. May be determined as a typical determination result.
  • FIG. 2 is a diagram showing an example of a time-series image.
  • an image 100-1 is a target image and is an image captured at the latest time.
  • An image 100-2 is a reference image, and is an image captured at a new time next to the image 100-1.
  • An image 100-3 is a reference image, and is an image captured at a new time after the image 100-2.
  • An image 100-4 is a reference image, and is an image captured at the most past time.
  • image 100 items common to the images 100-1 to 100-4 are referred to as “image 100” while omitting a part of the reference numerals.
  • an area 110, an area 120, and an area 130 are defined in the image 100.
  • the difference determination unit 25 determines that there is a difference between the small image in the region 110-1 of the target LCU and the small image in the region 110-2 at the same position LCU.
  • the difference determination unit 25 determines that there is no difference between the small image of the region 110-1 of the target LCU and the small image of the region 110-3 of the same position LCU.
  • the difference determination unit 25 determines that there is no difference between the small image in the region 110-1 of the target LCU and the small image in the region 110-4 at the same position LCU.
  • the difference determination unit 25 determines that there is no difference between the small image in the target LCU area 120-1 and the small image in the same position LCU area 120-2.
  • the difference determination unit 25 determines that there is a difference between the small image of the region 120-1 of the target LCU and the small image of the region 120-3 of the same position LCU.
  • the difference determination unit 25 determines that there is a difference between the small image of the region 120-1 of the target LCU and the small image of the region 120-4 of the same position LCU.
  • the difference determination unit 25 determines that there is a difference between the small image in the region 130-1 of the target LCU and the small image in the region 130-2 at the same position LCU.
  • the difference determination unit 25 determines that there is a difference between the small image in the region 130-1 of the target LCU and the small image in the region 130-3 at the same position LCU.
  • the difference determination unit 25 determines that there is a difference between the small image in the region 130-1 of the target LCU and the small image in the region 130-4 at the same position LCU.
  • the evaluation index unit 26 serving as an evaluation index acquisition unit is an evaluation index for the user to determine which region of the plurality of target LCUs is prioritized to evaluate the difference between the target image and the reference image. Based on the determination result indicating the presence or absence of the difference between the small images, it is given to the region of the target LCU.
  • the evaluation index unit 26 acquires the determination result of the presence / absence of a difference between the small images from the encoding unit 24 or the storage unit 28.
  • the evaluation index unit 26 determines the number of sets of the target LCU area determined to have a difference between the small images and the area of the same position LCU (the number of sets having a change) of the target LCU in the target image. For each area, the image 100-1 and two or more reference images are detected.
  • FIG. 2 it is determined that there is a difference between the small image in the region 130-1 and the small image in the region 130-2, and the difference between the small image in the region 130-1 and the small image in the region 130-3. Since it is determined that there is a difference between the small image in the region 130-1 and the small image in the region 130-4, the region 130 of the target LCU that has been determined to have a difference between the small images.
  • the detection result of the number of sets of -1 and the region of the same position LCU is 3.
  • the evaluation index unit 26 gives the detection result of the number of sets of the area of the target LCU that is determined to have a difference between the small images and the area of the same position LCU to the area of the target LCU as an evaluation index.
  • the evaluation index unit 26 outputs the detection result to the image processing unit 27 as an evaluation index.
  • the evaluation index unit 26 may output a detection result as an evaluation index to the display device 30.
  • the evaluation index unit 26 as the evaluation index acquisition unit includes the number of areas determined to have a difference between the area of the target LCU in the target image and the area of the same position LCU in the reference image, and the number of areas of the target LCU in the target image.
  • the evaluation index may be acquired based on at least one of the area and the number of areas determined to have no difference between the area and the area of the same position LCU in the reference image.
  • the evaluation index represents a priority at which the difference should be evaluated when the probability that the difference determination unit 25 erroneously determines the presence or absence of the difference is less than the first threshold.
  • the region of the target LCU having a large number of sets of the region of the target LCU that is determined to have a difference between the small images and the region of the same position LCU is a region having a high priority for evaluating the difference. That is, the region of the target LCU having a large number of sets of the region of the target LCU that is determined to have no difference between the small images and the region of the same position LCU is a region with a low priority for evaluating the difference.
  • the evaluation index unit 26 indicates the priority of evaluating each of the target LCUs based on the number of regions determined to have a difference between the region of the target LCU in the target image and the region of the same position LCU in the reference image. You may classify into a class.
  • the evaluation index unit 26 may obtain, as an evaluation index, the priority of the class to which the target LCU that is determined to be different from the same position LCU belongs.
  • the evaluation index represents the accuracy of the result determined that there is a difference between the small images when the probability that the difference determination unit 25 erroneously determines the presence or absence of the difference is equal to or higher than the first threshold.
  • a target LCU region having a large number of sets of a region of the target LCU and a region of the same position LCU that is determined to have a difference between the small images has high accuracy as a result of the determination that there is a difference between the small images. It is an area. That is, the accuracy of the result of determining that there is no difference between the small images of the region of the target LCU having a large number of sets of the region of the target LCU and the region of the same position LCU that are determined to have no difference between the small images. Is a high region.
  • the image processing unit 27 acquires a detection result as an evaluation index from the evaluation index unit 26.
  • the image processing unit 27 acquires the target image from the image acquisition unit 23.
  • the image processing unit 27 performs image processing on the target image based on the detection result as the evaluation index by the evaluation index unit 26.
  • the image processing unit 27 outputs the target image subjected to the image processing to the display device 30.
  • the image processing unit 27 may generate an image including the operation key image as one of the graphical user interfaces.
  • FIG. 3 is a diagram showing a first example of display of the image 100-1 subjected to image processing.
  • the image processing unit 27 outputs an image 100-1 including a frame image surrounding the area 110-1, a frame image surrounding the area 120-1, and a frame image surrounding the area 130-1 to the display device 30.
  • the frame image surrounding the region 110-1, the frame image surrounding the region 120-1, and the frame image surrounding the region 130-1 may differ depending on the detection result as the evaluation index.
  • the frame thickness of the frame image may be different according to the detection result as the evaluation index.
  • the color of the frame image may be different depending on the detection result as the evaluation index.
  • the image processing unit 27 may output the image 100-1 including the index display field image 111-1, the index display field image 121-1, and the index display field image 131-1 to the display device 30.
  • FIG. 4 is a diagram showing a second example of display of the image 100-1 subjected to image processing.
  • the image processing unit 27 may fill the area according to the value representing the detection result as the evaluation index among the area 110-1, the area 120-1, and the area 130-1.
  • the image processing unit 27 may blink the region according to the value representing the detection result as the evaluation index among the region 110-1, the region 120-1, and the region 130-1.
  • FIG. 5 is a diagram showing a third example of display of the image 100-1 subjected to image processing.
  • the image processing unit 27 may superimpose a map on the image 100-1.
  • the image processing unit 27 may superimpose the name display field image 122 and the name display field image 132, which are images for displaying names such as place names and facility names, on the image 100-1.
  • the image processing unit 27 may superimpose a map image 140 representing a facility graphic on the map on the image 100-1.
  • the image processing unit 27 may superimpose a map image representing a three-dimensional figure of a building on the map on the image 100-1.
  • FIG. 6 is a diagram illustrating a fourth example of display of the image 100-1 that has been subjected to image processing.
  • the image processing unit 27 may generate an image in which a small image in a region in the image 100-1 is enlarged.
  • the image processing unit 27 may generate a region enlarged image 130a-1 that is an image obtained by enlarging the small image in the region 130-1.
  • the resolution of the area enlarged image 130a-1 may be higher than the resolution of the image in the area 130-1.
  • the image processing unit 27 may output an image in which the image 100-1 and the region enlarged image 130a-1 are arranged to the display device 30.
  • the image processing unit 27 may select a small image to be enlarged from the small images in the region in the image 100-1 based on the evaluation index obtained for each region. For example, the image processing unit 27 may enlarge a small image in a region having the highest evaluation index, priority, or accuracy.
  • FIG. 7 is a diagram showing a fifth example of display of the image 100-1 subjected to image processing.
  • the image processing unit 27 may generate an image in which small images of a plurality of regions in the image 100-1 are enlarged. For example, the image processing unit 27 may generate an area enlarged image 120a-1 that is an image obtained by enlarging the small image in the area 120-1. For example, the image processing unit 27 may generate a region enlarged image 130a-1 that is an image obtained by enlarging the small image in the region 130-1.
  • the image processing unit 27 may output an image in which the area enlarged image 120a-1 and the area enlarged image 130a-1 are arranged to the display device 30.
  • the image processing unit 27 may select a small image to be enlarged from the small images in the region in the image 100-1 based on the evaluation index obtained for each region. For example, the image processing unit 27 may enlarge small images of some areas having higher evaluation index, priority, or accuracy than other areas.
  • FIG. 8 is a diagram showing a sixth example of display of the image 100-1 subjected to image processing.
  • the image processing unit 27 may generate a region enlarged image for each small image from the image 100-1 to the image 100-4. For example, the image processing unit 27 may generate the enlarged region images 130a-2 to 130a-4 similarly to the enlarged region image 130a-1.
  • the image processing unit 27 may output to the display device 30 an image in which the images from the region enlarged image 130a-1 to the region enlarged image 130a-4 are arranged in time series.
  • the image processing unit 27 may select a small image to be enlarged from the small images in the regions in the images 100-1 to 100-4 based on the evaluation index obtained for each region. For example, the image processing unit 27 may enlarge a small image of a region having the highest evaluation index, priority, or accuracy and a small image of a region in the reference image corresponding to the region.
  • the storage unit 28 is a storage device having a nonvolatile recording medium (non-temporary recording medium) such as a magnetic hard disk device or a semiconductor storage device.
  • the storage unit 28 stores the determination result obtained by the difference determination unit 25.
  • the storage unit 28 may store a high-resolution image of substantially the same spatial region captured in the target image.
  • the storage unit 28 may store map information.
  • the storage unit 28 may store the detection result by the evaluation index unit 26 as an evaluation index.
  • FIG. 9 is a flowchart showing an example of the operation of the evaluation support system 1.
  • the size acquisition unit 21 acquires determination size information (step S101).
  • the parameter determination unit 22 determines an encoding parameter such as an encoding size based on the determination size (step S102).
  • the image acquisition unit 23 acquires three or more time-series images from the database 10 (step S103).
  • the encoding unit 24 encodes a time-series image (step S104).
  • the difference determination unit 25 determines whether the relationship between the generated code amount of the target LCU region and the generated code amount of the adjacent LCU region satisfies any of the first condition to the eighth condition (step S105). .
  • the difference determining unit 25 In order to record the determination result indicating that there is no difference between the small image of the area of the image and the small image of the area of the adjacent LCU in the storage unit 28, the process proceeds to step S107.
  • the difference determining unit 25 It is determined whether or not the relationship between the generated code amount of the area of the current area and the generated code amount of the area of the same position LCU satisfies the ninth condition or the tenth condition (step S106).
  • step S106 NO
  • the difference determining unit 25 A determination result indicating that it is determined that there is no difference between the small image in the area and the small image in the area at the same position LCU is recorded in the storage unit 28 (step S107).
  • step S106 When the relationship between the generated code amount of the region of the target LCU and the generated code amount of the region of the same LCU satisfies the ninth condition or the tenth condition (step S106: YES), the difference determination unit 25 A determination result indicating that it is determined that there is a difference between the small image and the small image in the region at the same position LCU is recorded in the storage unit 28 (step S107). The operations from step S105 to step S107 are performed on each target image area (target LCU).
  • the evaluation index unit 26 determines the number of sets of the region of the target LCU that is determined to have a difference between the small images and the region of the same position LCU for each region of the target LCU in the target image as the image 100-1. Two or more reference images are detected (step S108). The evaluation index unit 26 outputs the detection result as an evaluation index to the image processing unit 27 (step S109).
  • the image processing unit 27 performs image processing on the target image based on the detection result as the evaluation index by the evaluation index unit 26 (step S110).
  • the image processing unit 27 outputs the target image subjected to the image processing to the display device 30 (step S111).
  • the evaluation support apparatus 20a of the first embodiment includes the evaluation index unit 26.
  • the evaluation index unit 26 is a small image of a region in the target image that is one of three or more time-series images obtained by capturing substantially the same spatial region.
  • the evaluation index unit 26 obtains, as an evaluation index, a result of detecting the number of sets of areas determined to have a difference between the small images for each area in the target image with respect to the time-series images. That is, the evaluation support apparatus 20a can obtain an evaluation index based on the quality of the accumulated time-series images based on the presence / absence of a difference between the small images.
  • the conventional technique has a problem that it is difficult for the user to determine which of a plurality of regions in an image is prioritized to evaluate a difference between time-series images.
  • the evaluation support apparatus 20a of the first embodiment determines which of the plurality of areas in the image is to be prioritized to evaluate the difference between the time-series images. It is possible to support that.
  • One of the features of the evaluation support apparatus 20a as an image evaluation apparatus is to obtain an evaluation index based on a difference between images for a plurality of time-series images stored in the database 10.
  • the evaluation index unit 26 as a determination result acquisition unit acquires a determination result regarding a difference between the region of the target LCU in the target image and the region of the same position LCU in the reference image.
  • the number of the evaluation index unit 26 as the evaluation index acquisition unit determined to have a difference between the region of the target LCU in the target image and the region of the same position LCU in the reference image, and the region of the target LCU in the target image
  • An evaluation index is acquired for each region in the target image based on at least one of the number determined to have no difference from the region of the same position LCU in the reference image.
  • the evaluation support apparatus 20a can obtain a consistent evaluation index even if the number of accumulated images increases.
  • the evaluation support apparatus 20a can indicate which region in the time-series image should be preferentially evaluated based on the obtained evaluation index, and assign meaning to each region in the time-series image. It can be performed.
  • the evaluation index unit 26 of the first embodiment obtains a value representing the priority at which the difference should be evaluated when the probability that the presence or absence of the difference between the small images is erroneously determined is less than the first threshold.
  • the evaluation index unit 26 of the first embodiment is a value indicating the accuracy of the result determined that there is a difference between the small images when the probability that the presence or absence of the difference between the small images is erroneously determined is equal to or greater than the first threshold. Get.
  • the second embodiment is different from the first embodiment in that a detection result as an evaluation index expressed in multiple values is rounded to a binary value. In the second embodiment, only differences from the first embodiment will be described.
  • FIG. 10 is a diagram illustrating an example of the configuration of the evaluation support system 1.
  • the evaluation support system 1 includes a database 10, an evaluation support device 20b, and a display device 30.
  • the evaluation index output by the evaluation support apparatus 20b is a binary value (whether there is a difference between small images), which is a comparison result between a value corresponding to the evaluation index representing the multivalue given by the evaluation index unit 26 and the second threshold value. Represents.
  • the evaluation support apparatus 20b as an image evaluation apparatus includes a size acquisition unit 21, a parameter determination unit 22, an image acquisition unit 23, an encoding unit 24, a difference determination unit 25, an evaluation index unit 26, and an image processing unit. 27, a storage unit 28, and a binarization unit 29.
  • the image acquisition unit 23 acquires the time-series images shown in FIG. 2 from the database 10 as an example.
  • the probability that the difference determination unit 25 erroneously determines the presence or absence of a difference is equal to or higher than a predetermined constant probability.
  • the evaluation index unit 26 outputs the detection result as the evaluation index to the binarization unit 29.
  • the binarization unit 29 obtains an evaluation index represented by the presence or absence (binary) of the difference between the small images based on the detection result as the evaluation index by the evaluation index unit 26. For example, the binarization unit 29 calculates the number of sets (the number of sets that have changed) between the region of the target LCU that is determined to have a difference between the small images and the region of the same position LCU as the region of the target LCU. And the total number of sets with the region of the same position LCU is divided for each region of the target LCU.
  • the binarization unit 29 divides the detection result (summation result) of the number of sets that have changed by the total number of sets of the region of the target LCU and the region of the same position LCU for each region of the target LCU. .
  • the binarization unit 29 assigns an evaluation index represented by the presence or absence of a difference between small images to the region of the target LCU.
  • the number of sets of the target LCU area 110-1 and the same-position LCU area determined to have a difference between the small images is one.
  • the total number of sets of the target LCU region 110-1 and the region of the same position LCU is three.
  • the binarization unit 29 obtains a division result (1/3) that is a value corresponding to the evaluation index given by the evaluation index unit 26 for the region 110-1 of the target LCU.
  • the number of sets of the target LCU region 120-1 and the same-position LCU region determined to have a difference between the small images is two.
  • the total number of sets of the target LCU area 120-1 and the same-position LCU area is three.
  • the binarizing unit 29 obtains a division result (2/3) that is a value corresponding to the evaluation index given by the evaluation index unit 26 for the region 120-1 of the target LCU.
  • the number of sets of the target LCU region 130-1 and the same-position LCU region determined to have a difference between the small images is three.
  • the total number of sets of the target LCU region 130-1 and the region of the same position LCU is three.
  • the binarizing unit 29 obtains a division result (3/3) that is a value corresponding to the evaluation index assigned by the evaluation index unit 26 for the region 130-1 of the target LCU.
  • the binarization unit 29 may record the division result in the storage unit 28.
  • the binarization unit 29 compares the magnitude relationship between a predetermined threshold value between 0 and 1 and the division result for each region of the target LCU.
  • the binarization unit 29 sets a combination of the region of the target LCU and the region of the same position LCU whose division result is equal to or greater than the threshold value to the region of the target LCU and the region of the same position LCU that are determined to have a difference between the small images. It is determined that it is a pair.
  • the binarization unit 29 sets the combination of the region of the target LCU and the region of the same position LCU whose division result is less than the threshold to the region of the target LCU and the region of the same position LCU determined to have no difference between the small images. It is determined that it is a pair.
  • the threshold value is (0.5) among values of 0 or more and less than 1.
  • the binarization unit 29 determines a set of a target LCU region 110-1 whose division result (1/3) is less than a threshold value 0.5 and a region at the same position LCU as a difference between small images. It is determined that it is a set of areas determined not to exist. The binarization unit 29 assigns an evaluation index indicating that there is no difference between the small images to the area 110-1 of the target LCU.
  • the binarization unit 29 determines that there is a difference between the small images in the set of the target LCU region 120-1 and the region at the same position LCU whose division result (2/3) is equal to or greater than the threshold value 0.5. It is determined that it is a set of areas. The binarization unit 29 assigns an evaluation index indicating that there is a difference between small images to the region 120-1 of the target LCU.
  • the binarization unit 29 determines that there is a difference between the small images in the group of the target LCU region 130-1 and the region at the same position LCU whose division result (3/3) is equal to or greater than the threshold value 0.5. It is determined that it is a set of areas. The binarization unit 29 assigns an evaluation index indicating that there is a difference between small images to the region 130-1 of the target LCU.
  • the binarization unit 29 outputs an evaluation index indicating the presence / absence (binary) of the difference between the small images to the image processing unit 27 for each region of the target LCU.
  • the image processing unit 27 acquires from the binarization unit 29 an evaluation index indicating the presence or absence of a difference between small images.
  • the image processing unit 27 performs image processing on the target image based on an evaluation index indicating the presence or absence of a difference between the small images.
  • the evaluation index in the second embodiment is represented by the presence or absence of a difference between small images.
  • the region of the target LCU determined by the binarization unit 29 should evaluate the difference when there is a difference between small images. This is a high priority area.
  • the evaluation support apparatus 20b of the second embodiment includes the binarization unit 29.
  • the binarization unit 29 obtains an evaluation index indicating the presence / absence of a difference between the small images based on the comparison result between the value corresponding to the evaluation index by the evaluation index unit 26 and the second threshold value.
  • the evaluation support apparatus 20a gives priority to a time-series image out of a plurality of regions in the image even when the probability that the presence / absence of a difference is erroneously determined is a certain probability or more. It is possible to more reliably support the user to determine whether to evaluate the difference between the two.
  • the binarization unit 29 determines the magnitude relationship between the threshold value and the number of sets of the target LCU region determined to have a difference between the small images and the region of the same position LCU (the number of sets with change). You may compare for every area
  • the binarization unit 29 may obtain a binary index indicating the presence or absence of a difference between the small images based on the priority or accuracy obtained by the evaluation index unit 26. For example, the binarization unit 29 assigns an index indicating that there is a difference between small images to the target LCU region when the accuracy is greater than or equal to a predetermined value, and difference between the small images when the accuracy is less than the predetermined value. You may give the parameter
  • FIG. 11 is a diagram illustrating an example of the configuration of the image classification system 301.
  • the image sorting system 301 is a system that sorts images.
  • the image classification system 301 includes an image storage device 310, a database 320, and an image classification device 330a as an image evaluation device.
  • the image storage device 310 is an information processing device that stores images.
  • the image storage device 310 performs a filtering process on a time-series image that separates an image satisfying a quality standard desired by the user with a predetermined accuracy.
  • the quality standard is, for example, a quality standard in which a spatial region having an area of a certain ratio or more is captured in a spatial region to be imaged.
  • the quality standard is a quality standard in which an area having a certain area or more is captured without being hidden by clouds or fog.
  • the image is, for example, a medical image, a monitoring image, an aerial image, or a satellite image.
  • the satellite image is, for example, an image of substantially the same spatial region on the ground surface that is imaged by an artificial satellite at a cycle of about once a day.
  • the quality criterion also in the third embodiment and the fourth to sixth embodiments to be described later, the ease of detecting a change in the imaging target between accumulated images may be used as the quality criterion.
  • the imaging target is clearly shown in the image, it may be determined that the image satisfies the quality standard. That is, the quality standard may be defined for the imaging target.
  • the image storage device 310 executes, for example, the processing of the data evaluation unit shown in FIGS. 9, 12, and 13 of Patent Document 1 as filter processing.
  • the image storage device 310 stores the time-series images sorted by the filter processing in the database 320.
  • the image storage device 310 stores the images sorted by the filtering process with a predetermined accuracy in the database 320, and then does not add a new image to the time-series images stored in the database 320.
  • the database 320 is a storage device having a nonvolatile recording medium (non-temporary recording medium) such as a magnetic hard disk device or a semiconductor storage device.
  • the database 320 stores time-series images sorted by filtering processing with a predetermined accuracy.
  • Many of the time-series images stored in the database 320 are images that satisfy a quality standard desired by the user.
  • the majority of the time-series images stored in the database 320 are images (clear images) that satisfy the quality criteria desired by the user.
  • some of the time-series images stored in the database 320 are images that do not satisfy the quality standard desired by the user according to the accuracy of the filtering process.
  • An image includes a plurality of areas (blocks).
  • the shape of the region in the image is, for example, a rectangle.
  • the region in the image includes, for example, a macro block (MB: Macro Block) such as MPEG (Moving Picture Experts Group), a coding unit (CU: Coding Unit) such as HEVC (High Efficiency Video Coding), a maximum coding unit ( LCU: Largest CU), prediction unit (PU: Prediction Unit), and transform unit (TU: Transform Unit).
  • MB Macro Block
  • CU Coding Unit
  • HEVC High Efficiency Video Coding
  • LCU Largest CU
  • prediction unit PU: Prediction Unit
  • transform unit TU: Transform Unit
  • the image sorting device 330 a is an information processing device that sorts time-series images stored in the database 320.
  • the image sorting device 330 a acquires time-series images from the database 320.
  • the image sorting device 330a determines whether there is a difference between time-series images.
  • the image classification device 330a separates an image that satisfies a quality standard desired by a user from an image that does not meet a quality standard desired by the user from time-series images stored in the database 320.
  • the image sorting device 330a removes images that do not satisfy the quality criteria desired by the user from the time-series images stored in the database 320.
  • the image classification device 330a includes a size acquisition unit 331, a parameter determination unit 332, an image acquisition unit 333, an encoding unit 334, a difference determination unit 335, a classification unit 336, a storage unit 337, and a removal unit 338. Is provided.
  • the size acquisition unit 331, the parameter determination unit 332, the image acquisition unit 333, the encoding unit 334, the difference determination unit 335, the classification unit 336, and the removal unit 338 are, for example, a CPU (Central Processing Unit) or the like. May be realized by executing a program stored in the storage unit 337, or may be realized by using hardware such as LSI (Large Scale Integration) or ASIC (Application Specific Specific Integrated Circuit). .
  • LSI Large Scale Integration
  • ASIC Application Specific Specific Integrated Circuit
  • the size acquisition unit 331 externally outputs information (hereinafter referred to as “determination size information”) indicating the size (hereinafter referred to as “determination size”) of a target (determination target on the image) for which a difference on the image is to be determined. get.
  • the determination size is the size of the maximum coding unit.
  • the determination size is represented using, for example, the number of pixels.
  • the size acquisition unit 331 transmits the determination size information to the parameter determination unit 332.
  • the parameter determination unit 332 determines at least an encoding parameter including information indicating the size of the maximum encoding unit (hereinafter referred to as “encoding size”) based on the determination size.
  • the parameter determination unit 332 transmits an encoding parameter including information indicating the encoding size to the encoding unit 334.
  • the image acquisition unit 333 acquires time-series images from the database 320. For example, the image acquisition unit 333 acquires three or more time-series images. The image acquisition unit 333 transmits time-series images to the encoding unit 334.
  • target image the target image for which the presence or absence of the difference from the reference image is determined
  • the reference image is a time-series image and is an image other than the target image.
  • the time-series images are distributed to the target image and the reference image by the image acquisition unit 333 or the difference determination unit 335 based on a predetermined condition.
  • the time-series images may be stored in the database 320 separately for the target image and the reference image.
  • the encoding unit 334 encodes time-series images. For example, the encoding unit 334 determines the H.264 based on the encoding parameter. H.264 / AVC (Advanced Video Video Coding), HEVC, MPEG and other moving image encoding processing is executed. The encoding unit 334 may execute a still image encoding process such as JPEG based on the encoding parameter.
  • the encoding unit 334 encodes the target image and the reference image based on the determination size.
  • the encoding unit 334 performs HEVC intra encoding processing based on the determination size on the target image and the reference image.
  • target LCU the maximum encoding unit in the target image
  • adjacent LCU the maximum coding unit adjacent to the target LCU in the target image
  • spacing LCU the maximum coding unit adjacent to the target LCU in the target image
  • spacing LCU the maximum coding unit adjacent to the target LCU in the target image
  • spacing LCU the maximum coding unit adjacent to the target LCU in the target image
  • spacing LCU the maximum coding unit at the same spatial position as the position of the target LCU in the reference image
  • small position LCU An image in the area is referred to as a “small image of the area”.
  • the difference determination unit 335 determines whether or not there is a difference between the small image in the region of the target LCU and the small image in the region of the adjacent LCU, and the pixel value of the small image in the region of the target LCU and the pixel value of the small image in the region of the adjacent LCU. Judgment based on the difference. For example, the difference determination unit 335 determines whether or not there is a difference between the small image in the target LCU region and the small image in the adjacent LCU region, and the difference between the generated code amount in the target LCU region and the generated code amount in the adjacent LCU region. Determine based on.
  • the difference determination unit 335 determines whether there is a difference between the small image in the region of the target LCU and the small image in the region of the same position LCU. Further determine. The difference determination unit 335 determines whether or not there is a difference between the small image in the region of the target LCU and the small image in the region of the same position LCU and the pixel value of the small image in the region of the same position LCU as the pixel value of the small image in the region of the target LCU. Judgment is based on the difference from the value.
  • the difference determination unit 335 determines whether or not there is a difference between the small image in the region of the target LCU and the small image in the region of the adjacent LCU and the generated code amount of the region of the target LCU and the generated code amount of the region of the same LCU. Judge based on the difference.
  • the method by which the difference determination unit 335 determines whether there is a difference between the target image and the reference image is not limited to a specific method.
  • a method will be described in which the difference determination unit 335 determines the presence / absence of a difference between small images based on the generated code amount in the encoding process.
  • the difference determination unit 335 compares the generated code amount of the target LCU region with the generated code amounts of the adjacent LCU regions on the top, bottom, left, and right of the target LCU region. For example, the difference determination unit 335 determines whether the relationship between the generated code amount of the target LCU region and the generated code amount of the adjacent LCU region satisfies any of the following eleventh condition to eighteenth condition. .
  • R represents the generated code amount in the area of the maximum coding unit.
  • max (R (N ⁇ 1), R (N)) represents a larger value of the generated code amounts R (N ⁇ 1) and R (N).
  • min (R (N ⁇ 1), R (N)) represents a smaller value of the generated code amounts R (N ⁇ 1) and R (N).
  • R_Th1 is a generated code amount threshold value that satisfies R_Th1> 1.
  • R_Th2 is a generated code amount threshold value that satisfies 0 ⁇ R_Th2 ⁇ 1.
  • N represents the Nth target LCU in the target image.
  • N ⁇ 1 represents the left adjacent LCU of the target LCU.
  • N + 1 represents the right adjacent LCU of the target LCU.
  • N ⁇ x represents an adjacent LCU above the target LCU.
  • N + x represents an adjacent LCU below the target LCU.
  • the generated code amount threshold value R_Th1 in the eleventh condition to the fourteenth condition may be the same value as or different from the generated code amount threshold value R_Th1 in the first condition to the fourth condition.
  • the code generation amount threshold value R_Th2 in the fifteenth condition to the eighteenth condition may be the same value as the code generation amount threshold value R_Th2 in the fifth condition to the eighth condition, or may be a different value.
  • the difference determining unit 335 It is determined that there is no difference between the small image in the area of the adjacent LCU. That is, when the difference between the generated code amount in the target LCU region and the generated code amount in the adjacent LCU region is small, the difference determination unit 335 determines whether the difference between the small image in the target LCU region and the small image in the adjacent LCU region is small. It is determined that there is no difference. The difference determination unit 335 records, in the storage unit 337, the result of determining that there is no difference between the small image in the target LCU region and the small image in the adjacent LCU region in association with the target LCU region.
  • the difference determination unit 335 generates the region of the target LCU when the relationship between the generated code amount of the target LCU region and the generated code amount of the adjacent LCU region satisfies any one of the eleventh condition to the eighteenth condition.
  • the code amount is compared with the generated code amount in the region of the same position LCU. For example, the difference determination unit 335 determines whether or not the relationship between the generated code amount of the region of the target LCU and the generated code amount of the region of the same position LCU satisfies the following 19th condition or 20th condition.
  • R_A represents the generated code amount in the region of the same position LCU in the reference image “A”.
  • R_B represents the generated code amount of the region of the target LCU in the target image “B”.
  • R_Th3 is a generated code amount threshold value that satisfies R_Th3> 1.
  • R_Th4 is a generated code amount threshold that satisfies 0 ⁇ R_Th4 ⁇ 1.
  • the generated code amount threshold value R_Th3 in the nineteenth condition may be the same value as the generated code amount threshold value R_Th3 in the ninth condition, or may be a different value.
  • the generated code amount threshold value R_Th4 in the twentieth condition may be the same value as or different from the generated code amount threshold value R_Th4 in the tenth condition.
  • the difference determining unit 335 It is determined that there is no difference from the small image in the region of the same position LCU. That is, when the difference between the generated code amount of the region of the target LCU and the generated code amount of the region of the same position LCU is small, the difference determination unit 335 determines that the small image of the region of the target LCU and the small image of the region of the same position LCU Determine that there is no difference between. The difference determination unit 335 records, in the storage unit 337, the result determined that there is no difference between the small image in the region of the target LCU and the small image in the region of the same position LCU in association with the region of the target LCU. .
  • the difference determining unit 335 matches the small image of the region of the target LCU and the same position LCU. It is determined that there is a difference from the small image in the area. That is, when there is a large difference between the generated code amount of the region of the target LCU and the generated code amount of the region of the same position LCU, the difference determination unit 335 determines that the small image of the region of the target LCU and the small image of the region of the same position LCU Determine that there is a difference between.
  • the difference determination unit 335 stores a determination result indicating that there is a difference between the small image in the region of the target LCU and the small image in the region of the same position LCU in association with the region of the target LCU. Record at 337.
  • the difference determination unit 335 indicates the difference between small images when encoding is performed by shifting the encoding start point defined at the upper left corner of the image.
  • the presence / absence determination result may be calculated.
  • the difference determination unit 335 outputs a result (logical sum) obtained by superimposing a determination result when encoding is performed without shifting the encoding start point and a determination result when encoding is performed by shifting the encoding start point. May be determined as a typical determination result.
  • FIG. 12 is a diagram illustrating an example of determining whether there is a difference between images in the third embodiment.
  • the image 400 encoded by the encoding unit 334 is schematically represented using the image 400 before being encoded.
  • Images 400-1 to 400-5 are time-series images.
  • the image 400-1 may be an image with the latest imaging time.
  • the image sorting device 330a sorts the images according to a quality standard desired by the user. It is possible.
  • the difference determination unit 335 selects an image as a target image one by one from the images 400-1 to 400-5. When there are N time-series images (N is an integer equal to or greater than 3), the difference determination unit 335 determines a difference between time-series images (N ⁇ (N ⁇ 1) / 2) times.
  • the image 400-1 is the target image.
  • Images 400-2 to 400-5 are reference images.
  • the difference determination unit 335 determines that there is no difference between the image 400-1 selected as the target image and the images 400-2 to 400-4 that are reference images.
  • a circle in FIG. 12 indicates that it is determined that there is no difference between images.
  • the difference determination unit 335 determines that there is a difference between the image 400-1 selected as the target image and the image 400-5 that is the reference image.
  • a cross mark in FIG. 12 indicates that it is determined that there is a difference between images.
  • the difference determination unit 335 determines whether there is a difference between the target image and the reference image.
  • FIG. 13 is a diagram illustrating a second example of determining whether there is a difference between images in the third embodiment.
  • images 400-1 to 400-4 are reference images.
  • the image 400-5 is a target image.
  • the difference determination unit 335 determines that there is a difference between the image 400-5 selected as the target image and the images 400-1 to 400-4 that are reference images.
  • the classification unit 336 is based on the result of comparison (the result of majority decision) between the number of reference images determined to have a difference from the target image and the number of reference images determined to have no difference from the target image.
  • the image that satisfies the quality standard and the image that does not satisfy the quality standard among the time-series images are separated.
  • the classification unit 336 calculates the ratio (ratio) of the number of reference images determined to be different from the target image to the total number (total number) of reference images in the time-series images as a result of comparison (evaluation index). ).
  • the classification unit 336 determines whether or not the calculated ratio is greater than or equal to the third threshold based on the magnitude relationship shown in Expression (1).
  • the third threshold value is a predetermined positive value less than 1.
  • the classification unit 336 determines a target image in which the value on the left side of Expression (1) is equal to or greater than the third threshold value as an image that does not satisfy the quality standard desired by the user (unclear image).
  • the sorting unit 336 records information representing the sorting result in the storage unit 337.
  • the sorting unit 336 outputs information representing the sorting result to the removing unit 338.
  • the classification result includes, for example, identification information of an image that does not satisfy the quality standard desired by the user.
  • the storage unit 337 is a storage device having a non-volatile recording medium (non-temporary recording medium) such as a magnetic hard disk device or a semiconductor storage device.
  • the storage unit 337 stores the determination result by the difference determination unit 335.
  • the storage unit 337 stores the sorting result by the sorting unit 336.
  • the removing unit 338 removes an image that does not satisfy the quality standard desired by the user from the time-series images recorded in the database 320 based on the classification result.
  • the removal unit 338 may execute the image removal processing of the data evaluation unit illustrated in FIGS. 9, 12, and 13 of Patent Document 1.
  • FIG. 14 is a flowchart showing an example of the operation of the image classification system 301.
  • the size acquisition unit 331 acquires determination size information (step S401).
  • the parameter determination unit 332 determines at least an encoding parameter such as an encoding size based on the determination size (step S402).
  • the image acquisition unit 333 acquires time-series images from the database 320 (step S403).
  • the encoding unit 334 encodes a time-series image (step S404).
  • the difference determining unit 335 determines whether or not the relationship between the generated code amount of the target LCU region and the generated code amount of the adjacent LCU region satisfies any of the eleventh condition to the eighteenth condition (step S405).
  • the difference determining unit 335 In order to record the determination result indicating that there is no difference between the small image of the area of the current area and the small image of the area of the adjacent LCU in the storage unit 337, the process proceeds to step S407.
  • the difference determining unit 335 It is determined whether or not the relationship between the generated code amount of the area of the current area and the generated code amount of the area of the same position LCU satisfies the 19th condition or the 20th condition (step S406).
  • step S406 NO
  • the difference determination unit 335 A determination result indicating that it is determined that there is no difference between the small image in the area of the current area and the small image in the area of the same position LCU is recorded in the storage unit 337.
  • the difference determination unit 335 determines that the reference image determined to have a difference between the small image of the target image and the small image of the reference image is a reference image having a difference from the target image. The determination is made and recorded in the storage unit 337 (step S407). The operations from step S405 to step S407 are performed for each region (target LCU) of the target image.
  • the classification unit 336 determines whether the target image satisfies a quality standard. judge.
  • the classification unit 336 separates a plurality of images according to whether or not the target image satisfies the quality standard (step S408).
  • the removing unit 338 removes images that do not satisfy the quality standard desired by the user from the time-series images recorded in the database 320 based on the classification result (step S409).
  • the image sorting device 330a of the third embodiment includes the sorting unit 336.
  • the classification unit 336 serves as a determination result acquisition unit that acquires a determination result, and acquires a determination result indicating whether there is a difference between a target image selected from a plurality of images and a reference image.
  • the classification unit 336 serving as the evaluation index acquisition unit includes at least a number determined to have a difference between the target image and the reference image and a number determined to have no difference between the target image and the reference image. Based on one, an evaluation index for each time-series image is acquired. That is, the classification unit 336 can obtain an evaluation index based on the quality of time-series images recorded in the database 320.
  • the classification unit 336 Based on the result (evaluation index) of the comparison between the number of reference images determined to have a difference from the target image and the number of reference images determined to have no difference from the target image, the classification unit 336 The image that satisfies the quality standard and the image that does not meet the quality standard are classified. When more than half of the images stored in the storage unit 337 satisfy the quality standard regarding the imaging target, the classification unit 336 satisfies the quality standard in the time-series images based on the evaluation index obtained as a result of the comparison. Undetected images can be detected. Therefore, the classification unit 336 can classify images satisfying the quality standard from time-series images based on the evaluation index.
  • the conventional technique has a problem that images cannot be sorted according to a quality standard desired by a user.
  • the image sorting apparatus 330a of the third embodiment can sort images according to the quality standard desired by the user. Since the image classification device 330a of the third embodiment classifies images using a plurality of images instead of analyzing a single image, it is possible to classify the images with high accuracy.
  • One of the features of the image classification device 330a as an image evaluation device is to obtain an evaluation index based on a difference between images for a plurality of time-series images stored in the database 320. By the processing based on the difference between the images, the image sorting device 330a can obtain a consistent evaluation index even if the accumulated images increase. Furthermore, the image classification device 330a can perform classification according to quality standards in time-series images based on the obtained evaluation index.
  • the fourth embodiment is different from the third embodiment in that the difference determination unit 335 determines whether or not there is a difference between images based on the area of a small image in a region in the image. In the fourth embodiment, only differences from the third embodiment will be described.
  • FIG. 15 is a diagram illustrating a first example of determining whether there is a difference between images in the fourth embodiment.
  • Images 400-1 to 400-6 are time-series images.
  • the areas of the small images in the areas 410 to 490 are the same in the image 400.
  • the difference determination unit 335 selects an image as a target image one by one from the images 400-1 to 400-6.
  • an image 400-1 is a target image.
  • Images 400-2 to 400-6 are reference images.
  • the difference determination unit 335 determines that there is a difference between the small image in the region 490-1 and the small image in the region 490-2 between the image 400-1 and the image 400-2.
  • the total area of the small images in the area of the image 400-2 that is different from the image 400-1 is (1/9) of the area of the image 400-2. That is, the number of small images in the region of the image 400-2 that is different from the image 400-1 is (1/9) of the total number of small images in the region of the image 400-2. Since there is a one-to-one correspondence between regions and small images, the number of small images in the region is equal to the number of regions.
  • the difference determination unit 335 determines that there is a difference between the small image in the region 490-1 and the small image in the region 490-3 between the image 400-1 and the image 400-3.
  • the total area of the small images in the area of the image 400-3 that is different from the image 400-1 is (1/9) of the area of the image 400-3. That is, the number of small images in the area of the image 400-3 that is different from the image 400-1 is (1/9) of the total number of small images in the area of the image 400-3.
  • the difference determination unit 335 determines that there is a difference between the small image in the area 480-1 and the small image in the area 480-4.
  • the difference determination unit 335 determines that there is a difference between the small image in the region 490-1 and the small image in the region 490-4.
  • the total area of the small images in the area of the image 400-4 that is different from the image 400-1 is (2/9) of the area of the image 400-4. That is, the number of small images in the area of the image 400-3 that is different from the image 400-1 is (2/9) of the total number of small images in the area of the image 400-3.
  • the difference determination unit 335 determines that there is a difference between the small image in the region 450-1 and the small image in the region 450-5.
  • the difference determination unit 335 determines that there is a difference between the small image in the region 480-1 and the small image in the region 480-5.
  • the difference determination unit 335 determines that there is a difference between the small image in the region 490-1 and the small image in the region 490-5.
  • the total area of the small images in the region of the image 400-5 that is different from the image 400-1 is (3/9) of the area of the image 400-5. That is, the number of small images in the area of the image 400-5 that is different from the image 400-1 is (3/9) of the total number of small images in the area of the image 400-5.
  • the difference determination unit 335 determines that there is no difference between the small image in the area 490-1 and the small image in the area 490-6.
  • the total area of the small images in the region of the image 400-6 that is different from the image 400-1 is (8/9) of the area of the image 400-6. That is, the number of small images in the area of the image 400-6 that is different from the image 400-1 is (8/9) of the total number of small images in the area of the image 400-6.
  • the difference determination unit 335 determines a reference image determined to have a difference from the target image in an area of a certain ratio (fourth threshold value) or more in the reference image as a reference image having a difference from the target image.
  • the certain ratio is (3/9)
  • the difference determination unit 335 determines that there is no difference between the image 400-1 selected as the target image and the images 400-2 to 400-4 as the reference images. To do.
  • the difference determination unit 335 determines that there is a difference between the image 400-1 selected as the target image and the images 400-5 to 400-6 that are reference images.
  • the sorting unit 336 calculates, as a comparison result, the ratio (2/5) of the number of reference images that differ from the target image to the total number of reference images in the time-series images.
  • the classification unit 336 determines whether or not the calculated ratio is greater than or equal to the third threshold based on the magnitude relationship shown in Expression (1).
  • the third threshold value is (1/2)
  • the classification unit 336 satisfies the quality criterion desired by the user for the image 400-1 whose value (ratio) on the left side of Expression (1) is less than the third threshold value.
  • Image (clear image).
  • FIG. 16 is a diagram illustrating a second example of determining whether there is a difference between images in the fourth embodiment.
  • an image 400-6 is a target image.
  • Images 400-1 to 400-5 are reference images.
  • the difference determination unit 335 determines whether there is a difference between the small image in the region of the target LCU and the small image in the region of the same position LCU. For example, the difference determination unit 335 determines that there is a difference between the small image of the region 490-6 of the target LCU and the small image of the region 490-5 of the same position LCU.
  • the difference determination unit 335 determines that there is no difference between the small image in the region 490-6 and the small image in the region 490-1 between the image 400-6 and the image 400-1.
  • the total area of the small images in the region of the image 400-1 that is different from the image 400-6 is (8/9) of the area of the image 400-1.
  • the total area of the small images in the region of the image 400-2 that is different from the image 400-6 is (9/9) of the area of the image 400-2. is there.
  • the total area of the small images in the different regions is (9/9) of the area of the images 400-3 to 400-5.
  • the difference determination unit 335 determines a reference image determined to have a difference from the target image in an area of a certain ratio (fourth threshold value) or more in the reference image as a reference image having a difference from the target image.
  • the certain ratio is (3/9)
  • the difference determination unit 335 determines that there is a difference between the image 400-6 selected as the target image and the images 400-1 to 400-5 that are reference images. To do.
  • the sorting unit 336 calculates a ratio (5/5) of the number of reference images having a difference from the target image to the total number of reference images as a comparison result.
  • the classification unit 336 determines whether or not the calculated ratio is greater than or equal to the third threshold based on the magnitude relationship shown in Expression (1).
  • the third threshold value is (1/2)
  • the classification unit 336 satisfies the quality standard desired by the user for the image 400-6 in which the value (ratio) on the left side of Expression (1) is equal to or greater than the third threshold value. Determine that the image is not.
  • the classification unit 336 displays the image 400-6 as unclear that does not satisfy the quality standard regarding the imaging target. Determined as an image.
  • FIG. 17 is a flowchart showing an example of the operation of the image classification system in the fourth embodiment.
  • the operations in steps S501 to S507 are the same as the operations in steps S401 to S407 in FIG.
  • the difference determination unit 335 detects, for each reference image, the area of the small image in the region where there is a difference between the small image in the region of the target LCU and the small image in the region of the same position LCU (step S508).
  • the difference determination unit 335 determines a reference image determined to have a difference from the target image in an area of a certain ratio or more in the reference image as a reference image having a difference from the target image (step S509).
  • the difference determination unit 335 counts reference images that are different from the target image (step S510).
  • steps S511 to S512 is the same as the operation in steps S408 to S409 in FIG.
  • the difference determination unit 335 refers to a reference image that is determined to have a difference from the target image in an area of a certain ratio or more with respect to the area of the reference image that has a difference from the target image. Judged to be an image.
  • the image sorting device 330a according to the fourth embodiment can sort images more accurately according to the quality standard desired by the user.
  • the fifth embodiment is different from the third and fourth embodiments in that the classification unit 336 separates images according to the area of the small image in a region where there is a difference between the small images. In the fifth embodiment, only differences from the third and fourth embodiments will be described.
  • the difference determination unit 335 detects the total area of the small images in the region in the reference image determined to have a difference from the small image in the region in the target image in the time series image.
  • the classification unit 336 is based on the ratio of the total area of the small images in the region in the reference image determined to be different from the small image in the region in the target image to the total area of the reference image in the time-series image. Sort the images.
  • the classification unit 336 sets the ratio of the number of regions in the reference image including the small image determined to have a difference from the small image in the region in the target image to the total number of regions in the reference image in the time-series image. Based on this, the images may be separated.
  • the number of small images in the area of the image 400-1 that is different from the image 400-6 is eight.
  • the number of small images in the area of the image 400-2 that is different from the image 400-6 is nine.
  • the number of small images in the area of the image 400-3 that is different from the image 400-6 is nine.
  • the number of small images in the area of the image 400-4 that is different from the image 400-6 is nine.
  • the classification unit 336 satisfies the quality standard desired by the user for a target image in which the total number of small images in the reference image region having a difference from the small image in the target image region in the time-series image is equal to or greater than a threshold value.
  • a threshold value Define no image (unclear image).
  • the classification unit 336 has the total number (44) of small images in the areas of the images 400-1 to 400-5 that are different from the small images in the area of the image 400-6 equal to or greater than the fifth threshold (23).
  • An image 400-6 is defined as an image (a blurred image) that does not satisfy the quality standard desired by the user.
  • the fifth threshold value may be determined based on half of the total number of regions in each reference image.
  • the sorting unit 336 may determine whether or not the image satisfies the quality standard desired by the user as follows.
  • the number of small images in the reference image region that is different from the small image in the target image region is (44/45) of the total number of reference images in the time-series image. That is, the total area of the small images in the reference image area that is different from the small image in the target image area is (44/45) of the total area of the reference images in the time-series image.
  • the classification unit 336 has a ratio of the total area of the small images in the reference image area that is different from the small image in the area of the target image to the total area of the reference images in the time-series image equal to or greater than a threshold value. Are defined as images that do not meet the quality criteria desired by the user.
  • the classification unit 336 compares the areas of the images 400-1 to 400-5 that are different from the small image of the area of the image 400-6 with respect to the total area (45) of the reference image in the time-series image.
  • the image 400-6 in which the ratio (44/45) of the total area of the small images is equal to or greater than the sixth threshold (1/2) may be determined as an image that does not satisfy the quality standard desired by the user.
  • FIG. 18 is a flowchart showing an example of the operation of the image classification system 301 in the fifth embodiment.
  • the operations in steps S601 to S608 are the same as the operations in steps S501 to S508 in FIG.
  • the difference determination unit 335 detects the total area of the small images in the region in the reference image determined to have a difference from the small image in the region in the target image in the time-series image (step S609).
  • the classification unit 336 detects the ratio of the total area of the small images in the region in the reference image determined to be different from the small image in the region in the target image with respect to the total area of the reference image in the time-series image. (Step S610).
  • the classification unit 336 separates the images based on the ratio of the total area of the small images (Step S611).
  • the operation in step S612 is the same as the operation in step S512 in FIG.
  • the classification unit 336 reduces the area in the reference image that is determined to have a difference from the small image in the area in the target image with respect to the total area of the reference image in the plurality of images. Based on the ratio of the total area of the image, it is determined that the reference image has a difference from the target image.
  • the image sorting device 330a of the fifth embodiment can sort images according to the quality standard desired by the user.
  • the sixth embodiment is different from the third to fifth embodiments in that a new image is added to the time-series images stored in the database 320. In the sixth embodiment, only differences from the third to fifth embodiments will be described.
  • FIG. 19 is a diagram showing an example of the configuration of the image classification system 301 in the sixth embodiment.
  • the image classification system 301 includes an image storage device 310, a database 320, and an image classification device 330b as an image evaluation device.
  • the image storage device 310 transmits a new image to be recorded in the database 320 to the image sorting device 330b.
  • the image storage device 310 acquires information indicating whether or not a new image satisfies the quality standard from the image sorting device 330b.
  • the image storage device 310 records a new image in the database 320 when the new image satisfies the quality criteria desired by the user.
  • the image acquisition unit 333 acquires a new image that is not included in the time-series images stored in the database 320 from the image storage device 310.
  • the difference determination unit 335 selects, from the time-series images stored in the database 320, an image suitable as a reference image for determining whether there is a difference between the image storage device 310 and a new image that is to be recorded in the database 320. To do.
  • An image suitable as a reference image for determining the presence or absence of a difference is, for example, the most average image among time-series images stored in the database 320.
  • An example of the most average image is an image that is determined to have the least difference from other images among the time-series images stored in the database 320.
  • An image suitable as a reference image for determining the presence or absence of a difference may be an image having the largest difference from an image that does not satisfy a quality standard desired by the user.
  • the database 320 stores the images 400-1 to 400-5 as time-series images. ing.
  • the difference determination unit 335 selects an image suitable as a reference image for determining the presence / absence of a difference from a new image from the images 400-1 to 400-5 that satisfy the quality standard desired by the user. In FIG. 15, the difference determination unit 335 determines that there are differences between the image 400-1 and the other images 400 in the small images of a total of seven regions. The difference determination unit 335 determines that there is a difference between the image 400-2 and the other image 400 in the small images of a total of four areas. The difference determination unit 335 determines that there is a difference between the image 400-3 and the other image 400 in a small image of a total of four areas. The difference determination unit 335 determines that there is a difference between the image 400-4 and the other image 400 in a small image of a total of five areas.
  • the difference determination unit 335 selects the image 400-2 and the image 400-3 that are determined to have the least difference from the other images among the time-series images as reference images.
  • the difference determination unit 335 may select either the image 400-2 or the image 400-3 based on a predetermined condition.
  • the predetermined condition is, for example, a condition that an image with a newer imaging time is selected.
  • the difference determination unit 335 acquires a new image to be recorded in the database 320 by the image storage device 310 from the image storage device 310 via the image acquisition unit 333.
  • the difference determination unit 335 determines whether there is a difference between the new image acquired from the image storage device 310 and the selected reference image. When determining that there is no difference between the new image acquired from the image storage device 310 and the selected reference image, the difference determination unit 335 determines that the new image satisfies the quality standard.
  • the difference determination unit 335 transmits information indicating whether or not a new image satisfies the quality standard to the image storage device 310.
  • FIG. 20 is a flowchart showing an example of the operation of the image classification system 301 in the sixth embodiment.
  • the image acquisition unit 333 acquires a new image that is not included in the time-series images stored in the database 320 from the image storage device 310 (step S701).
  • the difference determination unit 335 selects, from the time-series images stored in the database 320, an image suitable as a reference image for determining whether there is a difference between the image storage device 310 and a new image that is to be recorded in the database 320. (Step S702).
  • the difference determination unit 335 determines whether or not there is a difference between the new image acquired from the image storage device 310 and the selected reference image (step S703). When it is determined that there is no difference between the new image acquired from the image storage device 310 and the selected reference image (step S703: NO), the image storage device 310 records the new image in the database 320. (Step S704). When it is determined that there is a difference between the new image acquired from the image storage device 310 and the selected reference image (step S703: YES), the image sorting device 330b ends the process.
  • the difference determination unit 335 uses a new image determined to have no difference from the reference image selected from the time-series image in the database 320 as the time-series image in the database 320. Include in Accordingly, the image sorting device 330b according to the sixth embodiment can efficiently determine whether or not to include a newly captured image in the time-series image in the database 320. In the image classification device 330b according to the sixth embodiment, the difference determination unit 335 determines whether there is a difference between the reference image selected from the time-series images and the new image. It is possible to suppress an increase in the number of image comparisons required to determine whether or not.
  • At least a part of the evaluation support apparatus or the image sorting apparatus as the image evaluation apparatus may be realized by a computer.
  • a program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on this recording medium may be read into a computer system and executed.
  • the “computer system” here includes an OS and hardware such as peripheral devices.
  • Computer-readable recording medium refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in a computer system.
  • the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line.
  • a volatile memory inside a computer system serving as a server or a client in that case may be included and a program held for a certain period of time.
  • the program may be a program for realizing a part of the above-described functions, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system. It may be realized using a programmable logic device such as (Field Programmable Gate Array).
  • the change detection method and the method for determining the presence / absence of a difference between small images used in the implementation of the present invention are not limited to the methods described in the above embodiment, and image feature amounts, pixel values, and luminance values are calculated.
  • a conventional method such as a method based on comparison or machine learning may be used.
  • the present invention can be applied to uses that require obtaining an evaluation index based on the quality of a plurality of accumulated images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

画像評価装置は、ほぼ同一の空間領域が撮像された３枚以上の複数の画像のうちの一つの画像である対象画像と、複数の画像のうち対象画像以外の画像である参照画像との差異の有無についての判定結果を取得する判定結果取得部と、対象画像と参照画像との間で差異があると判定された数と、対象画像と参照画像との間で差異がないと判定された数との少なくとも一方に基づき、複数の画像の評価指標を取得する評価指標取得部と、を備える。

Description

画像評価装置、画像評価方法及び画像評価プログラム
　本発明は、画像評価装置、画像評価方法及び画像評価プログラムに関する。
　本願は、２０１６年１１月１０日に日本に出願された特願２０１６－２１９７１６号と、２０１６年１１月１８日に日本に出願された特願２０１６－２２４９２２号とに基づき優先権を主張し、その内容をここに援用する。
　ハードディスクドライブや半導体記憶装置の記憶容量の増加に伴い、大量の画像を蓄積することが可能になっている（特許文献１参照）。蓄積された画像間における差異を検出する技術も検討されている（特許文献２参照）。しかし、蓄積される画像が増えるほど、適切ではない画像の数若しくは／及び割合も増えると想定され、蓄積された複数の画像に基づいた適切な評価を行うことが困難になる。蓄積された複数の画像の評価が困難になる原因として、例えば、蓄積された複数の画像に基づいた評価指標を定めにくいことがある。
特開２０１４－８６９１３号公報 特許第４９９５７８７号公報
　上記事情に鑑み、本発明は、蓄積された複数の画像の品質に基づいた評価指標を得ることができる画像評価装置、画像評価方法及び画像評価プログラムを提供することを目的としている。
　本発明の第１の態様における画像評価装置は、ほぼ同一の空間領域が撮像された３枚以上の複数の画像のうちの一つの画像である対象画像と、前記複数の画像のうち前記対象画像以外の画像である参照画像との差異の有無についての判定結果を取得する判定結果取得部と、前記対象画像と前記参照画像との間で差異があると判定された数と、前記対象画像と前記参照画像との間で差異がないと判定された数との少なくとも一方に基づき、前記複数の画像の評価指標を取得する評価指標取得部と、を備える。
　本発明の第２の態様によれば、第１の態様の画像評価装置において、前記複数の画像は、時系列の画像であり、前記判定結果取得部により取得される前記判定結果は、前記対象画像内の領域の小画像と、前記参照画像内の領域の小画像との差異の有無を示し、前記評価指標取得部は、前記小画像間の差異があると判定された前記領域の組の数を前記時系列の画像について前記対象画像内の前記領域ごとに検出した結果を前記評価指標として得る。
　本発明の第３の態様によれば、上記の第２の態様の画像評価装置において、前記評価指標取得部は、前記小画像間の差異の有無が誤判定される確率が第１閾値未満である場合、差異を評価すべき優先度を表す値を前記評価指標として得る。
　本発明の第４の態様によれば、上記の第２の態様の画像評価装置において、前記評価指標取得部は、前記小画像間の差異の有無が誤判定される確率が第１閾値以上である場合、前記小画像間の差異があると判定された結果の確度を表す値を前記評価指標として得る。
　本発明の第５の態様によれば、上記の第３又は第４の態様の画像評価装置において、前記評価指標に応じた値と第２閾値との比較結果に基づいて、前記小画像間の差異の有無を表す２値の前記評価指標を得る２値化部をさらに備える。
　本発明の第６の態様によれば、上記の第２から第５の態様のいずれかの画像評価装置において、前記対象画像内の前記領域の小画像と前記参照画像内の前記領域の小画像との差異の有無を判定し、前記判定結果を得る差異判定部をさらに備える。
　本発明の第７の態様によれば、上記の第２から第６の態様のいずれかの画像評価装置において、前記対象画像内の前記領域ごとに得た前記評価指標に基づいて、前記対象画像内の前記領域の前記小画像を拡大する画像処理部をさらに備える。
　本発明の第８の態様によれば、上記の第１の態様の画像評価装置において、前記評価指標取得部は、前記評価指標に基づいて、前記複数の画像のうち前記空間領域に関する品質基準を満たしている画像と前記品質基準を満たしていない画像とを分別する。
　本発明の第９の態様によれば、上記の第８の態様の画像評価装置において、前記評価指標取得部は、前記複数の画像における前記参照画像の総数に対する、前記対象画像との差異があると判定された前記参照画像の数の割合を、前記評価指標として取得する。
　本発明の第１０の態様によれば、上記の第８の態様の画像評価装置において、前記評価指標取得部は、前記複数の画像における前記参照画像の総面積に対する、前記対象画像内の領域の小画像との差異があると判定された前記参照画像内の領域の小画像の総面積の割合と、前記複数の画像における前記参照画像内の領域の総数に対する、前記対象画像内の領域の小画像との差異があると判定された小画像を含む前記参照画像内の領域の数の割合とのいずれかを、前記評価指標として取得する。
　本発明の第１１の態様によれば、上記の第９又は第１０の態様の画像評価装置において、前記品質基準を満たしていない前記対象画像を、前記評価指標と閾値との大小関係に基づいて前記複数の画像から除去する除去部をさらに備える。
　本発明の第１２の態様によれば、上記の第８から第１１の態様のいずれかの画像評価装置において、前記対象画像と前記参照画像との差異の有無を判定する差異判定部をさらに備える。
　本発明の第１３の態様によれば、上記の第１２の態様の画像評価装置において、前記差異判定部は、前記参照画像の面積に対する一定割合以上の面積で前記対象画像との差異があると判定された前記参照画像を、前記対象画像との差異がある前記参照画像であると判定する。
　本発明の第１４の態様によれば、上記の第１２又は第１３の態様の画像評価装置において、前記差異判定部は、前記複数の画像から選択された画像との差異がないと判定された他の画像を前記複数の画像に含める。
　本発明の第１５の態様における画像評価方法は、ほぼ同一の空間領域が撮像された３枚以上の複数の画像のうちの一つの画像である対象画像と、前記複数の画像のうち前記対象画像以外の画像である参照画像との差異の有無についての判定結果を取得するステップと、前記対象画像と前記参照画像との間で差異があると判定された数と、前記対象画像と前記参照画像との間で差異がないと判定された数との少なくとも一方に基づき、前記複数の画像の評価指標を取得するステップと、を含む。
　本発明の第１６の態様における画像評価プログラムは、画像評価装置が備えるコンピュータを、ほぼ同一の空間領域が撮像された３枚以上の複数の画像のうちの一つの画像である対象画像と、前記複数の画像のうち前記対象画像以外の画像である参照画像との差異の有無についての判定結果を取得する判定結果取得部と、前記対象画像と前記参照画像との間で差異があると判定された数と、前記対象画像と前記参照画像との間で差異がないと判定された数との少なくとも一方に基づき、前記複数の画像の評価指標を取得する評価指標取得部と、として機能させるためのプログラムである。
　本発明によれば、蓄積された複数の画像の品質に基づいた評価指標を得ることが可能となる。
第１実施形態における、評価支援システムの構成の例を示す図である。 第１実施形態における、時系列の画像の例を示す図である。 第１実施形態における、画像処理が施された画像の表示の第１例を示す図である。 第１実施形態における、画像処理が施された画像の表示の第２例を示す図である。 第１実施形態における、画像処理が施された画像の表示の第３例を示す図である。 第１実施形態における、画像処理が施された画像の表示の第４例を示す図である。 第１実施形態における、画像処理が施された画像の表示の第５例を示す図である。 第１実施形態における、画像処理が施された画像の表示の第６例を示す図である。 第１実施形態における、評価支援システムの動作の例を示すフローチャートである。 第２実施形態における、評価支援システムの構成の例を示す図である。 第３実施形態における、画像分別システムの構成の例を示す図である。 第３実施形態における、画像間の差異の有無の判定の第１例を示す図である。 第３実施形態における、画像間の差異の有無の判定の第２例を示す図である。 第３実施形態における、画像分別システムの動作の例を示すフローチャートである。 第４実施形態における、画像間の差異の有無の判定の第１例を示す図である。 第４実施形態における、画像間の差異の有無の判定の第２例を示す図である。 第４実施形態における、画像分別システムの動作の例を示すフローチャートである。 第５実施形態における、画像分別システムの動作の例を示すフローチャートである。 第６実施形態における、画像分別システムの構成の例を示す図である。 第６実施形態における、画像分別システムの動作の例を示すフローチャートである。
　本発明の画像評価装置、画像評価方法及び画像評価プログラムに係る実施形態について、図面を参照して詳細に説明する。
　（第１実施形態）
　図１は、評価支援システム１の構成の例を示す図である。評価支援システム１は、画像間の差異を評価するユーザの判断を支援するシステムである。評価支援システム１は、データベース１０と、評価支援装置２０ａと、表示装置３０とを備える。
　データベース１０は、磁気ハードディスク装置や半導体記憶装置等の不揮発性の記録媒体（非一時的な記録媒体）を有する記憶装置である。データベース１０は、時系列の画像を記憶する。以下、時系列の画像には、ほぼ同一の空間領域が撮像されている。時系列の画像は、ほぼ同じ空間領域が撮像されていれば、画像ごとに異なる方向から撮像されていてもよいし、画像ごとに縮尺が異なっていてもよい。画像は、例えば、医用画像、監視用画像、航空画像又は衛星画像である。衛星画像は、例えば、１日に１回程度の周期で人工衛星によって撮像された地表のほぼ同一地域の画像である。
　以下、画像は、ユーザが所望する予め定められた品質基準を満たしている画像（鮮明画像）である。品質基準とは、例えば、撮像対象の空間領域のうち一定以上の面積の空間領域が撮像されているという品質基準である。画像が航空画像又は衛星画像である場合、品質基準とは、一定以上の面積の領域が雲や霧に隠されることなく撮像されているという品質基準である。撮像対象は、例えば、変化の有無を検出したい被写体であってもよい。撮像対象の空間領域又は撮像対象が撮像された画像とは、変化の有無を検出したい被写体が撮像されている画像であってもよい。
　品質基準の他の例として、蓄積されている画像間における撮像対象の変化の検出しやすさを品質基準としてもよい。例えば、画像の面積に対する撮像対象が写っている面積の比を用いてもよい。画像において撮像対象が他の被写体に隠れずに写っている面積の比が所定値以上である場合に、当該画像が品質基準を満たしていると判定してもよい。さらに、画像において撮像対象が明りょうに写っている場合に、当該画像が品質基準を満たしていると判定してもよい。すなわち、品質基準は、撮像対象又は撮像対象の空間領域に関して定められてもよい。
　画像には、複数の領域（ブロック）が含まれている。画像内の領域の形状は、例えば、矩形である。画像内の領域は、例えば、ＭＰＥＧ（Moving Picture Experts Group）等のマクロブロック（MB: Macro Block）、ＨＥＶＣ（High Efficiency Video Coding）等の符号化ユニット（CU: Coding Unit）、最大符号化ユニット（LCU: Largest CU）、予測ユニット（PU：Prediction Unit）、変換ユニット（TU：Transform Unit）の単位で、画像に定められる。以下、領域は、最大符号化ユニットの単位で画像に定められる場合について説明する。
　画像評価装置としての評価支援装置２０ａは、画像間の差異を評価するユーザの判断を支援する装置である。評価支援装置２０ａは、ユーザが差異を評価する領域を含む時系列の画像を、データベース１０から取得する。評価支援装置２０ａは、画像内の領域ごとに、時系列の画像間の差異の有無を判定する。
　評価支援装置２０ａは、どの領域を優先して時系列の画像間の差異を評価するかをユーザが判断するための評価指標を、領域ごとの差異の有無を表す判定結果に基づいて、画像内の領域に付与する。評価支援装置２０ａは、領域に付与された評価指標を、表示装置に送信する。評価支援装置２０ａは、評価指標に基づいて画像に画像処理を施してもよい。評価支援装置２０ａは、画像処理が施された画像を表示装置３０に送信する。
　表示装置３０は、液晶ディスプレイや発光ダイオード（LED: light emitting diode）を有する画面を備える。表示装置３０は、領域に付与された評価指標を画面に表示する。表示装置３０は、評価支援装置２０ａによって画像処理が施された画像を画面に表示する。これによって、ユーザは、画面に表示された画像及び評価指標に基づいて、画像内の領域ごとに画像間の差異を評価することができる。
　表示装置３０は、タッチパネル等の操作デバイスを画面に備えてもよい。表示装置３０は、タッチパネル等の操作デバイスが受け付けた操作に応じた信号を、評価支援装置２０ａに送信してもよい。
　評価支援装置２０ａの構成を説明する。
　評価支援装置２０ａは、サイズ取得部２１と、パラメータ決定部２２と、画像取得部２３と、符号化部２４と、差異判定部２５と、評価指標部２６と、画像処理部２７と、記憶部２８とを備える。
　サイズ取得部２１とパラメータ決定部２２と画像取得部２３と符号化部２４と差異判定部２５と評価指標部２６と画像処理部２７とのうち一部又は全部は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサが、記憶部２８に記憶されたプログラムを実行することにより実現されてもよいし、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。
　サイズ取得部２１は、画像上での判定対象の差異のサイズ（以下「判定サイズ」という。）を表す情報（以下「判定サイズ情報」という。）を外部から取得する。以下、判定サイズは、最大符号化ユニットのサイズである。判定サイズは、例えば、画素数を用いて表される。サイズ取得部２１は、判定サイズ情報をパラメータ決定部２２に送信する。
　パラメータ決定部２２は、判定サイズに基づいて、最大符号化ユニットのサイズ（以下「符号化サイズ」という。）を少なくとも決定する。パラメータ決定部２２は、符号化サイズを表す情報等を含む符号化パラメータを、符号化部２４に送信する。
　画像取得部２３は、ユーザが領域ごとに差異を評価する時系列の画像を、データベース１０から取得する。画像取得部２３は、３枚以上の時系列の画像を取得する。画像取得部２３は、一例として、第１画像から第４画像までの４枚の画像を取得する。以下、第１画像は、最も新しい時刻に撮像された画像である。第２画像は、第１画像の次に新しい時刻に撮像された画像である。第３画像は、第２画像の次に新しい時刻に撮像された画像である。第４画像は、最も過去の時刻に撮像された画像である。画像取得部２３は、時系列の画像を符号化部２４及び画像処理部２７に送信する。
　符号化部２４は、時系列の画像を符号化する。例えば、符号化部２４は、符号化パラメータに基づいて、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）、ＨＥＶＣ、ＭＰＥＧ等の動画像符号化処理を実行してもよい。符号化部２４は、符号化パラメータに基づいて、ＪＰＥＧ等の静止画符号化処理を実行してもよい。
　以下では、時系列の画像のうちの複数の参照画像は、第２画像、第３画像及び第４画像である。参照画像との差異の有無が判定される対象の画像（以下「対象画像」という。）は、第１画像である。時系列の画像のうち対象画像及び参照画像は、予め定められた条件に基づいて、例えば画像取得部２３によって振り分けられる。時系列の画像は、対象画像と参照画像とに分けられてデータベース１０に記憶されていてもよい。
　符号化部２４は、対象画像及び参照画像を、判定サイズに基づいて符号化する。符号化部２４は、ＨＥＶＣの動画像符号化処理を実行する場合、対象画像及び参照画像に、判定サイズに基づくＨＥＶＣイントラ符号化処理を施す。
　以下、対象画像内の最大符号化ユニットを「対象ＬＣＵ」という。以下、対象画像において対象ＬＣＵに隣接する最大符号化ユニットを「隣接ＬＣＵ」という。以下、参照画像において対象ＬＣＵの位置と空間的にほぼ同じ位置の最大符号化ユニットを「同位置ＬＣＵ」という。以下、領域内の画像を「領域の小画像」という。
　差異判定部２５は、対象ＬＣＵの領域の小画像と隣接ＬＣＵの領域の小画像との差異の有無を、対象ＬＣＵの領域の小画像の符号化情報と隣接ＬＣＵの領域の小画像の符号化情報との差異に基づいて判定する。例えば、差異判定部２５は、対象ＬＣＵの領域の小画像と隣接ＬＣＵの領域の小画像との差異の有無を、対象ＬＣＵの領域の発生符号量と隣接ＬＣＵの領域の発生符号量との差異に基づいて判定する。
　差異判定部２５は、対象ＬＣＵの領域の小画像と隣接ＬＣＵの領域の小画像との差異がある場合、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像との差異の有無をさらに判定する。
　差異判定部２５は、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像との差異の有無を、対象ＬＣＵの領域の小画像の符号化情報と同位置ＬＣＵの領域の小画像の符号化情報との差異に基づいて判定する。例えば、差異判定部２５は、対象ＬＣＵの領域の小画像と隣接ＬＣＵの領域の小画像との差異の有無を、対象ＬＣＵの領域の発生符号量と同位置ＬＣＵの領域の発生符号量との差異に基づいて判定する。
　差異判定部２５が対象画像及び参照画像の間の差異の有無を判定する方法は、特定の方法に限定されない。以下、一例として、差異判定部２５が符号化処理における発生符号量に基づいて小画像間の差異の有無を判定する方法について説明する。
　差異判定部２５は、対象ＬＣＵの領域の発生符号量と、対象ＬＣＵの領域の上下左右の各隣接ＬＣＵの領域の発生符号量とを比較する。例えば、差異判定部２５は、対象ＬＣＵの領域の発生符号量と隣接ＬＣＵの領域の発生符号量との関係が下記の第１条件から第８条件までのいずれかを満たすか否かを判定する。
　第１条件：ｍａｘ（Ｒ（Ｎ－１）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ－１））＞Ｒ＿Ｔｈ１
　第２条件：ｍａｘ（Ｒ（Ｎ＋１）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ＋１））＞Ｒ＿Ｔｈ１
　第３条件：ｍａｘ（Ｒ（Ｎ－ｘ）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ－ｘ））＞Ｒ＿Ｔｈ１
　第４条件：ｍａｘ（Ｒ（Ｎ＋ｘ）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ＋ｘ））＞Ｒ＿Ｔｈ１
　第５条件：ｍｉｎ（Ｒ（Ｎ－１）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ－１））＜Ｒ＿Ｔｈ２
　第６条件：ｍｉｎ（Ｒ（Ｎ＋１）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ＋１））＜Ｒ＿Ｔｈ２
　第７条件：ｍｉｎ（Ｒ（Ｎ－ｘ）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ－ｘ））＜Ｒ＿Ｔｈ２
　第８条件：ｍｉｎ（Ｒ（Ｎ＋ｘ）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ＋ｘ））＜Ｒ＿Ｔｈ２
　ここで、Ｒは、最大符号化ユニットの領域の発生符号量を表す。ｍａｘ（Ｒ（Ｎ－１），Ｒ（Ｎ））は、発生符号量Ｒ（Ｎ－１）及びＲ（Ｎ）のうち大きい値を表す。ｍｉｎ（Ｒ（Ｎ－１），Ｒ（Ｎ））は、発生符号量Ｒ（Ｎ－１）及びＲ（Ｎ）のうち小さい値を表す。Ｒ＿Ｔｈ１は、Ｒ＿Ｔｈ１＞１を満たす発生符号量閾値である。Ｒ＿Ｔｈ２は、０＜Ｒ＿Ｔｈ２≦１を満たす発生符号量閾値である。Ｎは、対象画像内のＮ番目の対象ＬＣＵを表す。Ｎ－１は、対象ＬＣＵの左の隣接ＬＣＵを表す。Ｎ＋１は、対象ＬＣＵの右の隣接ＬＣＵを表す。Ｎ－ｘは、対象ＬＣＵの上の隣接ＬＣＵを表す。Ｎ＋ｘは、対象ＬＣＵの下の隣接ＬＣＵを表す。
　差異判定部２５は、対象ＬＣＵの領域の発生符号量と隣接ＬＣＵの領域の発生符号量との関係が第１条件から第８条件までのいずれも満たさない場合、対象ＬＣＵの領域の小画像と隣接ＬＣＵの領域の小画像との間の差異がないと判定する。すなわち、差異判定部２５は、対象ＬＣＵの領域の発生符号量と隣接ＬＣＵの領域の発生符号量との差が少ない場合、対象ＬＣＵの領域の小画像と隣接ＬＣＵの領域の小画像との間の差異がないと判定する。差異判定部２５は、対象ＬＣＵの領域の小画像と隣接ＬＣＵの領域の小画像との間の差異がないと判定された結果を、対象ＬＣＵの領域に対応付けて記憶部２８に記録する。
　差異判定部２５は、対象ＬＣＵの領域の発生符号量と隣接ＬＣＵの領域の発生符号量との関係が第１条件から第８条件までのいずれかの条件を満たす場合、対象ＬＣＵの領域の発生符号量と、同位置ＬＣＵの領域の発生符号量とを比較する。例えば、差異判定部２５は、対象ＬＣＵの領域の発生符号量と同位置ＬＣＵの領域の発生符号量との関係が下記の第９条件又は第１０条件を満たすか否かを判定する。
　第９条件：ｍａｘ（Ｒ＿Ａ（Ｎ）／Ｒ＿Ｂ（Ｎ），Ｒ＿Ｂ（Ｎ）／Ｒ＿Ａ（Ｎ））＞Ｒ＿Ｔｈ３
　第１０条件：ｍｉｎ（Ｒ＿Ａ（Ｎ）／Ｒ＿Ｂ（Ｎ），Ｒ＿Ｂ（Ｎ）／Ｒ＿Ａ（Ｎ））＜Ｒ＿Ｔｈ４
　ここで、Ｒ＿Ａは、参照画像「Ａ」内の同位置ＬＣＵの領域の発生符号量を表す。Ｒ＿Ｂは、対象画像「Ｂ」内の対象ＬＣＵの領域の発生符号量を表す。Ｒ＿Ｔｈ３は、Ｒ＿Ｔｈ３＞１を満たす発生符号量閾値である。Ｒ＿Ｔｈ４は、０＜Ｒ＿Ｔｈ４≦１を満たす発生符号量閾値である。
　差異判定部２５は、対象ＬＣＵの領域の発生符号量と同位置ＬＣＵの領域の発生符号量との関係が第９条件及び第１０条件のいずれも満たさない場合、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像との間の差異がないと判定する。すなわち、差異判定部２５は、対象ＬＣＵの領域の発生符号量と同位置ＬＣＵの領域の発生符号量との差が少ない場合、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像との間の差異がないと判定する。差異判定部２５は、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像との間の差異がないと判定された結果を、対象ＬＣＵの領域に対応付けて記憶部２８に記録する。
　差異判定部２５は、対象ＬＣＵの領域の発生符号量と同位置ＬＣＵの領域の発生符号量との関係が第９条件又は第１０条件を満たす場合、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像との間の差異があると判定する。すなわち、差異判定部２５は、対象ＬＣＵの領域の発生符号量と同位置ＬＣＵの領域の発生符号量との差が多い場合、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像との間の差異があると判定する。差異判定部２５は、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像との間の差異があると判定されたことを表す判定結果を、対象ＬＣＵの領域に対応付けて記憶部２８に記録する。
　差異判定部２５は、符号化部２４がＨＥＶＣの動画像符号化処理を実行した場合、画像の左上端に定められた符号化開始点をずらして符号化した場合における、小画像間の差異の有無の判定結果を算出してもよい。差異判定部２５は、符号化開始点をずらさずに符号化した場合の判定結果と符号化開始点をずらして符号化した場合の判定結果とを重畳した結果（論理和の結果）を、最終的な判定結果と定めてもよい。
　図２は、時系列の画像の例を示す図である。図２では、画像１００－１は、対象画像であり、最も新しい時刻に撮像された画像である。画像１００－２は、参照画像であり、画像１００－１の次に新しい時刻に撮像された画像である。画像１００－３は、参照画像であり、画像１００－２の次に新しい時刻に撮像された画像である。画像１００－４は、参照画像であり、最も過去の時刻に撮像された画像である。
　以下、画像１００－１～１００－４に共通する事項については、符号の一部を省略して「画像１００」と表記する。画像１００には、一例として、領域１１０と領域１２０と領域１３０とが定められている。
　図２では、差異判定部２５は、対象ＬＣＵの領域１１０－１の小画像と同位置ＬＣＵの領域１１０－２の小画像との間の差異があると判定する。差異判定部２５は、対象ＬＣＵの領域１１０－１の小画像と同位置ＬＣＵの領域１１０－３の小画像との間の差異がないと判定する。差異判定部２５は、対象ＬＣＵの領域１１０－１の小画像と同位置ＬＣＵの領域１１０－４の小画像との間の差異がないと判定する。
　図２では、差異判定部２５は、対象ＬＣＵの領域１２０－１の小画像と同位置ＬＣＵの領域１２０－２の小画像との間の差異がないと判定する。差異判定部２５は、対象ＬＣＵの領域１２０－１の小画像と同位置ＬＣＵの領域１２０－３の小画像との間の差異があると判定する。差異判定部２５は、対象ＬＣＵの領域１２０－１の小画像と同位置ＬＣＵの領域１２０－４の小画像との間の差異があると判定する。
　図２では、差異判定部２５は、対象ＬＣＵの領域１３０－１の小画像と同位置ＬＣＵの領域１３０－２の小画像との間の差異があると判定する。差異判定部２５は、対象ＬＣＵの領域１３０－１の小画像と同位置ＬＣＵの領域１３０－３の小画像との間の差異があると判定する。差異判定部２５は、対象ＬＣＵの領域１３０－１の小画像と同位置ＬＣＵの領域１３０－４の小画像との間の差異があると判定する。
　図１に戻り、評価支援装置２０ａの構成の説明を続ける。評価指標取得部としての評価指標部２６は、複数の対象ＬＣＵの領域のうちどの領域を優先して対象画像及び参照画像の間の差異を評価するかをユーザが判断するための評価指標を、小画像間の差異の有無を表す判定結果に基づいて、対象ＬＣＵの領域に付与する。
　評価指標部２６は、小画像間の差異の有無の判定結果を、符号化部２４又は記憶部２８から取得する。評価指標部２６は、小画像間の差異があると判定された対象ＬＣＵの領域と同位置ＬＣＵの領域との組の数（変化有である組の数）を、対象画像内の対象ＬＣＵの領域ごとに、画像１００－１と２枚以上の参照画像とについて検出する。
　図２では、領域１１０－１の小画像と領域１１０－２の小画像との間の差異があると判定されたので、小画像間の差異があると判定された対象ＬＣＵの領域１１０－１と同位置ＬＣＵの領域との組の数の検出結果（合算結果）は１である。
　図２では、領域１２０－１の小画像と領域１２０－３の小画像との間の差異があると判定され、領域１２０－１の小画像と領域１２０－４の小画像との間の差異があると判定されたので、小画像間の差異があると判定された対象ＬＣＵの領域１２０－１と同位置ＬＣＵの領域との組の数の検出結果は２である。
　図２では、領域１３０－１の小画像と領域１３０－２の小画像との間の差異があると判定され、領域１３０－１の小画像と領域１３０－３の小画像との間の差異があると判定され、領域１３０－１の小画像と領域１３０－４の小画像との間の差異があると判定されたので、小画像間の差異があると判定された対象ＬＣＵの領域１３０－１と同位置ＬＣＵの領域との組の数の検出結果は３である。
　評価指標部２６は、小画像間の差異があると判定された対象ＬＣＵの領域と同位置ＬＣＵの領域との組の数の検出結果を、評価指標として対象ＬＣＵの領域に付与する。評価指標部２６は、検出結果を評価指標として画像処理部２７に出力する。評価指標部２６は、評価指標としての検出結果を、表示装置３０に出力してもよい。評価指標取得部としての評価指標部２６は、対象画像における対象ＬＣＵの領域と参照画像における同位置ＬＣＵの領域との間で差異があると判定された領域の数と、対象画像における対象ＬＣＵの領域と参照画像における同位置ＬＣＵの領域との間で差異がないと判定された領域の数との少なくとも一方に基づき、評価指標を取得してもよい。
　評価指標は、差異判定部２５によって差異の有無が誤判定される確率が第１閾値未満である場合、差異を評価すべき優先度を表す。小画像間の差異があると判定された対象ＬＣＵの領域と同位置ＬＣＵの領域との組の数が多い対象ＬＣＵの領域は、差異を評価すべき優先度が高い領域である。すなわち、小画像間の差異がないと判定された対象ＬＣＵの領域と同位置ＬＣＵの領域との組の数が多い対象ＬＣＵの領域は、差異を評価すべき優先度が低い領域である。
　評価指標部２６は、対象画像における対象ＬＣＵの領域と参照画像における同位置ＬＣＵの領域との間で差異があると判定された領域の数に基づいて、対象ＬＣＵそれぞれを評価の優先度を示す階級に分類してもよい。評価指標部２６は、同位置ＬＣＵと差異があると判定された対象ＬＣＵが属する階級の優先度を、評価指標として得てもよい。
　評価指標は、差異判定部２５によって差異の有無が誤判定される確率が第１閾値以上である場合、小画像間の差異があると判定された結果の確度を表す。小画像間の差異があると判定された対象ＬＣＵの領域と同位置ＬＣＵの領域との組の数が多い対象ＬＣＵの領域は、小画像間の差異があると判定された結果の確度が高い領域である。すなわち、小画像間の差異がないと判定された対象ＬＣＵの領域と同位置ＬＣＵの領域との組の数が多い対象ＬＣＵの領域は、小画像間の差異がないと判定された結果の確度が高い領域である。
　画像処理部２７は、評価指標としての検出結果を、評価指標部２６から取得する。画像処理部２７は、対象画像を画像取得部２３から取得する。画像処理部２７は、評価指標部２６による評価指標としての検出結果に基づいて、対象画像に画像処理を施す。画像処理部２７は、画像処理が施された対象画像を表示装置３０に出力する。画像処理部２７は、操作キー画像を含む画像を、グラフィカル・ユーザ・インタフェースの一つとして生成してもよい。
　図３は、画像処理が施された画像１００－１の表示の第１例を示す図である。画像処理部２７は、領域１１０－１を囲む枠画像と領域１２０－１を囲む枠画像と領域１３０－１を囲む枠画像とを含む画像１００－１を、表示装置３０に出力する。領域１１０－１を囲む枠画像と領域１２０－１を囲む枠画像と領域１３０－１を囲む枠画像とは、評価指標としての検出結果に応じて異なってもよい。例えば、枠画像の枠の太さは、評価指標としての検出結果に応じて異なってもよい。枠画像の色は、評価指標としての検出結果に応じて異なってもよい。
　以下、評価指標を表示する欄の画像を「指標表示欄画像」という。画像処理部２７は、指標表示欄画像１１１－１と指標表示欄画像１２１－１と指標表示欄画像１３１－１とを含む画像１００－１を、表示装置３０に出力してもよい。
　図４は、画像処理が施された画像１００－１の表示の第２例を示す図である。画像処理部２７は、領域１１０－１と領域１２０－１と領域１３０－１とのうち、評価指標としての検出結果を表す値に応じて、領域を塗りつぶしてもよい。画像処理部２７は、領域１１０－１と領域１２０－１と領域１３０－１とのうち、評価指標としての検出結果を表す値に応じて、領域を点滅させてもよい。
　図５は、画像処理が施された画像１００－１の表示の第３例を示す図である。画像処理部２７は、画像１００－１に地図を重畳してもよい。例えば、画像処理部２７は、地名や施設名等の名称を表示するための画像である名称表示欄画像１２２及び名称表示欄画像１３２を、画像１００－１に重畳してもよい。画像処理部２７は、地図上の施設の図形を表す地図画像１４０を、画像１００－１に重畳してもよい。画像処理部２７は、地図上の建物の立体図形を表す地図画像を、画像１００－１に重畳してもよい。
　図６は、画像処理が施された画像１００－１の表示の第４例を示す図である。画像処理部２７は、画像１００－１内の領域の小画像が拡大された画像を生成してもよい。例えば、画像処理部２７は、領域１３０－１の小画像が拡大された画像である領域拡大画像１３０ａ－１を生成してもよい。領域拡大画像１３０ａ－１の解像度は、領域１３０－１における画像の解像度と比較して高くてもよい。画像処理部２７は、画像１００－１と領域拡大画像１３０ａ－１とが並べられた画像を、表示装置３０に出力してもよい。
　画像処理部２７は、領域ごとに得られた評価指標に基づいて、拡大する小画像を画像１００－１内の領域の小画像から選択してもよい。例えば、画像処理部２７は、評価指標、優先度又は確度が最も高い領域の小画像を拡大してもよい。
　図７は、画像処理が施された画像１００－１の表示の第５例を示す図である。画像処理部２７は、画像１００－１内の複数の領域の小画像が拡大された画像を生成してもよい。例えば、画像処理部２７は、領域１２０－１の小画像が拡大された画像である領域拡大画像１２０ａ－１を生成してもよい。例えば、画像処理部２７は、領域１３０－１の小画像が拡大された画像である領域拡大画像１３０ａ－１を生成してもよい。画像処理部２７は、領域拡大画像１２０ａ－１と領域拡大画像１３０ａ－１とが並べられた画像を、表示装置３０に出力してもよい。　画像処理部２７は、領域ごとに得られた評価指標に基づいて、拡大する小画像を画像１００－１内の領域の小画像から選択してもよい。例えば、画像処理部２７は、他の領域より評価指標、優先度又は確度が高い幾つかの領域の小画像を拡大してもよい。
　図８は、画像処理が施された画像１００－１の表示の第６例を示す図である。画像処理部２７は、画像１００－１から画像１００－４までの各小画像について、領域拡大画像を生成してもよい。例えば、画像処理部２７は、領域拡大画像１３０ａ－１と同様に、領域拡大画像１３０ａ－２～１３０ａ－４を生成してもよい。画像処理部２７は、領域拡大画像１３０ａ－１から領域拡大画像１３０ａ－４までの各画像が時系列に並べられた画像を、表示装置３０に出力してもよい。　画像処理部２７は、領域ごとに得られた評価指標に基づいて、拡大する小画像を画像１００－１～１００－４内の領域の小画像から選択してもよい。例えば、画像処理部２７は、評価指標、優先度又は確度が最も高い領域の小画像と、当該領域に対応する参照画像内の領域の小画像とを拡大してもよい。
　図１に戻り、評価支援装置２０ａの構成の説明を続ける。記憶部２８は、磁気ハードディスク装置や半導体記憶装置等の不揮発性の記録媒体（非一時的な記録媒体）を有する記憶装置である。記憶部２８は、差異判定部２５による判定結果を記憶する。記憶部２８は、対象画像に撮像されているほぼ同一の空間領域の高解像度の画像を記憶してもよい。記憶部２８は、地図情報を記憶してもよい。記憶部２８は、評価指標部２６による検出結果を、評価指標として記憶してもよい。
　図９は、評価支援システム１の動作の例を示すフローチャートである。サイズ取得部２１は、判定サイズ情報を取得する（ステップＳ１０１）。パラメータ決定部２２は、判定サイズに基づいて符号化サイズ等の符号化パラメータを決定する（ステップＳ１０２）。画像取得部２３は、３枚以上の時系列の画像を、データベース１０から取得する（ステップＳ１０３）。符号化部２４は、時系列の画像を符号化する（ステップＳ１０４）。
　差異判定部２５は、対象ＬＣＵの領域の発生符号量と隣接ＬＣＵの領域の発生符号量との関係が第１条件から第８条件までのいずれかを満たすか否かを判定する（ステップＳ１０５）。対象ＬＣＵの領域の発生符号量と隣接ＬＣＵの領域の発生符号量との関係が第１条件から第８条件までのいずれも満たさない場合（ステップＳ１０５：ＮＯ）、差異判定部２５は、対象ＬＣＵの領域の小画像と隣接ＬＣＵの領域の小画像との間の差異がないと判定されたことを表す判定結果を記憶部２８に記録するため、ステップＳ１０７に処理を進める。
　対象ＬＣＵの領域の発生符号量と隣接ＬＣＵの領域の発生符号量との関係が第１条件から第８条件までのいずれかを満たす場合（ステップＳ１０５：ＹＥＳ）、差異判定部２５は、対象ＬＣＵの領域の発生符号量と同位置ＬＣＵの領域の発生符号量との関係が第９条件又は第１０条件を満たすか否かを判定する（ステップＳ１０６）。
　対象ＬＣＵの領域の発生符号量と同位置ＬＣＵの領域の発生符号量との関係が第９条件及び第１０条件のいずれも満たさない場合（ステップＳ１０６：ＮＯ）、差異判定部２５は、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像との間の差異がないと判定されたことを表す判定結果を、記憶部２８に記録する（ステップＳ１０７）。
　対象ＬＣＵの領域の発生符号量と同位置ＬＣＵの領域の発生符号量との関係が第９条件又は第１０条件を満たす場合（ステップＳ１０６：ＹＥＳ）、差異判定部２５は、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像と間の差異があると判定されたことを表す判定結果を、記憶部２８に記録する（ステップＳ１０７）。ステップＳ１０５からステップＳ１０７までの動作は、対象画像の領域（対象ＬＣＵ）それぞれに対して行われる。
　評価指標部２６は、小画像間の差異があると判定された対象ＬＣＵの領域と同位置ＬＣＵの領域との組の数を、対象画像内の対象ＬＣＵの領域ごとに、画像１００－１と２枚以上の参照画像とについて検出する（ステップＳ１０８）。評価指標部２６は、検出結果を評価指標として画像処理部２７に出力する（ステップＳ１０９）。
　画像処理部２７は、評価指標部２６による評価指標としての検出結果に基づいて、対象画像に画像処理を施す（ステップＳ１１０）。画像処理部２７は、画像処理が施された対象画像を表示装置３０に出力する（ステップＳ１１１）。
　以上のように、第１実施形態の評価支援装置２０ａは、評価指標部２６を備える。評価指標部２６は、判定結果を取得する判定結果取得部として、ほぼ同一の空間領域が撮像された３枚以上の時系列の画像のうちの１枚である対象画像内の領域の小画像と時系列の画像のうちの他の複数の画像である複数の参照画像内の領域の小画像との差異の有無の判定結果を取得する。評価指標部２６は、小画像間の差異があると判定された領域の組の数を時系列の画像について対象画像内の領域ごとに検出した結果を評価指標として得る。すなわち、評価支援装置２０ａは、小画像間の差異の有無に基づいて、蓄積された時系列の画像の品質に基づいた評価指標を得ることができる。
　従来の技術では、画像内の複数の領域のうちどの領域を優先して時系列の画像間の差異を評価するかをユーザは判断することが困難である、という問題があった。評価指標をユーザに与えることによって、第１実施形態の評価支援装置２０ａは、画像内の複数の領域のうちどの領域を優先して時系列の画像間の差異を評価するかをユーザが判断することを支援することが可能である。
　画像評価装置としての評価支援装置２０ａは、データベース１０に記憶されている時系列の複数の画像に対して、画像間の差異に基づいた評価指標を得ることを特徴の一つとしている。評価支援装置２０ａにおいて、判定結果取得部としての評価指標部２６が、対象画像における対象ＬＣＵの領域と参照画像における同位置ＬＣＵの領域との間で差異についての判定結果を取得する。評価指標取得部としての評価指標部２６が、対象画像における対象ＬＣＵの領域と参照画像における同位置ＬＣＵの領域との間で差異があると判定された数と、対象画像における対象ＬＣＵの領域と参照画像における同位置ＬＣＵの領域との間で差異がないと判定された数との少なくとも一方に基づき、評価指標を対象画像内の領域ごとに取得する。画像間の差異に基づいた処理により、評価支援装置２０ａは、蓄積される画像が増えても、一貫した評価指標を得ることができる。さらに、評価支援装置２０ａは、得られた評価指標に基づいて、時系列の画像においていずれの領域の差異を優先して評価すべきかを示すことができ、時系列の画像における各領域に意味付けを行うことができる。
　第１実施形態の評価指標部２６は、小画像間の差異の有無が誤判定される確率が第１閾値未満である場合、差異を評価すべき優先度を表す値を得る。第１実施形態の評価指標部２６は、小画像間の差異の有無が誤判定される確率が第１閾値以上である場合、小画像間の差異があると判定された結果の確度を表す値を得る。
　（第２実施形態）
　第２実施形態では、多値で表された評価指標としての検出結果が２値にまるめられる点が、第１実施形態と相違する。第２実施形態では、第１実施形態との相違点についてのみ説明する。
　図１０は、評価支援システム１の構成の例を示す図である。評価支援システム１は、データベース１０と、評価支援装置２０ｂと、表示装置３０とを備える。評価支援装置２０ｂが出力する評価指標は、評価指標部２６によって付与された多値を表す評価指標に応じた値と第２閾値との比較結果である２値（小画像間の差異の有無）を表す。
　画像評価装置としての評価支援装置２０ｂは、サイズ取得部２１と、パラメータ決定部２２と、画像取得部２３と、符号化部２４と、差異判定部２５と、評価指標部２６と、画像処理部２７と、記憶部２８と、２値化部２９とを備える。
　画像取得部２３は、一例として、図２に示された時系列の画像をデータベース１０から取得する。第２実施形態では、差異判定部２５によって差異の有無が誤判定される確率は、予め定められた一定確率以上である。評価指標部２６は、評価指標としての検出結果を、２値化部２９に出力する。
　２値化部２９は、評価指標部２６による評価指標としての検出結果に基づいて、小画像間の差異の有無（２値）で表される評価指標を得る。例えば、２値化部２９は、小画像間の差異があると判定された対象ＬＣＵの領域と同位置ＬＣＵの領域との組の数（変化有である組の数）を、対象ＬＣＵの領域と同位置ＬＣＵの領域との組の総数で、対象ＬＣＵの領域ごとに除算する。すなわち、２値化部２９は、変化有である組の数の検出結果（合算結果）を、対象ＬＣＵの領域と同位置ＬＣＵの領域との組の総数で、対象ＬＣＵの領域ごとに除算する。２値化部２９は、小画像間の差異の有無で表される評価指標を、対象ＬＣＵの領域に付与する。
　図２では、小画像間の差異があると判定された対象ＬＣＵの領域１１０－１と同位置ＬＣＵの領域との組の数は１である。対象ＬＣＵの領域１１０－１と同位置ＬＣＵの領域との組の総数は３である。２値化部２９は、対象ＬＣＵの領域１１０－１について、評価指標部２６によって付与された評価指標に応じた値である除算結果（１／３）を得る。
　図２では、小画像間の差異があると判定された対象ＬＣＵの領域１２０－１と同位置ＬＣＵの領域との組の数は２である。対象ＬＣＵの領域１２０－１と同位置ＬＣＵの領域との組の総数は３である。２値化部２９は、対象ＬＣＵの領域１２０－１について、評価指標部２６によって付与された評価指標に応じた値である除算結果（２／３）を得る。
　図２では、小画像間の差異があると判定された対象ＬＣＵの領域１３０－１と同位置ＬＣＵの領域との組の数は３である。対象ＬＣＵの領域１３０－１と同位置ＬＣＵの領域との組の総数は３である。２値化部２９は、対象ＬＣＵの領域１３０－１について、評価指標部２６によって付与された評価指標に応じた値である除算結果（３／３）を得る。２値化部２９は、除算結果を記憶部２８に記録してもよい。
　２値化部２９は、０から１までの間で予め定められた閾値と除算結果との大小関係を、対象ＬＣＵの領域ごとに比較する。２値化部２９は、除算結果が閾値以上である対象ＬＣＵの領域と同位置ＬＣＵの領域との組を、小画像間の差異があると判定された対象ＬＣＵの領域と同位置ＬＣＵの領域との組であると定める。２値化部２９は、除算結果が閾値未満である対象ＬＣＵの領域と同位置ＬＣＵの領域との組を、小画像間の差異がないと判定された対象ＬＣＵの領域と同位置ＬＣＵの領域との組であると定める。以下、閾値は、０以上１未満の値のうち（０．５）である。
　図２では、２値化部２９は、除算結果（１／３）が閾値０．５未満である対象ＬＣＵの領域１１０－１と同位置ＬＣＵの領域との組を、小画像間の差異がないと判定された領域の組であると定める。２値化部２９は、小画像間の差異がないことを表す評価指標を、対象ＬＣＵの領域１１０－１に付与する。
　２値化部２９は、除算結果（２／３）が閾値０．５以上である対象ＬＣＵの領域１２０－１と同位置ＬＣＵの領域との組を、小画像間の差異があると判定された領域の組であると定める。２値化部２９は、小画像間の差異があることを表す評価指標を、対象ＬＣＵの領域１２０－１に付与する。
　２値化部２９は、除算結果（３／３）が閾値０．５以上である対象ＬＣＵの領域１３０－１と同位置ＬＣＵの領域との組を、小画像間の差異があると判定された領域の組であると定める。２値化部２９は、小画像間の差異があることを表す評価指標を、対象ＬＣＵの領域１３０－１に付与する。
　２値化部２９は、小画像間の差異の有無（２値）を表す評価指標を、対象ＬＣＵの領域ごとに画像処理部２７に出力する。
　画像処理部２７は、小画像間の差異の有無を表す評価指標を、２値化部２９から取得する。画像処理部２７は、小画像間の差異の有無を表す評価指標に基づいて、対象画像に画像処理を施す。
　第２実施形態における評価指標は、小画像間の差異の有無で表される。差異判定部２５によって差異の有無が誤判定される確率が一定確率以上である場合、小画像間の差異があると２値化部２９によって判定された対象ＬＣＵの領域は、差異を評価すべき優先度が高い領域である。
　以上のように、第２実施形態の評価支援装置２０ｂは、２値化部２９を備える。２値化部２９は、評価指標部２６による評価指標に応じた値と第２閾値との比較結果に基づいて、小画像間の差異の有無を表す評価指標を得る。
　これによって、第２実施形態の評価支援装置２０ａは、差異の有無が誤判定される確率が一定確率以上である場合でも、画像内の複数の領域のうちどの領域を優先して時系列の画像間の差異を評価するかをユーザが判断することをより確実に支援することが可能である。
　２値化部２９は、小画像間の差異があると判定された対象ＬＣＵの領域と同位置ＬＣＵの領域との組の数（変化有である組の数）と閾値との大小関係を、対象ＬＣＵの領域ごとに比較してもよい。２値化部２９は、変化有である組の数が閾値以上である対象ＬＣＵの領域と同位置ＬＣＵの領域との組を、小画像間の差異があると判定された対象ＬＣＵの領域と同位置ＬＣＵの領域との組であると定めてもよい。このようにしても、第２実施形態の評価支援装置２０ａは、除算結果を用いる場合と同様の効果を得ることが可能である。
　２値化部２９は、評価指標部２６により得られる優先度又は確度に基づいて、小画像間の差異の有無を表す２値の指標を得てもよい。例えば、２値化部２９は、確度が所定値以上である場合に小画像間に差異ありを示す指標を対象ＬＣＵの領域に付与し、確度が所定値未満である場合に小画像間に差異なしを示す指標を対象ＬＣＵの領域に付与してもよい。
　（第３実施形態）
　図１１は、画像分別システム３０１の構成の例を示す図である。画像分別システム３０１は、画像を分別するシステムである。画像分別システム３０１は、画像蓄積装置３１０と、データベース３２０と、画像評価装置としての画像分別装置３３０ａとを備える。
　画像蓄積装置３１０は、画像を蓄積する情報処理装置である。画像蓄積装置３１０は、ユーザが所望する品質基準を満たしている画像を所定の精度で分別するフィルタ処理を、時系列の画像に施す。品質基準とは、例えば、撮像対象の空間領域のうち一定割合以上の面積の空間領域が撮像されているという品質基準である。例えば、画像が航空画像又は衛星画像である場合、品質基準とは、一定割合以上の面積の領域が雲や霧に隠されることなく撮像されているという品質基準である。時系列の画像には、ほぼ同一の空間領域が撮像されている。画像は、例えば、医用画像、監視用画像、航空画像又は衛星画像である。衛星画像は、例えば、１日に１回程度の周期で人工衛星によって撮像された地表のほぼ同一の空間領域の画像である。
　品質基準の他の例として、第３実施形態及び後述する第４～第６実施形態においても、蓄積されている画像間における撮像対象の変化の検出しやすさを品質基準としてもよい。さらに、画像において撮像対象が明りょうに写っている場合に、当該画像が品質基準を満たしていると判定してもよい。すなわち、品質基準は、撮像対象に関して定められてもよい。
　画像蓄積装置３１０は、例えば、特許文献１の図９、図１２及び図１３に示されたデータ評価部の処理をフィルタ処理として実行する。画像蓄積装置３１０は、フィルタ処理によって分別された時系列の画像をデータベース３２０に蓄積する。第３実施形態では、画像蓄積装置３１０は、所定の精度のフィルタ処理によって分別された画像をデータベース３２０に蓄積した後、データベース３２０に蓄積されている時系列の画像に新たな画像を追加しない。
　データベース３２０は、磁気ハードディスク装置や半導体記憶装置等の不揮発性の記録媒体（非一時的な記録媒体）を有する記憶装置である。データベース３２０は、所定の精度のフィルタ処理によって分別された時系列の画像を記憶する。データベース３２０が記憶している時系列の画像のうち多くは、ユーザが所望する品質基準を満たしている画像である。例えば、データベース３２０に蓄積された時系列の画像のうち過半数の画像は、ユーザが所望する品質基準を満たしている画像（鮮明画像）である。しかしながら、データベース３２０が記憶している時系列の画像のうち一部は、フィルタ処理の精度に応じて、ユーザが所望する品質基準を満たしていない画像である。
　画像には、複数の領域（ブロック）が含まれている。画像内の領域の形状は、例えば、矩形である。画像内の領域は、例えば、ＭＰＥＧ（Moving Picture Experts Group）等のマクロブロック（MB: Macro Block）、ＨＥＶＣ（High Efficiency Video Coding）等の符号化ユニット（CU: Coding Unit）、最大符号化ユニット（LCU: Largest CU）、予測ユニット（PU：Prediction Unit）、変換ユニット（TU：Transform Unit）の単位で、画像に定められる。領域は、最大符号化ユニットの単位で画像に定められる場合について説明する。
　画像分別装置３３０ａは、データベース３２０に記憶されている時系列の画像を分別する情報処理装置である。画像分別装置３３０ａは、時系列の画像をデータベース３２０から取得する。画像分別装置３３０ａは、時系列の画像間の差異の有無を判定する。画像分別装置３３０ａは、データベース３２０に記憶されている時系列の画像のうち、ユーザが所望する品質基準を満たしている画像とユーザが所望する品質基準を満たしていない画像とを分別する。画像分別装置３３０ａは、データベース３２０に記憶されている時系列の画像から、ユーザが所望する品質基準を満たしていない画像を除去する。
　画像分別装置３３０ａは、サイズ取得部３３１と、パラメータ決定部３３２と、画像取得部３３３と、符号化部３３４と、差異判定部３３５と、分別部３３６と、記憶部３３７と、除去部３３８とを備える。
　サイズ取得部３３１とパラメータ決定部３３２と画像取得部３３３と符号化部３３４と差異判定部３３５と分別部３３６と除去部３３８とのうち一部又は全部は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサが、記憶部３３７に記憶されたプログラムを実行することにより実現されてもよいし、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。
　サイズ取得部３３１は、画像上での差異を判定したい対象（画像上での判定対象）のサイズ（以下「判定サイズ」という。）を表す情報（以下「判定サイズ情報」という。）を外部から取得する。以下、判定サイズは、最大符号化ユニットのサイズである。判定サイズは、例えば、画素数を用いて表される。サイズ取得部３３１は、判定サイズ情報をパラメータ決定部３３２に送信する。
　パラメータ決定部３３２は、最大符号化ユニットのサイズ（以下「符号化サイズ」という。）等を表す情報を含む符号化パラメータを、判定サイズに基づいて少なくとも決定する。パラメータ決定部３３２は、符号化サイズを表す情報等を含む符号化パラメータを、符号化部３３４に送信する。
　画像取得部３３３は、時系列の画像をデータベース３２０から取得する。画像取得部３３３は、例えば、３枚以上の時系列の画像を取得する。画像取得部３３３は、時系列の画像を符号化部３３４に送信する。以下、参照画像との差異の有無が判定される対象の画像を「対象画像」という。参照画像は、時系列画像の画像であって対象画像以外の画像である。時系列の画像は、予め定められた条件に基づいて、画像取得部３３３又は差異判定部３３５によって対象画像及び参照画像に振り分けられる。時系列の画像は、対象画像と参照画像とに分けられてデータベース３２０に記憶されていてもよい。
　符号化部３３４は、時系列の画像を符号化する。例えば、符号化部３３４は、符号化パラメータに基づいて、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）、ＨＥＶＣ、ＭＰＥＧ等の動画像符号化処理を実行する。符号化部３３４は、符号化パラメータに基づいて、ＪＰＥＧ等の静止画符号化処理を実行してもよい。
　符号化部３３４は、対象画像及び参照画像を、判定サイズに基づいて符号化する。符号化部３３４は、ＨＥＶＣの動画像符号化処理を実行する場合、対象画像及び参照画像に、判定サイズに基づくＨＥＶＣイントラ符号化処理を施す。
　以下、対象画像内の最大符号化ユニットを「対象ＬＣＵ」という。対象画像において対象ＬＣＵに隣接する最大符号化ユニットを「隣接ＬＣＵ」という。参照画像において対象ＬＣＵの位置と空間的に同じ位置の最大符号化ユニットを「同位置ＬＣＵ」という。領域内の画像を「領域の小画像」という。
　差異判定部３３５は、対象ＬＣＵの領域の小画像と隣接ＬＣＵの領域の小画像との差異の有無を、対象ＬＣＵの領域の小画像の画素値と隣接ＬＣＵの領域の小画像の画素値との差異に基づいて判定する。例えば、差異判定部３３５は、対象ＬＣＵの領域の小画像と隣接ＬＣＵの領域の小画像との差異の有無を、対象ＬＣＵの領域の発生符号量と隣接ＬＣＵの領域の発生符号量との差異に基づいて判定する。
　差異判定部３３５は、対象ＬＣＵの領域の小画像と隣接ＬＣＵの領域の小画像との差異がある場合、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像との差異の有無をさらに判定する。差異判定部３３５は、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像との差異の有無を、対象ＬＣＵの領域の小画像の画素値と同位置ＬＣＵの領域の小画像の画素値との差異に基づいて判定する。例えば、差異判定部３３５は、対象ＬＣＵの領域の小画像と隣接ＬＣＵの領域の小画像との差異の有無を、対象ＬＣＵの領域の発生符号量と同位置ＬＣＵの領域の発生符号量との差異に基づいて判定する。
　差異判定部３３５が対象画像及び参照画像の間の差異の有無を判定する方法は、特定の方法に限定されない。以下、一例として、差異判定部３３５が符号化処理における発生符号量に基づいて小画像間の差異の有無を判定する方法について説明する。
　差異判定部３３５は、対象ＬＣＵの領域の発生符号量と、対象ＬＣＵの領域の上下左右の各隣接ＬＣＵの領域の発生符号量とを比較する。例えば、差異判定部３３５は、対象ＬＣＵの領域の発生符号量と隣接ＬＣＵの領域の発生符号量との関係が下記の第１１条件から第１８条件までのいずれかを満たすか否かを判定する。
　第１１条件：ｍａｘ（Ｒ（Ｎ－１）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ－１））＞Ｒ＿Ｔｈ１
　第１２条件：ｍａｘ（Ｒ（Ｎ＋１）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ＋１））＞Ｒ＿Ｔｈ１
　第１３条件：ｍａｘ（Ｒ（Ｎ－ｘ）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ－ｘ））＞Ｒ＿Ｔｈ１
　第１４条件：ｍａｘ（Ｒ（Ｎ＋ｘ）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ＋ｘ））＞Ｒ＿Ｔｈ１
　第１５条件：ｍｉｎ（Ｒ（Ｎ－１）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ－１））＜Ｒ＿Ｔｈ２
　第１６条件：ｍｉｎ（Ｒ（Ｎ＋１）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ＋１））＜Ｒ＿Ｔｈ２
　第１７条件：ｍｉｎ（Ｒ（Ｎ－ｘ）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ－ｘ））＜Ｒ＿Ｔｈ２
　第１８条件：ｍｉｎ（Ｒ（Ｎ＋ｘ）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ＋ｘ））＜Ｒ＿Ｔｈ２
　ここで、Ｒは、最大符号化ユニットの領域の発生符号量を表す。ｍａｘ（Ｒ（Ｎ－１），Ｒ（Ｎ））は、発生符号量Ｒ（Ｎ－１）及びＲ（Ｎ）のうち大きい値を表す。ｍｉｎ（Ｒ（Ｎ－１），Ｒ（Ｎ））は、発生符号量Ｒ（Ｎ－１）及びＲ（Ｎ）のうち小さい値を表す。Ｒ＿Ｔｈ１は、Ｒ＿Ｔｈ１＞１を満たす発生符号量閾値である。Ｒ＿Ｔｈ２は、０＜Ｒ＿Ｔｈ２≦１を満たす発生符号量閾値である。Ｎは、対象画像内のＮ番目の対象ＬＣＵを表す。Ｎ－１は、対象ＬＣＵの左の隣接ＬＣＵを表す。Ｎ＋１は、対象ＬＣＵの右の隣接ＬＣＵを表す。Ｎ－ｘは、対象ＬＣＵの上の隣接ＬＣＵを表す。Ｎ＋ｘは、対象ＬＣＵの下の隣接ＬＣＵを表す。第１１条件から第１４条件における発生符号量閾値Ｒ＿Ｔｈ１は、第１条件から第４条件における発生符号量閾値Ｒ＿Ｔｈ１と同じ値であってもよいし、異なる値であってもよい。第１５条件から第１８条件における符号発生量閾値Ｒ＿Ｔｈ２は、第５条件から第８条件における符号発生量閾値Ｒ＿Ｔｈ２と同じ値であってもよいし、異なる値であってもよい。
　差異判定部３３５は、対象ＬＣＵの領域の発生符号量と隣接ＬＣＵの領域の発生符号量との関係が第１１条件から第１８条件までのいずれも満たさない場合、対象ＬＣＵの領域の小画像と隣接ＬＣＵの領域の小画像との間の差異がないと判定する。すなわち、差異判定部３３５は、対象ＬＣＵの領域の発生符号量と隣接ＬＣＵの領域の発生符号量との差が少ない場合、対象ＬＣＵの領域の小画像と隣接ＬＣＵの領域の小画像との間の差異がないと判定する。差異判定部３３５は、対象ＬＣＵの領域の小画像と隣接ＬＣＵの領域の小画像との間の差異がないと判定された結果を、対象ＬＣＵの領域に対応付けて記憶部３３７に記録する。
　差異判定部３３５は、対象ＬＣＵの領域の発生符号量と隣接ＬＣＵの領域の発生符号量との関係が第１１条件から第１８条件までのいずれかの条件を満たす場合、対象ＬＣＵの領域の発生符号量と、同位置ＬＣＵの領域の発生符号量とを比較する。例えば、差異判定部３３５は、対象ＬＣＵの領域の発生符号量と同位置ＬＣＵの領域の発生符号量との関係が下記の第１９条件又は第２０条件を満たすか否かを判定する。
　第１９条件：ｍａｘ（Ｒ＿Ａ（Ｎ）／Ｒ＿Ｂ（Ｎ），Ｒ＿Ｂ（Ｎ）／Ｒ＿Ａ（Ｎ））＞Ｒ＿Ｔｈ３
　第２０条件：ｍｉｎ（Ｒ＿Ａ（Ｎ）／Ｒ＿Ｂ（Ｎ），Ｒ＿Ｂ（Ｎ）／Ｒ＿Ａ（Ｎ））＜Ｒ＿Ｔｈ４
　ここで、Ｒ＿Ａは、参照画像「Ａ」内の同位置ＬＣＵの領域の発生符号量を表す。Ｒ＿Ｂは、対象画像「Ｂ」内の対象ＬＣＵの領域の発生符号量を表す。Ｒ＿Ｔｈ３は、Ｒ＿Ｔｈ３＞１を満たす発生符号量閾値である。Ｒ＿Ｔｈ４は、０＜Ｒ＿Ｔｈ４≦１を満たす発生符号量閾値である。第１９条件における発生符号量閾値Ｒ＿Ｔｈ３は、第９条件における発生符号量閾値Ｒ＿Ｔｈ３と同じ値であってもよいし、異なる値であってもよい。第２０条件における発生符号量閾値Ｒ＿Ｔｈ４は、第１０条件における発生符号量閾値Ｒ＿Ｔｈ４と同じ値であってもよいし、異なる値であってもよい。
　差異判定部３３５は、対象ＬＣＵの領域の発生符号量と同位置ＬＣＵの領域の発生符号量との関係が第１９条件及び第２０条件のいずれも満たさない場合、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像との間の差異がないと判定する。すなわち、差異判定部３３５は、対象ＬＣＵの領域の発生符号量と同位置ＬＣＵの領域の発生符号量との差が少ない場合、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像との間の差異がないと判定する。差異判定部３３５は、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像との間の差異がないと判定された結果を、対象ＬＣＵの領域に対応付けて記憶部３３７に記録する。
　差異判定部３３５は、対象ＬＣＵの領域の発生符号量と同位置ＬＣＵの領域の発生符号量との関係が第１９条件又は第２０条件を満たす場合、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像との間の差異があると判定する。すなわち、差異判定部３３５は、対象ＬＣＵの領域の発生符号量と同位置ＬＣＵの領域の発生符号量との差が多い場合、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像との間の差異があると判定する。差異判定部３３５は、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像との間の差異があると判定されたことを表す判定結果を、対象ＬＣＵの領域に対応付けて記憶部３３７に記録する。
　差異判定部３３５は、符号化部３３４がＨＥＶＣの動画像符号化処理を実行した場合、画像の左上端に定められた符号化開始点をずらして符号化した場合における、小画像間の差異の有無の判定結果を算出してもよい。差異判定部３３５は、符号化開始点をずらさずに符号化した場合の判定結果と符号化開始点をずらして符号化した場合の判定結果とを重畳した結果（論理和の結果）を、最終的な判定結果と定めてもよい。
　図１２は、第３実施形態における、画像間の差異の有無の判定の例を示す図である。図１２では、符号化部３３４によって符号化された画像４００は、符号化される前の画像４００を用いて模式的に表されている。画像４００－１～４００－５は、時系列の画像である。例えば、画像４００－１は、撮像時刻が最も新しい画像でもよい。第３実施形態では、参照画像が一例として４枚である場合について説明するが、参照画像が２枚以上であれば、画像分別装置３３０ａは、ユーザが所望する品質基準に応じて画像を分別することが可能である。
　差異判定部３３５は、画像４００－１～４００－５から１枚ずつ、対象画像とする画像を選択する。時系列の画像がＮ枚（Ｎは３以上の整数）である場合、差異判定部３３５は、（Ｎ×（Ｎ－１）／２）回、時系列の画像の間の差異を判定する。
　図１２では、画像４００－１は対象画像である。画像４００－２～４００－５は、参照画像である。差異判定部３３５は、対象画像として選択された画像４００－１と参照画像である画像４００－２～４００－４との間の差異がないと判定する。図１２おける丸印は、画像間の差異がないと判定されたことを表す。差異判定部３３５は、対象画像として選択された画像４００－１と参照画像である画像４００－５との間の差異があると判定する。図１２におけるバツ印は、画像間の差異があると判定されたことを表す。差異判定部３３５は、画像４００－２～４００－４を対象画像として選択した場合も同様に、対象画像と参照画像との差異の有無を判定する。
　図１３は、第３実施形態における、画像間の差異の有無の判定の第２例を示す図である。図１３では、画像４００－１～４００－４は、参照画像である。画像４００－５は、対象画像である。差異判定部３３５は、対象画像として選択された画像４００－５と参照画像である画像４００－１～４００－４との間の差異があると判定する。
　図１１に戻り、画像分別装置３３０ａの構成の説明を続ける。分別部３３６は、対象画像との差異があると判定された参照画像の数と、対象画像との差異がないと判定された参照画像の数との比較の結果（多数決の結果）に基づいて、時系列の画像のうち品質基準を満たしている画像と品質基準を満たしていない画像とを分別する。例えば、分別部３３６は、時系列の画像における参照画像の総数（合計数）に対する、対象画像との差異があると判定された参照画像の数の割合（比率）を、比較の結果（評価指標）として算出する。分別部３３６は、算出された割合が第３閾値以上であるか否かを、式（１）に示す大小関係に基づいて判定する。第３閾値は、予め定められた１未満の正値である。
　（対象画像との差異があると判定された参照画像の数）／（参照画像の総数）≧第３閾値　…（１）
　図１２では、画像４００－１～４００－４が対象画像として選択された場合、式（１）の左辺の値は（１／４）である。図１３では、画像４００－５が対象画像として選択された場合、式（１）の左辺の値は（４／４）である。
　分別部３３６は、式（１）の左辺の値が第３閾値以上となる対象画像を、ユーザが所望する品質基準を満たしていない画像（不鮮明画像）と定める。分別部３３６は、分別結果を表す情報を記憶部３３７に記録する。分別部３３６は、分別結果を表す情報を除去部３３８に出力する。分別結果は、例えば、ユーザが所望する品質基準を満たしていない画像の識別情報を含む。
　記憶部３３７は、磁気ハードディスク装置や半導体記憶装置等の不揮発性の記録媒体（非一時的な記録媒体）を有する記憶装置である。記憶部３３７は、差異判定部３３５による判定結果を記憶する。記憶部３３７は、分別部３３６による分別結果を記憶する。
　除去部３３８は、ユーザが所望する品質基準を満たしていない画像を、データベース３２０に記録されている時系列の画像から分別結果に基づいて除去する。除去部３３８は、特許文献１の図９、図１２及び図１３に示されたデータ評価部の画像除去処理を実行してもよい。
　図１４は、画像分別システム３０１の動作の例を示すフローチャートである。サイズ取得部３３１は、判定サイズ情報を取得する（ステップＳ４０１）。パラメータ決定部３３２は、符号化サイズ等の符号化パラメータを、判定サイズに基づいて少なくとも決定する（ステップＳ４０２）。画像取得部３３３は、時系列の画像をデータベース３２０から取得する（ステップＳ４０３）。符号化部３３４は、時系列の画像を符号化する（ステップＳ４０４）。
　差異判定部３３５は、対象ＬＣＵの領域の発生符号量と隣接ＬＣＵの領域の発生符号量との関係が第１１条件から第１８条件までのいずれかを満たすか否かを判定する（ステップＳ４０５）。対象ＬＣＵの領域の発生符号量と隣接ＬＣＵの領域の発生符号量との関係が第１１条件から第１８条件までのいずれも満たさない場合（ステップＳ４０５：ＮＯ）、差異判定部３３５は、対象ＬＣＵの領域の小画像と隣接ＬＣＵの領域の小画像と間の差異がないと判定されたことを表す判定結果を記憶部３３７に記録するため、ステップＳ４０７に処理を進める。
　対象ＬＣＵの領域の発生符号量と隣接ＬＣＵの領域の発生符号量との関係が第１１条件から第１８条件までのいずれかを満たす場合（ステップＳ４０５：ＹＥＳ）、差異判定部３３５は、対象ＬＣＵの領域の発生符号量と同位置ＬＣＵの領域の発生符号量との関係が第１９条件又は第２０条件を満たすか否かを判定する（ステップＳ４０６）。
　対象ＬＣＵの領域の発生符号量と同位置ＬＣＵの領域の発生符号量との関係が第１９条件及び第２０条件のいずれも満たさない場合（ステップＳ４０６：ＮＯ）、差異判定部３３５は、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像との間の差異がないと判定されたことを表す判定結果を、記憶部３３７に記録する。
　対象ＬＣＵの領域の発生符号量と同位置ＬＣＵの領域の発生符号量との関係が第１９条件又は第２０条件を満たす場合（ステップＳ４０６：ＹＥＳ）、差異判定部３３５は、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像と間の差異があると判定されたことを表す判定結果を、記憶部３３７に記録する。第３実施形態では、差異判定部３３５は、対象画像の小画像と参照画像の小画像との間の差異があると判定された参照画像を、対象画像との差異がある参照画像であると判定し、記憶部３３７に記録する（ステップＳ４０７）。ステップＳ４０５からステップＳ４０７までの動作は、対象画像の領域（対象ＬＣＵ）それぞれに対して行われる。
　分別部３３６は、差異があると判定された参照画像の数と、差異がないと判定された参照画像の数との比較の結果に基づいて、対象画像が品質基準を満たしているか否かを判定する。分別部３３６は、対象画像が品質基準を満たしているか否かに応じて複数の画像を分別する（ステップＳ４０８）。除去部３３８は、ユーザが所望する品質基準を満たしていない画像を、データベース３２０に記録されている時系列の画像から分別結果に基づいて除去する（ステップＳ４０９）。
　以上のように、第３実施形態の画像分別装置３３０ａは、分別部３３６を備える。分別部３３６は、判定結果を取得する判定結果取得部として、複数の画像から選択された対象画像と参照画像との差異の有無の判定結果を取得する。評価指標取得部としての分別部３３６は、対象画像と参照画像との間で差異があると判定された数と、対象画像と参照画像との間で差異がないと判定された数との少なくとも一方に基づき、時系列の画像それぞれの評価指標を取得する。すなわち、分別部３３６は、データベース３２０に記録されている時系列の画像の品質に基づいた評価指標を得ることができる。
　分別部３３６は、対象画像との差異があると判定された参照画像の数と対象画像との差異がないと判定された参照画像の数との比較の結果（評価指標）に基づいて、複数の画像のうち品質基準を満たしている画像と品質基準を満たしていない画像とを分別する。記憶部３３７に記憶されている画像の半数以上が撮像対象に関する品質基準を満たしている場合、分別部３３６は、比較の結果として得られる評価指標に基づいて、時系列の画像において品質基準を満たしていない画像を検出できる。したがって、分別部３３６は、評価指標に基づいて、品質基準を満たしている画像を時系列の画像から分別できる。
　従来の技術では、ユーザが所望する品質基準に応じて画像を分別することができない、という問題があった。上記の分別によって、第３実施形態の画像分別装置３３０ａは、ユーザが所望する品質基準に応じて画像を分別することが可能である。第３実施形態の画像分別装置３３０ａは、単一の画像を解析する代わりに複数の画像を用いて画像を分別するので、精度良く画像を分別することが可能である。
　画像評価装置としての画像分別装置３３０ａは、データベース３２０に記憶されている時系列の複数の画像に対して、画像間の差異に基づいた評価指標を得ることを特徴の一つとしている。画像間の差異に基づいた処理により、画像分別装置３３０ａは、蓄積される画像が増えても、一貫した評価指標を得ることができる。さらに、画像分別装置３３０ａは、得られた評価指標に基づいて、時系列の画像における品質基準に応じた分別を行うことができる。
　（第４実施形態）
　第４実施形態では、画像内の領域の小画像の面積に基づいて画像間の差異の有無を差異判定部３３５が判定する点が、第３実施形態と相違する。第４実施形態では、第３実施形態との相違点についてのみ説明する。
　図１５は、第４実施形態における、画像間の差異の有無の判定の第１例を示す図である。画像４００－１～４００－６は、時系列の画像である。画像４００は、３×３（＝９）の領域４１０～４９０に区分されている。領域４１０～４９０の小画像の各面積は、画像４００において同じである。
　差異判定部３３５は、画像４００－１～４００－６から１枚ずつ、対象画像とする画像を選択する。図１５では、画像４００－１は対象画像である。画像４００－２～４００－６は、参照画像である。
　差異判定部３３５は、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像との間の差異があるか否かを判定する。例えば、差異判定部３３５は、対象ＬＣＵの領域４９０－１の小画像と同位置ＬＣＵの領域４９０－２の小画像との間の差異があると判定する。時系列の画像が６枚である場合、差異判定部３３５は、１５（＝６×（６－１）／２）回、時系列の画像の間の差異を判定する。
　画像４００－１と画像４００－２との間では、差異判定部３３５は、領域４９０－１の小画像と領域４９０－２の小画像との間で差異があると判定する。画像４００－１との差異がある画像４００－２の領域の小画像の総面積は、画像４００－２の面積の（１／９）である。すなわち、画像４００－１との差異がある画像４００－２の領域の小画像の数は、画像４００－２の領域の小画像の総数の（１／９）である。領域と小画像とは一対一で対応するので、領域の小画像の数は、領域の数と等しい。
　画像４００－１と画像４００－３との間では、差異判定部３３５は、領域４９０－１の小画像と領域４９０－３の小画像との間で差異があると判定する。画像４００－１との差異がある画像４００－３の領域の小画像の総面積は、画像４００－３の面積の（１／９）である。すなわち、画像４００－１との差異がある画像４００－３の領域の小画像の数は、画像４００－３の領域の小画像の総数の（１／９）である。
　画像４００－１と画像４００－４との間では、差異判定部３３５は、領域４８０－１の小画像と領域４８０－４の小画像との間で差異があると判定する。差異判定部３３５は、領域４９０－１の小画像と領域４９０－４の小画像との間で差異があると判定する。画像４００－１との差異がある画像４００－４の領域の小画像の総面積は、画像４００－４の面積の（２／９）である。すなわち、画像４００－１との差異がある画像４００－３の領域の小画像の数は、画像４００－３の領域の小画像の総数の（２／９）である。
　画像４００－１と画像４００－５との間では、差異判定部３３５は、領域４５０－１の小画像と領域４５０－５の小画像との間で差異があると判定する。差異判定部３３５は、領域４８０－１の小画像と領域４８０－５の小画像との間で差異があると判定する。差異判定部３３５は、領域４９０－１の小画像と領域４９０－５の小画像との間で差異があると判定する。画像４００－１との差異がある画像４００－５の領域の小画像の総面積は、画像４００－５の面積の（３／９）である。すなわち、画像４００－１との差異がある画像４００－５の領域の小画像の数は、画像４００－５の領域の小画像の総数の（３／９）である。
　画像４００－１と画像４００－６との間では、差異判定部３３５は、領域４９０－１の小画像と領域４９０－６の小画像との間で差異がないと判定する。画像４００－１との差異がある画像４００－６の領域の小画像の総面積は、画像４００－６の面積の（８／９）である。すなわち、画像４００－１との差異がある画像４００－６の領域の小画像の数は、画像４００－６の領域の小画像の総数の（８／９）である。
　差異判定部３３５は、参照画像内の一定割合（第４閾値）以上の面積で対象画像との差異があると判定された参照画像を、対象画像との差異がある参照画像と定める。一定割合が（３／９）である場合、差異判定部３３５は、対象画像として選択された画像４００－１と参照画像である画像４００－２～４００－４との間の差異がないと判定する。差異判定部３３５は、対象画像として選択された画像４００－１と参照画像である画像４００－５～４００－６との間の差異があると判定する。
　分別部３３６は、時系列の画像における参照画像の総数に対する、対象画像との差異がある参照画像の数の割合（２／５）を、比較の結果として算出する。分別部３３６は、算出された割合が第３閾値以上であるか否かを、式（１）に示す大小関係に基づいて判定する。第３閾値が（１／２）である場合、分別部３３６は、式（１）の左辺の値（割合）が第３閾値未満である画像４００－１を、ユーザが所望する品質基準を満たしている画像（鮮明画像）と定める。
　図１６は、第４実施形態における、画像間の差異の有無の判定の第２例を示す図である。図１６では、画像４００－６は対象画像である。画像４００－１～４００－５は、参照画像である。差異判定部３３５は、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像との間の差異があるか否かを判定する。例えば、差異判定部３３５は、対象ＬＣＵの領域４９０－６の小画像と同位置ＬＣＵの領域４９０－５の小画像との間の差異があると判定する。
　画像４００－６と画像４００－１との間では、差異判定部３３５は、領域４９０－６の小画像と領域４９０－１の小画像との間で差異がないと判定する。画像４００－６との差異がある画像４００－１の領域の小画像の総面積は、画像４００－１の面積の（８／９）である。
　画像４００－６と画像４００－２との間では、画像４００－６との差異がある画像４００－２の領域の小画像の総面積は、画像４００－２の面積の（９／９）である。画像４００－３～４００－５についても、画像４００－２と同様に、差異がある領域の小画像の総面積は、画像４００－３～４００－５の面積の（９／９）である。
　差異判定部３３５は、参照画像内の一定割合（第４閾値）以上の面積で対象画像との差異があると判定された参照画像を、対象画像との差異がある参照画像と定める。一定割合が（３／９）である場合、差異判定部３３５は、対象画像として選択された画像４００－６と参照画像である画像４００－１～４００－５との間の差異があると判定する。
　分別部３３６は、参照画像の総数に対する、対象画像との差異がある参照画像の数の割合（５／５）を、比較の結果として算出する。分別部３３６は、算出された割合が第３閾値以上であるか否かを、式（１）に示す大小関係に基づいて判定する。第３閾値が（１／２）である場合、分別部３３６は、式（１）の左辺の値（割合）が第３閾値以上である画像４００－６を、ユーザが所望する品質基準を満たしていない画像と定める。例えば、データベース３２０に記憶されている時系列の画像において過半数の画像に撮像対象が明りょうに写っている場合、分別部３３６は、画像４００－６を撮像対象に関する品質基準を満たしていない不鮮明な画像と定める。
　図１７は、第４実施形態における、画像分別システムの動作の例を示すフローチャートである。ステップＳ５０１～ステップＳ５０７における動作は、図１４のステップＳ４０１～ステップＳ４０７における動作と同様である。
　差異判定部３３５は、対象ＬＣＵの領域の小画像と同位置ＬＣＵの領域の小画像との間で差異がある領域の小画像の面積を、参照画像ごとに検出する（ステップＳ５０８）。差異判定部３３５は、参照画像内の一定割合以上の面積で対象画像との差異があると判定された参照画像を、対象画像との差異がある参照画像と定める（ステップＳ５０９）。差異判定部３３５は、対象画像との差異がある参照画像を計数する（ステップＳ５１０）。
　ステップＳ５１１～ステップＳ５１２における動作は、図４のステップＳ４０８～ステップＳ４０９における動作と同様である。
　以上のように、第４実施形態の差異判定部３３５は、参照画像の面積に対する一定割合以上の面積で対象画像との差異があると判定された参照画像を、対象画像との差異がある参照画像であると判定する。これによって、第４実施形態の画像分別装置３３０ａは、ユーザが所望する品質基準に応じて、画像をより精度良く分別することが可能である。
　（第５実施形態）
　第５実施形態では、小画像間の差異がある領域の小画像の面積に応じて分別部３３６が画像を分別する点が、第３及び第４実施形態と相違する。第５実施形態では、第３及び第４実施形態との相違点についてのみ説明する。
　差異判定部３３５は、時系列の画像における、対象画像内の領域の小画像との差異があると判定された参照画像内の領域の小画像の総面積を検出する。分別部３３６は、時系列の画像における参照画像の総面積に対する、対象画像内の領域の小画像との差異があると判定された参照画像内の領域の小画像の総面積の割合に基づいて、画像を分別する。分別部３３６は、時系列の画像における参照画像内の領域の総数に対する、対象画像内の領域の小画像との差異があると判定された小画像を含む参照画像内の領域の数の割合に基づいて、画像を分別してもよい。
　第５実施形態における判定の一例を、図１６を用いて説明する。画像４００－６との差異がある画像４００－１の領域の小画像の数は、８個である。画像４００－６との差異がある画像４００－２の領域の小画像の数は、９個である。画像４００－６との差異がある画像４００－３の領域の小画像の数は、９個である。画像４００－６との差異がある画像４００－４の領域の小画像の数は、９個である。画像４００－６との差異がある画像４００－５の領域の小画像の数は、９個である。したがって、時系列の画像において、対象画像である画像４００－６の領域の小画像との差異がある参照画像の領域の小画像の総数は、計４４個である。
　分別部３３６は、時系列の画像において、対象画像の領域の小画像との差異がある参照画像の領域の小画像の総数が閾値以上となる対象画像を、ユーザが所望する品質基準を満たしていない画像（不鮮明画像）と定める。図１６では、分別部３３６は、画像４００－６の領域の小画像との差異がある画像４００－１～４００－５の領域の小画像の総数（４４）が第５閾値（２３）以上である画像４００－６を、ユーザが所望する品質基準を満たしていない画像（不鮮明画像）と定める。第５閾値は、各参照画像における領域の総数に対する半数に基づいて定められてもよい。
　分別部３３６は、ユーザが所望する品質基準を満たしている画像であるか否かを、以下のように判定してもよい。
　対象画像の領域の小画像との差異がある参照画像の領域の小画像の数は、時系列の画像における参照画像の総数の（４４／４５）である。すなわち、対象画像の領域の小画像との差異がある参照画像の領域の小画像の総面積は、時系列の画像における参照画像の総面積の（４４／４５）である。
　分別部３３６は、時系列の画像における参照画像の総面積に対して、対象画像の領域の小画像との差異がある参照画像の領域の小画像の総面積の割合が閾値以上となる対象画像を、ユーザが所望する品質基準を満たしていない画像と定める。図１６では、分別部３３６は、時系列の画像における参照画像の総面積（４５）に対して、画像４００－６の領域の小画像との差異がある画像４００－１～４００－５の領域の小画像の総面積の割合（４４／４５）が第６閾値（１／２）以上である画像４００－６を、ユーザが所望する品質基準を満たしていない画像と定めてもよい。
　図１８は、第５実施形態における、画像分別システム３０１の動作の例を示すフローチャートである。ステップＳ６０１～ステップＳ６０８における動作は、図１７のステップＳ５０１～ステップＳ５０８における動作と同様である。
　差異判定部３３５は、時系列の画像における、対象画像内の領域の小画像との差異があると判定された参照画像内の領域の小画像の総面積を検出する（ステップＳ６０９）。分別部３３６は、時系列の画像における参照画像の総面積に対する、対象画像内の領域の小画像との差異があると判定された参照画像内の領域の小画像の総面積の割合を検出する（ステップＳ６１０）。分別部３３６は、小画像の総面積の割合に基づいて画像を分別する（ステップＳ６１１）。ステップＳ６１２における動作は、図１７のステップＳ５１２における動作と同様である。
　以上のように、第５実施形態の分別部３３６は、複数の画像における参照画像の総面積に対する、対象画像内の領域の小画像との差異があると判定された参照画像内の領域の小画像の総面積の割合に基づいて、対象画像との差異がある参照画像であると判定する。これによって、第５実施形態の画像分別装置３３０ａは、ユーザが所望する品質基準に応じて画像を分別することが可能である。
　（第６実施形態）
　第６実施形態では、データベース３２０に記憶されている時系列の画像に新たな画像が追加される点が、第３～第５実施形態と相違する。第６実施形態では、第３～第５実施形態との相違点についてのみ説明する。
　図１９は、第６実施形態における、画像分別システム３０１の構成の例を示す図である。画像分別システム３０１は、画像蓄積装置３１０と、データベース３２０と、画像評価装置としての画像分別装置３３０ｂとを備える。画像蓄積装置３１０は、データベース３２０に記録しようとする新たな画像を、画像分別装置３３０ｂに送信する。画像蓄積装置３１０は、新たな画像が品質基準を満たす画像であるか否かを表す情報を、画像分別装置３３０ｂから取得する。画像蓄積装置３１０は、ユーザが所望する品質基準を新たな画像が満たしている場合、新たな画像をデータベース３２０に記録する。
　画像取得部３３３は、データベース３２０に記憶されている時系列の画像には含まれていない新たな画像を、画像蓄積装置３１０から取得する。
　差異判定部３３５は、画像蓄積装置３１０がデータベース３２０に記録しようとしている新たな画像との差異の有無を判定する参照画像として適した画像を、データベース３２０に記憶されている時系列の画像から選択する。
　差異の有無を判定する参照画像として適した画像は、例えば、データベース３２０に記憶されている時系列の画像のうち最も平均的な画像である。最も平均的な画像の一例は、データベース３２０に記憶されている時系列の画像のうち他の画像との差異が最も少ないと判定された画像である。差異の有無を判定する参照画像として適した画像は、ユーザが所望する品質基準を満たしていない画像との差異が最も多い画像でもよい。
　第６実施形態における差異判定部３３５の動作例を、図１５を用いて説明する。図１５では、ユーザが所望する品質基準を満たしていない画像４００－６が時系列の画像から除去されているので、データベース３２０は、画像４００－１～４００－５を時系列の画像として記憶している。
　差異判定部３３５は、ユーザが所望する品質基準を満たしている画像４００－１～４００－５のうちから、新たな画像との差異の有無を判定する参照画像として適した画像を選択する。図１５では、差異判定部３３５は、画像４００－１と他の画像４００との間では、計７個の領域の小画像で差異があると判定する。差異判定部３３５は、画像４００－２と他の画像４００との間では、計４個の領域の小画像で差異があると判定する。差異判定部３３５は、画像４００－３と他の画像４００との間では、計４個の領域の小画像で差異があると判定する。差異判定部３３５は、画像４００－４と他の画像４００との間では、計５個の領域の小画像で差異があると判定する。
　したがって、差異判定部３３５は、時系列の画像のうち他の画像との差異が最も少ないと判定された画像４００－２及び画像４００－３を、参照画像として選択する。差異判定部３３５は、画像４００－２又は画像４００－３のうちいずれかを、予め定められた条件に基づいて選択してもよい。予め定められた条件とは、例えば、撮像時刻がより新しい画像が選択されるという条件である。
　差異判定部３３５は、画像蓄積装置３１０がデータベース３２０に記録しようとする新たな画像を、画像取得部３３３を介して画像蓄積装置３１０から取得する。差異判定部３３５は、画像蓄積装置３１０から取得された新たな画像と選択された参照画像との間の差異の有無を判定する。差異判定部３３５は、画像蓄積装置３１０から取得された新たな画像と選択された参照画像との間の差異がないと判定した場合、新たな画像が品質基準を満たす画像であると判定する。差異判定部３３５は、新たな画像が品質基準を満たす画像であるか否かを表す情報を、画像蓄積装置３１０に送信する。
　図２０は、第６実施形態における、画像分別システム３０１の動作の例を示すフローチャートである。画像取得部３３３は、データベース３２０に記憶されている時系列の画像には含まれていない新たな画像を、画像蓄積装置３１０から取得する（ステップＳ７０１）。差異判定部３３５は、画像蓄積装置３１０がデータベース３２０に記録しようとしている新たな画像との差異の有無を判定する参照画像として適した画像を、データベース３２０に記憶されている時系列の画像から選択する（ステップＳ７０２）。
　差異判定部３３５は、画像蓄積装置３１０から取得された新たな画像と選択された参照画像との間の差異の有無を判定する（ステップＳ７０３）。画像蓄積装置３１０から取得された新たな画像と選択された参照画像との間の差異がないと判定された場合（ステップＳ７０３：ＮＯ）、画像蓄積装置３１０は、新たな画像をデータベース３２０に記録する（ステップＳ７０４）。画像蓄積装置３１０から取得された新たな画像と選択された参照画像との間の差異があると判定された場合（ステップＳ７０３：ＹＥＳ）、画像分別装置３３０ｂは、処理を終了する。
　以上のように、第６実施形態の差異判定部３３５は、データベース３２０の時系列の画像から選択された参照画像との差異がないと判定された新たな画像を、データベース３２０の時系列の画像に含める。これによって、第６実施形態の画像分別装置３３０ｂは、新たに撮像された画像をデータベース３２０の時系列の画像に含めるか否かを、効率良く判定することが可能である。第６実施形態の画像分別装置３３０ｂは、時系列の画像から選択された参照画像と新たな画像との差異の有無を差異判定部３３５が判定するので、新たな画像をデータベース３２０に記録するか否かの判定に要する画像の比較回数の増加を抑えることができる。
　上述した実施形態における画像評価装置としての評価支援装置又は画像分別装置の少なくとも一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　例えば、本発明の実施に用いられる変化検出方法、及び小画像間の差異の有無を判定する方法は、上記の実施形態に記載された方法に限らず、画像特徴量や画素値、輝度値を比較や機械学習に基づいた方法等の従来の方法でもよい。
　本発明は、蓄積された複数の画像の品質に基づいた評価指標を得ることが必要な用途に適用可能である。
１…評価支援システム、１０…データベース、２０ａ…評価支援装置、２０ｂ…評価支援装置、２１…サイズ取得部、２２…パラメータ決定部、２３…画像取得部、２４…符号化部、２５…差異判定部、２６…評価指標部、２７…画像処理部、２８…記憶部、２９…２値化部、３０…表示装置、１００…画像、１１０…領域、１１１…指標表示欄画像、１２０…領域、１２０ａ…領域拡大画像、１２１…指標表示欄画像、１２２…名称表示欄画像、１３０…領域、１３０ａ…領域拡大画像、１３１…指標表示欄画像、１３２…名称表示欄画像、１４０…地図画像、３０１…画像分別システム、３１０…画像蓄積装置、３２０…データベース、３３０ａ…画像分別装置、３３０ｂ…画像分別装置、３３１…サイズ取得部、３３２…パラメータ決定部、３３３…画像取得部、３３４…符号化部、３３５…差異判定部、３３６…分別部、３３７…記憶部、３３８…除去部、４００…画像、４１０…領域、４２０…領域、４３０…領域、４４０…領域、４５０…領域、４６０…領域、４７０…領域、４８０…領域、４９０…領域

Claims (16)

  1. 　ほぼ同一の空間領域が撮像された３枚以上の複数の画像のうちの一つの画像である対象画像と、前記複数の画像のうち前記対象画像以外の画像である参照画像との差異の有無についての判定結果を取得する判定結果取得部と、
    　前記対象画像と前記参照画像との間で差異があると判定された数と、前記対象画像と前記参照画像との間で差異がないと判定された数との少なくとも一方に基づき、前記複数の画像の評価指標を取得する評価指標取得部と、
    　を備える画像評価装置。
  2. 　前記複数の画像は、時系列の画像であり、
    　前記判定結果取得部により取得される前記判定結果は、前記対象画像内の領域の小画像と、前記参照画像内の領域の小画像との差異の有無を示し、
    　前記評価指標取得部は、前記小画像間の差異があると判定された前記領域の組の数を前記時系列の画像について前記対象画像内の前記領域ごとに検出した結果を前記評価指標として得る、請求項１に記載の画像評価装置。
  3. 　前記評価指標取得部は、前記小画像間の差異の有無が誤判定される確率が第１閾値未満である場合、差異を評価すべき優先度を表す値を前記評価指標として得る、請求項２に記載の画像評価装置。
  4. 　前記評価指標取得部は、前記小画像間の差異の有無が誤判定される確率が第１閾値以上である場合、前記小画像間の差異があると判定された結果の確度を表す値を前記評価指標として得る、請求項２に記載の画像評価装置。
  5. 　前記評価指標に応じた値と第２閾値との比較結果に基づいて、前記小画像間の差異の有無を表す２値の前記評価指標を得る２値化部
    　をさらに備える、請求項３又は請求項４に記載の画像評価装置。
  6. 　前記対象画像内の前記領域の小画像と前記参照画像内の前記領域の小画像との差異の有無を判定し、前記判定結果を得る差異判定部
    　をさらに備える、請求項２から請求項５のいずれか一項に記載の画像評価装置。
  7. 　前記対象画像内の前記領域ごとに得た前記評価指標に基づいて、前記対象画像内の前記領域の前記小画像を拡大する画像処理部
    　をさらに備える、請求項２から請求項６のいずれか一項に記載の画像評価装置。
  8. 　前記評価指標取得部は、前記評価指標に基づいて、前記複数の画像のうち前記空間領域に関する品質基準を満たしている画像と前記品質基準を満たしていない画像とを分別する、
    　請求項１に記載の画像評価装置。
  9. 　前記評価指標取得部は、前記複数の画像における前記参照画像の総数に対する、前記対象画像との差異があると判定された前記参照画像の数の割合を、前記評価指標として取得する、請求項８に記載の画像評価装置。
  10. 　前記評価指標取得部は、前記複数の画像における前記参照画像の総面積に対する、前記対象画像内の領域の小画像との差異があると判定された前記参照画像内の領域の小画像の総面積の割合と、前記複数の画像における前記参照画像内の領域の総数に対する、前記対象画像内の領域の小画像との差異があると判定された小画像を含む前記参照画像内の領域の数の割合とのいずれかを、前記評価指標として取得する、請求項８に記載の画像評価装置。
  11. 　前記品質基準を満たしていない前記対象画像を、前記評価指標と閾値との大小関係に基づいて前記複数の画像から除去する除去部
    　をさらに備える、請求項９又は請求項１０に記載の画像評価装置。
  12. 　前記対象画像と前記参照画像との差異の有無を判定する差異判定部
    　をさらに備える、請求項８から請求項１１のいずれか一項に記載の画像評価装置。
  13. 　前記差異判定部は、前記参照画像の面積に対する一定割合以上の面積で前記対象画像との差異があると判定された前記参照画像を、前記対象画像との差異がある前記参照画像であると判定する、請求項１２に記載の画像評価装置。
  14. 　前記差異判定部は、前記複数の画像から選択された画像との差異がないと判定された他の画像を前記複数の画像に含める、請求項１２又は請求項１３に記載の画像評価装置。
  15. 　ほぼ同一の空間領域が撮像された３枚以上の複数の画像のうちの一つの画像である対象画像と、前記複数の画像のうち前記対象画像以外の画像である参照画像との差異の有無についての判定結果を取得するステップと、
    　前記対象画像と前記参照画像との間で差異があると判定された数と、前記対象画像と前記参照画像との間で差異がないと判定された数との少なくとも一方に基づき、前記複数の画像の評価指標を取得するステップと、
    　を含む画像評価方法。
  16. 　画像評価装置が備えるコンピュータを、
    　ほぼ同一の空間領域が撮像された３枚以上の複数の画像のうちの一つの画像である対象画像と、前記複数の画像のうち前記対象画像以外の画像である参照画像との差異の有無についての判定結果を取得する判定結果取得部と、
    　前記対象画像と前記参照画像との間で差異があると判定された数と、前記対象画像と前記参照画像との間で差異がないと判定された数との少なくとも一方に基づき、前記複数の画像の評価指標を取得する評価指標取得部と、
    　として機能させるための画像評価プログラム。
PCT/JP2017/040238 2016-11-10 2017-11-08 画像評価装置、画像評価方法及び画像評価プログラム WO2018088425A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP17869905.4A EP3525459B1 (en) 2016-11-10 2017-11-08 Image evaluation device, image evaluation method and image evaluation program
JP2018550227A JP6708749B2 (ja) 2016-11-10 2017-11-08 画像評価装置、画像評価方法及び画像評価プログラム
EP21217737.2A EP4002832B1 (en) 2016-11-10 2017-11-08 Image evaluation device, image evaluation method and image evaluation program
US16/348,414 US11042771B2 (en) 2016-11-10 2017-11-08 Image evaluation device, image evaluation method, and image evaluation program
US17/187,187 US11710226B2 (en) 2016-11-10 2021-02-26 Image evaluation device, image evaluation method, and image evaluation program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016219716 2016-11-10
JP2016-219716 2016-11-10
JP2016-224922 2016-11-18
JP2016224922 2016-11-18

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/348,414 A-371-Of-International US11042771B2 (en) 2016-11-10 2017-11-08 Image evaluation device, image evaluation method, and image evaluation program
US17/187,187 Continuation US11710226B2 (en) 2016-11-10 2021-02-26 Image evaluation device, image evaluation method, and image evaluation program

Publications (1)

Publication Number Publication Date
WO2018088425A1 true WO2018088425A1 (ja) 2018-05-17

Family

ID=62109814

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/040238 WO2018088425A1 (ja) 2016-11-10 2017-11-08 画像評価装置、画像評価方法及び画像評価プログラム

Country Status (4)

Country Link
US (2) US11042771B2 (ja)
EP (2) EP3525459B1 (ja)
JP (1) JP6708749B2 (ja)
WO (1) WO2018088425A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018110541A1 (ja) * 2016-12-13 2018-06-21 日本電信電話株式会社 画像差異判定装置及び方法、変化期間推定装置及び方法、並びにプログラム
CN111160219B (zh) * 2019-12-26 2022-04-26 深圳云天励飞技术股份有限公司 对象完整度评估方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0950525A (ja) * 1995-08-08 1997-02-18 Canon Inc 画像処理装置
JP2007195141A (ja) * 2005-12-20 2007-08-02 Nissan Motor Co Ltd 画像速度算出装置及び画像速度算出方法
JP2011227915A (ja) * 2011-06-07 2011-11-10 Fujifilm Corp 画像分類装置および方法並びにプログラム
JP2011237879A (ja) * 2010-05-06 2011-11-24 Hitachi Ltd 類似映像検索装置
JP4995787B2 (ja) 2008-08-26 2012-08-08 日本電信電話株式会社 画像蓄積装置，画像蓄積装置用プログラムおよび画像蓄積システム
JP2014086913A (ja) 2012-10-24 2014-05-12 Nippon Telegr & Teleph Corp <Ntt> 映像解析装置
WO2015146243A1 (ja) * 2014-03-27 2015-10-01 Ｎｋワークス株式会社 画像処理装置
JP2015184760A (ja) * 2014-03-20 2015-10-22 株式会社ニコン 電子機器及び類似性判定用プログラム
JP2016219716A (ja) 2015-05-26 2016-12-22 住友ベークライト株式会社 過渡電圧保護素子、樹脂組成物および保護部材
JP2016224922A (ja) 2015-05-26 2016-12-28 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7123769B2 (en) 2001-11-09 2006-10-17 Arcsoft, Inc. Shot boundary detection
TWI267805B (en) 2005-09-23 2006-12-01 Compal Electronics Inc Method and apparatus for automatically adjusting monitoring frame based on image change
KR101103724B1 (ko) * 2007-07-02 2012-01-11 니폰덴신뎅와 가부시키가이샤 동화상 스케일러블 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록 매체
EP2048871B1 (en) * 2007-10-09 2011-08-31 Tektronix International Sales GmbH Image evaluation
CN102479321B (zh) * 2010-11-26 2016-10-26 罗普特（厦门）科技集团有限公司 差异影像自动识别系统及方法
JP5281632B2 (ja) * 2010-12-06 2013-09-04 日本電信電話株式会社 多視点画像符号化方法，多視点画像復号方法，多視点画像符号化装置，多視点画像復号装置およびそれらのプログラム
JP5719401B2 (ja) * 2013-04-02 2015-05-20 日本電信電話株式会社 ブロックサイズ決定方法、映像符号化装置、及びプログラム
CN105075268A (zh) * 2013-04-11 2015-11-18 日本电信电话株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0950525A (ja) * 1995-08-08 1997-02-18 Canon Inc 画像処理装置
JP2007195141A (ja) * 2005-12-20 2007-08-02 Nissan Motor Co Ltd 画像速度算出装置及び画像速度算出方法
JP4995787B2 (ja) 2008-08-26 2012-08-08 日本電信電話株式会社 画像蓄積装置，画像蓄積装置用プログラムおよび画像蓄積システム
JP2011237879A (ja) * 2010-05-06 2011-11-24 Hitachi Ltd 類似映像検索装置
JP2011227915A (ja) * 2011-06-07 2011-11-10 Fujifilm Corp 画像分類装置および方法並びにプログラム
JP2014086913A (ja) 2012-10-24 2014-05-12 Nippon Telegr & Teleph Corp <Ntt> 映像解析装置
JP2015184760A (ja) * 2014-03-20 2015-10-22 株式会社ニコン 電子機器及び類似性判定用プログラム
WO2015146243A1 (ja) * 2014-03-27 2015-10-01 Ｎｋワークス株式会社 画像処理装置
JP2016219716A (ja) 2015-05-26 2016-12-22 住友ベークライト株式会社 過渡電圧保護素子、樹脂組成物および保護部材
JP2016224922A (ja) 2015-05-26 2016-12-28 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3525459A4

Also Published As

Publication number Publication date
US11042771B2 (en) 2021-06-22
US20210182593A1 (en) 2021-06-17
EP3525459B1 (en) 2023-05-24
EP4002832B1 (en) 2024-01-03
US11710226B2 (en) 2023-07-25
JPWO2018088425A1 (ja) 2019-03-07
EP3525459A1 (en) 2019-08-14
JP6708749B2 (ja) 2020-06-10
US20190272439A1 (en) 2019-09-05
EP3525459A4 (en) 2020-05-20
EP4002832A1 (en) 2022-05-25

Similar Documents

Publication Publication Date Title
US10510148B2 (en) Systems and methods for block based edgel detection with false edge elimination
US5420971A (en) Image edge finder which operates over multiple picture element ranges
JP2020530677A (ja) 点群復号器及び点群を復号する方法
EP2224357A1 (en) Video segmentation
KR20200053499A (ko) 정보 처리 장치 및 방법
CN109313805A (zh) 图像处理装置、图像处理系统、图像处理方法和程序
WO2018088425A1 (ja) 画像評価装置、画像評価方法及び画像評価プログラム
KR20170057362A (ko) 훈련 품질 척도를 이용한 비감독 이미지 세그먼트 분할을 위한 방법 및 시스템
US20190139189A1 (en) Image remosaicing
EP3166309B1 (en) Image expansion device, image expansion method, surveillance camera, program, and recording medium
CN109313806A (zh) 图像处理装置、图像处理系统、图像处理方法和程序
JPWO2019003258A1 (ja) 複眼撮像装置及び画像処理方法、並びにプログラム及び記録媒体
US20170054990A1 (en) Encoding device, decoding device, and image processing device
CN112149793A (zh) 人工神经网络模型和包括人工神经网络模型的电子设备
US9762916B2 (en) Encoding apparatus and method
WO2014017003A1 (ja) 更新領域検出装置
JP5801614B2 (ja) 画像処理装置、画像処理方法
US10630991B2 (en) Image difference detection device, method for detecting image difference, and computer program
WO2008038406A1 (en) Image compression method, device, electronic camera, and program
US20160055642A1 (en) Identifying points of interest in an image
KR20180070653A (ko) 다중-해상도 압축 감지 이미지 처리
CN107079121A (zh) 用于检测有缺陷像素的方法
TWI511545B (zh) 數位視訊的區塊雜訊偵測
US20220094951A1 (en) Palette mode video encoding utilizing hierarchical palette table generation
CN107736013A (zh) 红外图像采集设备中的坏像素的检测

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018550227

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17869905

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017869905

Country of ref document: EP

Effective date: 20190507