WO2017109854A1 - 学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム - Google Patents

学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム Download PDF

Info

Publication number
WO2017109854A1
WO2017109854A1 PCT/JP2015/085821 JP2015085821W WO2017109854A1 WO 2017109854 A1 WO2017109854 A1 WO 2017109854A1 JP 2015085821 W JP2015085821 W JP 2015085821W WO 2017109854 A1 WO2017109854 A1 WO 2017109854A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
learning
similarity
images
unit
Prior art date
Application number
PCT/JP2015/085821
Other languages
English (en)
French (fr)
Inventor
成剛 温
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2017557551A priority Critical patent/JP6639523B2/ja
Priority to PCT/JP2015/085821 priority patent/WO2017109854A1/ja
Publication of WO2017109854A1 publication Critical patent/WO2017109854A1/ja
Priority to US16/015,834 priority patent/US10679358B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to a learning image automatic selection device, a learning image automatic selection method, and a learning image automatic selection program for selecting an image to be stored as a learning image based on an image.
  • Image recognition technology calculates feature vectors by feature extraction using various variations of mucosal and abnormal regions extracted from intraluminal images that are past endoscopic images as learning images. Learning to identify unknown images by selecting a representative feature (visual word) that is most similar to each local feature from a plurality of local features that exist locally by clustering processing Build a classifier. Based on the constructed learning discriminator, image recognition is performed on the image captured this time.
  • the learning image for constructing the learning discriminator includes images of assumed scenes uniformly for the purpose of diagnosis. Although it is possible for humans to visually select past endoscopic images, enormous time is required to select learning images from thousands or tens of thousands of images.
  • a learning image generation technique for extracting a representative object from a captured image and storing the extracted image as a learning image is known (for example, see Patent Document 1). ).
  • a technique is also known in which the movement of a subject (representative object) is determined using images moving back and forth in time series, and an image determined to have movement is selected (see, for example, Patent Document 2). .
  • the present invention has been made in view of the above, and in selecting a learning image to be stored, it is possible to discriminate duplicate images by discriminating differences such as geometric deformation, shade change, and noise level.
  • An object of the present invention is to provide a learning image automatic selection device, a learning image automatic selection method, and a learning image automatic selection program.
  • an automatic learning image sorting device automatically learns images for image recognition processing from a plurality of picked-up images picked up in time series.
  • a sorting device that detects an amount of movement of a subject in the target image using a target image that is a selection determination target of the plurality of captured images and a captured image that is temporally prior to the target image.
  • a motion detection unit a determination unit that determines whether or not to select the target image as a learning candidate image based on the amount of motion; and the target image selected as the learning candidate image by the determination unit and the learning
  • a derivative image generation unit configured to generate one or a plurality of derivative images using at least one of the images, a similarity between the learning candidate image and the learning image, and the one or more groups
  • a similarity calculation unit that calculates the similarity between an image and the learning image, or the similarity between the one or more derived images and the learning candidate image, and the similarity calculated by the similarity calculation unit;
  • the image processing apparatus includes: a selection unit that selects the image of interest selected as the learning candidate image as a new learning image based on a statistically determined condition; and a storage unit that stores the learning image.
  • an automatic learning image selection method automatically learns images for image recognition processing from a plurality of captured images taken in time series.
  • a learning image automatic sorting method performed by a sorting device, wherein an attention image that is a selection determination target among the plurality of captured images and a captured image that is temporally prior to the attention image are used in the attention image.
  • a motion amount of a subject is detected, and based on the motion amount, it is determined whether or not the attention image is selected as a learning candidate image, and the attention image selected as the learning candidate image or the learning image is used.
  • an automatic learning image selection program automatically learns images for image recognition processing from a plurality of captured images taken in time series.
  • a learning image automatic selection program performed by a selection device, wherein a target image that is a selection determination target among the plurality of captured images and a captured image that is temporally prior to the target image are used in the target image.
  • a detection procedure for detecting a motion amount of a subject a determination procedure for determining whether or not to select the attention image as a learning candidate image based on the motion amount, and the attention image selected as the learning candidate image, Alternatively, using the learning image, a derivative image generation procedure for generating one or a plurality of derivative images, a similarity between the learning candidate image and the learning image, and the one or A similarity calculation procedure for calculating the similarity between a number of derived images and the learning image, or the similarity between the one or more derived images and the learning candidate image, and the conditions determined statistically And a selection procedure for selecting the attention image selected as the learning candidate image as a new learning image, and storing the attention image selected as the selected learning candidate image as the learning image.
  • the storage procedure is executed by a computer.
  • the present invention when selecting a learning image to be stored, it is possible to discriminate differences such as geometric deformation, light and shade change, noise level, etc., identify and eliminate duplicate images, and efficiently select learning images. There is an effect that can be.
  • FIG. 1 is a block diagram showing a functional configuration of the learning image automatic sorting apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram for explaining a derivative image generated by the derivative image generation unit of the learning image automatic selection apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a flowchart showing processing performed by the learning image automatic selection apparatus according to Embodiment 1 of the present invention.
  • FIG. 4 is a block diagram illustrating a configuration of a motion detection unit of the learning image automatic selection device according to the first modification of the first embodiment of the present invention.
  • FIG. 5 is a diagram illustrating motion detection performed by the motion detection unit of the learning image automatic selection device according to the first modification of the first embodiment of the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of the learning image automatic sorting apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram for explaining a derivative image generated by the derivative image generation unit of the learning image automatic selection apparatus according
  • FIG. 6 is a block diagram illustrating a functional configuration of the learning image automatic selection device according to the second modification of the first embodiment of the present invention.
  • FIG. 7 is a block diagram showing a functional configuration of the learning image automatic sorting apparatus according to Embodiment 2 of the present invention.
  • FIG. 8 is a block diagram showing a functional configuration of the learning image automatic sorting apparatus according to Embodiment 3 of the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of a learning image automatic sorting apparatus 1 according to Embodiment 1 of the present invention.
  • the learning image automatic sorting apparatus 1 shown in FIG. 1 includes an image acquisition unit 11, a motion detection unit 12, a learning candidate image determination unit 13 (determination unit), a derived image generation unit 14, a similarity calculation unit 15, The determination part 16 (selection part), the control part 17, and the memory
  • storage part 18 are provided.
  • the storage unit 18 is a subject image storage unit 181 that stores the subject image acquired by the image acquisition unit 11, and learning images that are images used in performing image recognition and are various variations extracted from past images.
  • the image acquisition unit 11 receives an image signal from the outside or acquires an image stored in the storage unit 18.
  • the image acquisition unit 11 performs signal processing such as noise removal, A / D conversion, and synchronization processing (for example, performed when an imaging signal for each color component is obtained using a color filter or the like) as necessary.
  • signal processing such as noise removal, A / D conversion, and synchronization processing (for example, performed when an imaging signal for each color component is obtained using a color filter or the like) as necessary.
  • an image signal including three plate subject images provided with RGB color components is generated.
  • the image acquisition unit 11 inputs the acquired image signal or the image signal after signal processing to the motion detection unit 12 as an image signal including a target image. Further, the image acquisition unit 11 inputs the image signal from the outside to the motion detection unit 12 and the storage unit 18.
  • the image acquisition unit 11 may perform OB clamping processing, gain adjustment processing, and the like in addition to the above-described synchronization processing.
  • a subject including a subject such as an image including a subject such as a person or a body cavity image in a subject acquired by an endoscope (including a capsule endoscope) is acquired in time series. Images.
  • the motion detection unit 12 detects the motion of the image by using an image (attention image) based on the image signal input from the image acquisition unit 11. In other words, the motion detection unit 12 detects a motion of an image between motion detection images having different imaging timings (in time series).
  • the motion detection unit 12 includes a similarity calculation unit 121 and a motion determination unit 122.
  • the similarity calculation unit 121 receives, from the image acquisition unit 11, for example, an image of a G component in the RGB 3 plate subject image and a subject image stored in the subject image storage unit 181, and is input from the image acquisition unit 11.
  • a known sum of absolute differences (SAD) is calculated using the G component image of the RGB 3 plate subject images in chronological order from the shooting time of the subject image.
  • SAD sum of absolute differences
  • the similarity calculation unit 121 may obtain a sum of squares of differences (Sum of Squared Difference: SSD) to obtain the similarity, or obtain a normalized correlation (Normalized Cross-Correction: NCC). It is good.
  • the motion determination unit 122 reads the SAD threshold value for motion determination stored in the storage unit 18 and compares the SAD threshold value with the SAD value calculated by the similarity calculation unit 121. When the SAD value is equal to or greater than the SAD threshold, the movement determination unit 122 determines that there is a physical movement of the imaging device or the subject. On the other hand, when the SAD value is smaller than the SAD threshold, it is determined that there is no physical movement of the imaging device or the subject. The motion determination unit 122 inputs the determination result to the learning candidate image determination unit 13.
  • the learning candidate image determination unit 13 determines a corresponding subject image as a learning candidate image when the input image signal is determined to be in motion by the motion detection unit 12.
  • the learning candidate image determination unit 13 inputs an image signal corresponding to the subject image together with the determination information regarding the learning candidate image to the derived image generation unit 14.
  • the learning candidate image determination unit 13 excludes the corresponding subject image from the learning candidate image, and the next image signal Wait for input.
  • the derived image generating unit 14 generates one or a plurality of derived images using the subject image of the image signal that is the learning candidate image input from the learning candidate image determining unit 13.
  • the derived image generation unit 14 performs a known geometric transformation (enlargement, reduction, translation, rotation, rotation) on the learning candidate image (subject image) input from the learning candidate image determination unit 13. Left / right inversion, affine transformation, projective transformation, etc.), light / dark conversion (gamma conversion, tone curve conversion, histogram flattening, gain / darkness adjustment by gain), noise increase / decrease, edge enhancement, color conversion (saturation, hue, brightness),
  • a derivative image is generated by performing at least one of image processing including cutout processing.
  • the derived image generation unit 14 inputs the generated derived image to the similarity calculation unit 15.
  • FIG. 2 is a diagram for explaining a derivative image generated by the derivative image generation unit 14 of the learning image automatic selection apparatus 1 according to Embodiment 1 of the present invention.
  • the derived image generation unit 14 includes a derived image W 11 obtained by enlarging the subject S with respect to the learning candidate image W 1 , a derived image W 12 obtained by rotating the subject S by 90 °, and the subject image W 1 . It shows the derived image W 13 of reduced brightness.
  • the derived image generation unit 14 performs image processing based on the learning candidate image, and generates a derived image that is different in size, brightness, contrast, and the like from the learning candidate image.
  • the derived image generation unit 14 may perform enlargement, reduction, rotation, parallel movement, and the like of the learning candidate image using affine transformation.
  • affine transformation when the coordinates before transformation are (x, y) and the coordinates after transformation are (x ′, y ′), they can be expressed by the following expression (1). From the equation (1), a 3 ⁇ 3 matrix such as the following equation (2) is obtained, and the coordinates before conversion are converted into coordinates after conversion using this matrix.
  • the 2 ⁇ 2 matrix composed of a to d in the equation (1) performs linear transformation, and the portion composed of e and f performs translational transformation.
  • the similarity calculation unit 15 stores the learning candidate image determined by the learning candidate image determination unit 13, the derived image generated by the derived image generation unit 14 based on the learning candidate image, and the learning image storage unit 182. The degree of similarity with each learning image is calculated.
  • the similarity calculation method is the same as the similarity calculation method performed by the similarity calculation unit 121 described above.
  • the similarity calculation unit 15 calculates the similarity between the learning candidate image and the learning image and the similarity between the derived image and the learning image, and inputs the calculated result to the determination unit 16.
  • the determination unit 16 determines whether or not to store the learning candidate image as a learning image in the learning image storage unit 182 based on the calculation result input from the similarity calculation unit 15. Specifically, the determination unit 16 compares the similarity between the learning candidate image and the learning image and the similarity between the derived image and the learning image with a threshold for determination, and when all the similarities are smaller than the threshold. Then, it is determined that the learning candidate image is to be stored in the learning image storage unit 182 as a learning image. On the other hand, the determination unit 16 determines that the learning candidate image is not stored in the learning image storage unit 182 as a learning image if at least one of the similarities is equal to or greater than the threshold. To do.
  • motion detection processing is performed using subject images that move back and forth in time series, and when it is determined that there is motion, the subject image is determined as a learning candidate image.
  • the learning candidate image is subjected to image processing such as known geometric conversion, density conversion, noise increase / decrease, edge enhancement, color conversion, and the like to generate one or a plurality of derived images.
  • image processing such as known geometric conversion, density conversion, noise increase / decrease, edge enhancement, color conversion, and the like to generate one or a plurality of derived images.
  • the similarity between the learning candidate image and the derived image and the stored learning image is calculated, and it is determined whether or not to use the learning image. By doing so, it is possible to select the minimum necessary learning images in the process of selecting learning images from a plurality of subject images.
  • the control unit 17 is configured using a CPU (Central Processing Unit) or the like, and performs drive control of each component configuring the learning image automatic sorting device 1, input / output control of information to each component, and the like.
  • the control unit 17 performs control for causing the learning image storage unit 182 to store the learning candidate images determined as learning images by the determination unit 16.
  • the storage unit 18 records various programs for operating the learning image automatic selection apparatus 1, such as a learning image automatic selection program and data including various parameters necessary for the operation of the learning image automatic selection apparatus 1.
  • the storage unit 18 is realized by using a semiconductor memory such as a flash memory or a DRAM (Dynamic Random Access Memory).
  • the storage unit 18 stores a threshold value used for determination processing by the motion determination unit 122 and a threshold value used for determination processing by the determination unit 16.
  • FIG. 3 is a flowchart for explaining processing performed by the learning image automatic selection apparatus 1 according to Embodiment 1 of the present invention. The following description is based on the assumption that each unit operates under the control of the control unit 17.
  • the image acquisition unit 11 receives an image signal from the outside or acquires an image stored in the storage unit 18 (step S101).
  • the image acquisition unit 11 inputs the acquired image signal or the image signal after signal processing to the motion detection unit 12.
  • the motion detection unit 12 detects the motion of the image using the image based on the image signal input from the image acquisition unit 11 (step S102). After determining the similarity as described above, the motion determination unit 122 determines whether there is a motion, and inputs the determination result to the learning candidate image determination unit 13.
  • the learning candidate image determination unit 13 determines whether to determine the subject image as a learning candidate image based on the determination result of the motion detection unit 12 (step S103).
  • the learning candidate image determination unit 13 determines a corresponding subject image as a learning candidate image when the input image signal that has been input is determined to have motion by the motion detection unit 12 (step S103: Yes), and the learning candidate An image signal corresponding to the subject image is input to the derived image generation unit 14 together with the determination information regarding the image, and the process proceeds to step S104.
  • the learning candidate image determination unit 13 determines that the corresponding subject image is not set as the learning candidate image when the motion detection unit 12 determines that there is no motion (step S103: No), and step S109. Migrate to
  • step S104 the control unit 17 determines whether or not a learning image is stored in the learning image storage unit 182.
  • step S104 determines that the learning image is not stored in the learning image storage unit 182 (step S104: No)
  • the learning candidate image is set as the learning image, and the process proceeds to step S108.
  • step S104: Yes the control unit 17 proceeds to step S105.
  • step S105 the derived image generation unit 14 generates one or a plurality of derived images using the subject image of the image signal that is the learning candidate image input from the learning candidate image determination unit 13. As described above, the derived image generation unit 14 performs image processing on the learning candidate image to generate one or more derived images. The derived image generation unit 14 inputs the generated derived image to the similarity calculation unit 15.
  • the similarity calculation unit 15 determines the learning candidate image determined by the learning candidate image determination unit 13, the derived image generated by the derived image generation unit 14 based on the learning candidate image, and the learning image storage unit. The similarity with the learning image stored in 182 is calculated. The similarity calculation unit 15 calculates the similarity between the learning candidate image and the learning image and the similarity between the derived image and the learning image, and inputs the calculated result to the determination unit 16.
  • the determination unit 16 determines whether or not to store the learning candidate image as a learning image in the learning image storage unit 182 based on the calculation result input from the similarity calculation unit 15 (step S107).
  • the determination unit 16 compares each of the similarity between the learning candidate image and the learning image and the similarity between the derived image and the learning image with a threshold for determination. When all the similarities are smaller than the threshold, the learning candidate It determines with an image being what is memorize
  • Step S107 determines that the learning candidate image is not stored in the learning image storage unit 182 as a learning image if at least one of the similarities is equal to or greater than the threshold. (Step S107: No), the process proceeds to Step S109.
  • step S108 the control unit 17 performs a registration process in which the learning image storage unit 182 stores the learning candidate image determined as the learning image in step S104 or S107 as the learning image. Thereby, the subject image selected as the learning candidate image is registered as the learning image.
  • step S109 the control unit 17 determines whether there is an input of a new subject image (image signal) to be selected as a learning image. If the control unit 17 determines that a new subject image (image signal) to be selected as a learning image is input (step S109: Yes), the control unit 17 proceeds to step S102 and repeats the above-described processing. On the other hand, when it is determined that there is no input of a new subject image (image signal) to be selected as a learning image (step S109: No), the control unit 17 ends this process.
  • the motion detection unit 12 selects the subject image that is the object of selection determination from among the plurality of captured images and the time from the subject image. Whether or not the subject image is detected in the target image using the previous subject image, and the learning candidate image determination unit 13 selects the subject image as the learning candidate image based on the detected presence or absence of the motion.
  • the derived image generation unit 14 generates one or a plurality of derived images using the subject images selected as the learning candidate images by the learning candidate image determination unit 13, and the similarity calculation unit 15 The similarity between the learning candidate image and the derived image and the learning image is calculated, and the determination unit 16 is selected as the learning candidate image based on the similarity calculated by the similarity calculation unit 15.
  • Utsushitai was possible to determine the image as a new learning images. This eliminates a subject image with high similarity and no motion from the learning candidate image, and determines the learning candidate image based on the similarity between the derived image obtained by performing image processing on the learning candidate image and the stored learning image. In order to determine the necessity of registration as a learning image and to exclude similar images derived from learning candidate images from the learning image, geometrical deformation, shading change, noise level, etc. Thus, it is possible to identify and eliminate duplicate images, and to perform highly accurate image recognition processing while suppressing the number of learning images to be stored.
  • the determination unit 16 is described as determining that the learning candidate image is stored in the learning image storage unit 182 as a learning image when all the similarities are smaller than the threshold value.
  • the present invention is not limited to this. For example, when 90% of the total similarity is smaller than the threshold, it may be determined that the learning candidate image is stored in the learning image storage unit 182 as a learning image.
  • the determination criterion may be determined based on a condition that is statistically determined.
  • the image signal acquired by the image acquisition unit 11 when the finally selected image is stored as a learning image, the image signal acquired by the image acquisition unit 11, for example, after A / D conversion, noise removal or simultaneous
  • the image data corresponding to the image signal before the conversion processing may be stored, or the image data corresponding to the image signal after the signal processing such as the synchronization processing may be stored.
  • the image signal acquired by the image acquisition unit 11 when the similarity calculation is performed by the similarity calculation unit 121, before the similarity calculation is performed, the image acquisition unit 11 performs synchronization processing or the like. It is necessary to perform signal processing.
  • the motion detection unit 12 has been described as detecting motion by calculating the SAD value as a similarity, but the present invention is not limited to this.
  • a subject image is divided into a plurality of regions, and pattern matching is performed for each region to detect motion.
  • the learning image automatic selection device includes a motion detection unit 12A in place of the motion detection unit 12 of the learning image automatic selection device 1 described above.
  • FIG. 4 is a block diagram showing a configuration of the motion detection unit 12A of the learning image automatic selection device according to the first modification of the first embodiment of the present invention.
  • the motion detection unit 12A includes an area dividing unit 123, a buffer 124, a similarity calculation unit 125, a motion determination unit 126, and a coefficient storage unit 127.
  • the buffer 124 stores an image signal including the subject image input from the image acquisition unit 11.
  • the coefficient storage unit 127 stores the number of divisions for the region dividing unit 123 to divide the image, the size of the divided regions, and the threshold value used for the determination processing by the motion determination unit 126.
  • the region dividing unit 123 extracts a predetermined block region size with reference to the coefficient storage unit 127, and divides the subject image acquired from the image acquisition unit 11 into a plurality of block regions.
  • the area dividing unit 123 inputs the subject image after the area dividing process to the similarity calculating unit 125.
  • the similarity calculation unit 125 refers to the coefficient storage unit 127 to acquire information on the detection region size for template matching processing, and based on the information, the subject image of each region after the region division processing by the region division unit 123 and A known template matching process (calculation of SAD value, SSD value or NCC value) is performed on the past subject images stored in the buffer 124 in time series.
  • FIG. 5 is a diagram illustrating motion detection performed by the motion detection unit 12A of the learning image automatic selection device according to the first modification of the first embodiment of the present invention.
  • the divided area is a coordinate (x, y) in an orthogonal coordinate system in which the horizontal direction of the rectangular subject image W 2 is the X direction and the vertical direction is the Y direction, for example, the coordinates corresponding to the pixel position.
  • the area dividing unit 123 divides the subject image acquired from the image acquiring unit 11 into a plurality of areas based on the size information of the divided area acquired with reference to the coefficient storage unit 127.
  • the size information of the divided area has, for example, a vertical width and a horizontal width corresponding to the number of pixels.
  • the similarity calculation unit 125 detects the amount of motion of the divided region R using the position coordinates SB (x, y) of the center of the divided region R of interest as a representative point. At this time, the similarity calculation unit 125 performs template matching processing between the divided region R and the detection region.
  • the divided region R is a divided region that is a processing target among a plurality of divided regions that are sequentially subjected to template matching processing.
  • the size information of the detection area includes the start coordinate SA (x 0 , y 0 ) and the end coordinate EA (x 1 , y 1 ) of the detection area, and the horizontal direction (X direction) and the vertical direction (Y direction) of the detection area. Is longer than the lengths of the divided regions in the vertical and horizontal directions.
  • the similarity calculation unit 125 compares the upper left pixel of each divided area with the upper left pixel of the detection area in the past subject image in FIG.
  • the SAD value described above is calculated corresponding to the pixel value. Thereafter, the SAD value is calculated while moving one pixel at a time in the X direction, and the SAD value is calculated while moving one pixel at a time in the Y direction.
  • the minimum SAD value is extracted from the plurality of SAD values and used as the representative SAD value of the divided area to be processed. In this way, the representative SAD values of all the divided areas are calculated by the template matching process.
  • the similarity calculation unit 125 inputs the calculated plurality of representative SAD values to the motion determination unit 126.
  • the motion determination unit 126 reads the SAD threshold value for motion determination stored in the coefficient storage unit 127 and compares the read threshold value with a plurality of representative SAD values input from the similarity calculation unit 125.
  • the motion determining unit 126 increases the count number of motion determination by 1 when the representative SAD value is equal to or greater than the SAD threshold.
  • the initial value of the count number for motion determination is assumed to be zero.
  • the motion determination unit 126 refers to the coefficient storage unit 127 to obtain a motion determination count threshold value, and the count threshold value and the subject The count number of the image motion judgment is compared.
  • the motion determination unit 126 determines that the motion determination count of the subject image is equal to or greater than the count threshold, the motion determination unit 126 determines that there is a physical motion of the imaging device or the subject between the compared images. On the other hand, when the motion determination unit 126 determines that the number of motion determination counts of the subject image is smaller than the count threshold, the motion determination unit 126 determines that there is no physical motion of the imaging device or the subject between the compared images. The motion determination unit 126 inputs the subject image and the determination result to the learning candidate image determination unit 13.
  • the learning candidate image determination unit 13 determines whether to select the subject image as the learning candidate image based on the presence or absence of the detected motion, and the derived image generation unit 14 performs the learning.
  • One or a plurality of derived images are generated using the subject image selected as the learning candidate image by the candidate image determining unit 13, and the similarity calculating unit 15 resembles the learning candidate image and the derived image with the learning image.
  • the determination unit 16 determines the subject image selected as the learning candidate image as a new learning image based on the similarity calculated by the similarity calculation unit 15.
  • the subject image having no motion and high similarity is excluded from the learning candidate image, and the derived image obtained by performing image processing on the learning candidate image and the stored learning image
  • the geometric deformation is performed when selecting the learning image to be stored.
  • the subject image may be reduced, and the similarity may be calculated using the reduced subject image.
  • the learning candidate image determination unit 13 has been described as determining whether or not the subject image is to be a learning candidate image based on the motion detection information input from the motion detection unit 12.
  • the present invention is not limited to this.
  • blur information obtained by detecting blur of the subject image is used to determine whether or not the subject image is to be a learning candidate image.
  • FIG. 6 is a block diagram showing a functional configuration of the learning image automatic sorting apparatus 1A according to the second modification of the first embodiment of the present invention.
  • the learning image automatic sorting apparatus 1A according to the second modification example further includes a shake detection unit 19 in addition to the configuration of the learning image automatic sorting apparatus 1 described above.
  • the blur detection unit 19 detects the blur of the subject image and generates blur information.
  • a method disclosed in Japanese Patent No. 2829073 or a method of detecting using a sensor can be used to detect image blur.
  • the learning candidate image determination unit 13 excludes the subject image from the learning candidate image when blurring is detected in the subject image based on the blur information in addition to the above-described motion detection determination result.
  • the second modification in addition to the movement of the subject image, it is determined whether or not to be a learning candidate image from the detection information of blurring of the subject image, so that while suppressing the number of learning images to be stored, Since only clear subject images are registered as learning images, image recognition processing with higher accuracy can be performed.
  • the image blur has been described as being detected.
  • a blur indicating the degree of focus (edge) may be detected.
  • blur information is generated, and the learning candidate image determination unit 13 determines whether or not the subject image is to be a learning candidate image based on the motion detection information and the blur information.
  • FIG. 7 is a block diagram showing a functional configuration of the learning image automatic sorting apparatus 1B according to Embodiment 2 of the present invention.
  • the derived image generation unit 14 generates a derived image of the learning image stored in the learning image storage unit 182.
  • the derived image generation unit 14 When the derived image generation unit 14 acquires the learning image stored in the learning image storage unit 182, the derived image generation unit 14 generates one or a plurality of derived images by performing the above-described image processing on the acquired learning image.
  • the derived image generation unit 14 inputs the generated derived image to the similarity calculation unit 15.
  • the similarity calculation unit 15 acquires a learning candidate image from the learning candidate image determination unit 13.
  • the similarity calculation unit 15 calculates the similarity between the learning candidate image determined by the learning candidate image determination unit 13, the learning image, and the derived image generated by the derived image generation unit 14 based on the learning image.
  • the similarity calculation unit 15 calculates the similarity between the learning candidate image and the learning image and the similarity between the learning candidate image and the derived image, and inputs the calculated result to the determination unit 16.
  • the determination unit 16 determines whether to store the learning candidate image as a learning image in the learning image storage unit 182 based on the calculation result input from the similarity calculation unit 15.
  • the motion detection unit 12 selects the subject image that is the object of selection determination from the plurality of captured images, and the subject image in terms of time. Whether or not the subject image is detected in the target image using the previous subject image, and the learning candidate image determination unit 13 selects the subject image as the learning candidate image based on the detected presence or absence of the motion.
  • the derived image generation unit 14 generates one or a plurality of derived images using the learning images stored in the learning image storage unit 182, and the similarity calculation unit 15 determines the learning candidate images.
  • the similarity between the learning image and the derived image is calculated, and the determination unit 16 newly learns the subject image selected as the learning candidate image based on the similarity calculated by the similarity calculation unit 15. It was to determine as an image. This eliminates a subject image with high similarity and no motion from the learning candidate image, and determines the learning candidate image based on the similarity between the derived image obtained by performing image processing on the learning candidate image and the stored learning image. In order to determine the necessity of registration as a learning image and to exclude similar images derived from learning candidate images from the learning image, geometrical deformation, shading change, noise level, etc. Thus, it is possible to identify and eliminate duplicate images, and to perform highly accurate image recognition processing while suppressing the number of learning images to be stored.
  • Embodiment 3 In Embodiments 1 and 2 described above, the derivation image generation unit 14 has been described as generating a derivation image using either the subject image determined as the learning candidate image or the learning image. The present invention is not limited to this. In the third embodiment, which one of the subject image determined as the learning candidate image and the learning image stored in the learning image storage unit 182 is used by the derived image generation unit 14 to generate the derived image. Can be set.
  • FIG. 8 is a block diagram showing a functional configuration of a learning image automatic sorting apparatus 1C according to Embodiment 3 of the present invention.
  • the learning image automatic sorting device 1C according to the third embodiment further includes a setting input unit 20 in addition to the configuration of the learning image automatic sorting device 1 described above.
  • the setting input unit 20 is an interface for performing input from the user to the learning image automatic sorting device 1C, and is realized by input devices such as a keyboard, a mouse, a touch panel, and various switches.
  • the input of the instruction signal generated in response to the operation is received, and the received instruction signal is input to the control unit 17.
  • the setting input unit 20 for example, the subject image determined as the learning candidate image and the learning image stored in the learning image storage unit 182 as an image when the derivative image generation unit 14 generates the derivative image.
  • An input of an instruction signal for setting which image to use is accepted.
  • the derived image generation unit 14 generates a derived image using either the subject image determined as the learning candidate image or the learning image stored in the learning image storage unit 182. Since it is possible to set whether or not to do so, the learning image can be automatically selected by the user's selection, and the degree of freedom of processing can be improved.
  • the present invention is not limited to the above-described embodiments and modifications as they are, and can be embodied by modifying the constituent elements within the scope of the invention without departing from the gist of the invention.
  • Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments. For example, some constituent elements may be deleted from all the constituent elements described in the above-described embodiments and modifications. Furthermore, you may combine suitably the component demonstrated by each embodiment and the modification.
  • the present invention can include various embodiments and the like not described herein, and appropriate design changes and the like can be made without departing from the technical idea described in the claims. Is possible.
  • the learning image automatic selection device, the learning image automatic selection method, and the learning image automatic selection program according to the present invention are configured to detect differences in geometric deformation, gradation change, noise level, and the like in selecting a learning image to be stored. This is useful for discriminating and identifying and eliminating duplicate images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本発明にかかる学習画像自動選別装置は、複数の撮像画像のうちの選別判断対象である注目画像と、該注目画像より時間的に前の撮像画像とを用いて、注目画像における被写体の動き量を検出する動き検出手段と、動き量に基づいて、注目画像を学習候補画像として選択するか否かを判断する判断部と、判断部により学習候補画像として選択された注目画像および学習画像の少なくとも一方を用いて、一つまたは複数の派生画像を生成する派生画像生成部と、学習候補画像と学習画像との類似度、および、一つもしくは複数の派生画像と学習画像との類似度、または一つもしくは複数の派生画像と学習候補画像との類似度を算出する類似度算出部と、類似度算出部により算出された類似度と、統計的に決まる条件とに基づいて、学習候補画像として選択されている注目画像を新たな学習画像として選別する選別部と、学習画像を記憶する記憶部と、を備えた。

Description

学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム
　本発明は、画像をもとに学習画像として記憶する画像を選別する学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラムに関する。
　近年、内視鏡診断の分野において、臓器分類、病変検出、過去の消化器手術状況の確認などに利用できる画像認識技術が知られている。画像認識技術は、例えば、学習画像として過去の内視鏡画像である管腔内画像から抽出された様々なバリエーションの粘膜領域や異常領域の画像を用いて特徴量抽出処理によって特徴量ベクトルを算出し、クラスタリング処理によって、局所的に存在する複数の局所特徴量に対し、各局所特徴量に最も類似した代表的な特徴量（visual　word)を選出して、未知の画像を識別するための学習識別器を構築する。構築した学習識別器に基づいて、今回撮像された画像に対して画像認識を実施する。
　学習識別器を構築するための学習画像は、診断目的に合わせて、想定されるシーンの画像を満遍なく含んでいることが、認識精度を高める点で重要である。過去の内視鏡画像に対して、人が目視で選別することも可能ではあるが、数千枚、数万枚の画像から学習画像を選別するのには膨大な時間を要する。この問題を解決するために、撮像された画像に対し、代表物体を抽出して、該抽出後の画像を学習画像として記憶する学習画像生成技術が知られている（例えば、特許文献１を参照）。また、時系列で前後する画像を用いて、被写体（代表物体）の動きを判断して、動きがあると判断された画像を選別する技術も知られている（例えば、特許文献２を参照）。
特開２０１１－１４５７９１号公報 特開２００３－２９８９２７号公報
　しかしながら、特許文献１，２が開示する技術を用いて学習画像を選別して記憶させる場合、幾何変形、濃淡変化、ノイズレベルなどの違いが原因で類似する画像を重複に選んでしまい、記憶される学習画像の枚数が膨大な数となってしまい、管理上で問題が発生するおそれがあった。
　本発明は、上記に鑑みてなされたものであって、記憶する学習画像を選別するうえで、幾何変形、濃淡変化、ノイズレベルなどの違いを判別し重複の画像を識別して排除することができる学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る学習画像自動選別装置は、時系列で撮像された複数の撮像画像から画像認識処理用の学習画像を自動選別する学習画像自動選別装置であって、前記複数の撮像画像のうちの選別判断対象である注目画像と、該注目画像より時間的に前の撮像画像とを用いて、前記注目画像における被写体の動き量を検出する動き検出手段と、前記動き量に基づいて、前記注目画像を学習候補画像として選択するか否かを判断する判断部と、前記判断部により前記学習候補画像として選択された前記注目画像および前記学習画像の少なくとも一方を用いて、一つまたは複数の派生画像を生成する派生画像生成部と、前記学習候補画像と前記学習画像との類似度、および、前記一つもしくは複数の派生画像と前記学習画像との類似度、または前記一つもしくは複数の派生画像と前記学習候補画像との類似度を算出する類似度算出部と、前記類似度算出部により算出された類似度と、統計的に決まる条件とに基づいて、前記学習候補画像として選択されている前記注目画像を新たな学習画像として選別する選別部と、前記学習画像を記憶する記憶部と、を備えたことを特徴とする。
　上述した課題を解決し、目的を達成するために、本発明に係る学習画像自動選別方法は、時系列で撮像された複数の撮像画像から画像認識処理用の学習画像を自動選別する学習画像自動選別装置が行う学習画像自動選別方法であって、前記複数の撮像画像のうちの選別判断対象である注目画像と、該注目画像より時間的に前の撮像画像とを用いて、前記注目画像における被写体の動き量を検出し、前記動き量に基づいて、前記注目画像を学習候補画像として選択するか否かを判断し、前記学習候補画像として選択された前記注目画像、または前記学習画像を用いて、一つまたは複数の派生画像を生成し、前記学習候補画像と前記学習画像との類似度、および、前記一つもしくは複数の派生画像と前記学習画像との類似度、または前記一つもしくは複数の派生画像と前記学習候補画像との類似度を算出し、前記類似度と、統計的に決まる条件とに基づいて、前記学習候補画像として選択されている前記注目画像を新たな学習画像として選別し、選別された前記学習候補画像として選ばれた前記注目画像を前記学習画像として記憶することを特徴とする。
　上述した課題を解決し、目的を達成するために、本発明に係る学習画像自動選別プログラムは、時系列で撮像された複数の撮像画像から画像認識処理用の学習画像を自動選別する学習画像自動選別装置が行う学習画像自動選別プログラムであって、前記複数の撮像画像のうちの選別判断対象である注目画像と、該注目画像より時間的に前の撮像画像とを用いて、前記注目画像における被写体の動き量を検出する検出手順と、前記動き量に基づいて、前記注目画像を学習候補画像として選択するか否かを判断する判断手順と、前記学習候補画像として選択された前記注目画像、または前記学習画像を用いて、一つまたは複数の派生画像を生成する派生画像生成手順と、前記学習候補画像と前記学習画像との類似度、および、前記一つもしくは複数の派生画像と前記学習画像との類似度、または前記一つもしくは複数の派生画像と前記学習候補画像との類似度を算出する類似度算出手順と、前記類似度と、統計的に決まる条件とに基づいて、前記学習候補画像として選択されている前記注目画像を新たな学習画像として選別する選別手順と、選別された前記学習候補画像として選ばれた前記注目画像を前記学習画像として記憶する記憶手順と、をコンピュータに実行させることを特徴とする。
　本発明によれば、記憶する学習画像を選別するうえで、幾何変形、濃淡変化、ノイズレベルなどの違いを判別し重複の画像を識別して排除して、効率的に学習画像を選別することができるという効果を奏する。
図１は、本発明の実施の形態１に係る学習画像自動選別装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態１に係る学習画像自動選別装置の派生画像生成部が生成する派生画像を説明する図である。 図３は、本発明の実施の形態１に係る学習画像自動選別装置が行う処理を示すフローチャートである。 図４は、本発明の実施の形態１の変形例１に係る学習画像自動選別装置の動き検出部の構成を示すブロック図である。 図５は、本発明の実施の形態１の変形例１に係る学習画像自動選別装置の動き検出部が行う動き検出を説明する図である。 図６は、本発明の実施の形態１の変形例２に係る学習画像自動選別装置の機能構成を示すブロック図である。 図７は、本発明の実施の形態２に係る学習画像自動選別装置の機能構成を示すブロック図である。 図８は、本発明の実施の形態３に係る学習画像自動選別装置の機能構成を示すブロック図である。
　以下、本発明を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、以下の説明において参照する各図は、本発明の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本発明は、各図で例示された形状、大きさ、および位置関係のみに限定されるものではない。また、同一の構成には同一の符号を付して説明する。
（実施の形態１）
　図１は、本発明の実施の形態１に係る学習画像自動選別装置１の機能構成を示すブロック図である。図１に示す学習画像自動選別装置１は、画像取得部１１と、動き検出部１２と、学習候補画像決定部１３（判断部）と、派生画像生成部１４と、類似度算出部１５と、判定部１６（選別部）と、制御部１７と、記憶部１８と、を備える。記憶部１８は、画像取得部１１が取得した被写体画像を記憶する被写体画像記憶部１８１と、画像認識を行う際に用いる画像であって過去の画像から抽出された様々なバリエーションの画像である学習画像を記憶する学習画像記憶部１８２とを有する。
　画像取得部１１は、画像信号を外部から受信する、または記憶部１８に記憶されている画像を取得する。画像取得部１１は、必要に応じてノイズ除去やＡ／Ｄ変換、同時化処理（例えば、カラーフィルタ等を用いて色成分ごとの撮像信号が得られた場合に行う）などの信号処理を施すことにより、例えばＲＧＢの色成分が付与された３板の被写体画像を含む画像信号を生成する。画像取得部１１は、取得した画像信号、または信号処理後の画像信号を、注目画像を含む画像信号として動き検出部１２に入力する。また、画像取得部１１は、外部から画像信号を取得した場合、動き検出部１２および記憶部１８に入力する。画像取得部１１は、上述した同時化処理などのほか、ＯＢクランプ処理や、ゲイン調整処理などを行ってもよい。画像としては、人などの被写体を含む画像や、内視鏡（カプセル型内視鏡を含む）により取得された被検体内の体腔画像など、時系列に取得（撮像）され、被写体を含む被写体画像が挙げられる。
　動き検出部１２は、画像取得部１１から入力された画像信号に基づく画像（注目画像）を用いて、該画像の動きを検出する。換言すれば、動き検出部１２は、撮像タイミングが異なる（時系列の）動き検出画像間の画像の動きを検出する。動き検出部１２は、類似度算出部１２１と、動き判断部１２２とを有する。
　類似度算出部１２１は、画像取得部１１から、例えばＲＧＢ３板の被写体画像のうちのＧ成分の画像と、被写体画像記憶部１８１に記憶されている被写体画像であって、画像取得部１１から入力された被写体画像の撮影時間よりも時系列的に過去のＲＧＢ３板の被写体画像のうちのＧ成分の画像とを用いて、公知の差分絶対値和（Sum　of　Absolute　Difference：ＳＡＤ）を算出する。ここで、ＳＡＤが０に向かうほど、２枚の被写体画像の類似度が高い。類似度算出部１２１は、このＳＡＤのほか、差の二乗和（Sum　of　Squared　Difference：ＳＳＤ）を求めて類似度としてもよいし、正規化相関（Normalized　Cross-Correction：ＮＣＣ）を求めて類似度としてもよい。
　動き判断部１２２は、記憶部１８に記憶されている動き判断用のＳＡＤ閾値を読み出して、このＳＡＤ閾値と、類似度算出部１２１が算出したＳＡＤ値とを比較する。動き判断部１２２は、ＳＡＤ値がＳＡＤ閾値以上である場合、撮像装置または被写体の物理的な動きがあると判断する。これに対して、ＳＡＤ値がＳＡＤ閾値より小さい場合、撮像装置または被写体の物理的な動きがないと判断する。動き判断部１２２は、判断結果を学習候補画像決定部１３に入力する。
　学習候補画像決定部１３は、入力された画像信号が、動き検出部１２により動きありと判断されている場合、対応する被写体画像を学習候補画像として決定する。学習候補画像決定部１３は、学習候補画像に関する決定情報とともに被写体画像に応じた画像信号を派生画像生成部１４に入力する。これに対し、学習候補画像決定部１３は、入力された画像信号が、動き検出部１２により動きなしと判断されている場合、対応する被写体画像を学習候補画像から除外し、次の画像信号の入力まで待機する。
　派生画像生成部１４は、学習候補画像決定部１３から入力された学習候補画像である画像信号の被写体画像を用いて、一つまたは複数の派生画像を生成する。本実施の形態１では、派生画像生成部１４は、学習候補画像決定部１３から入力された学習候補画像（被写体画像）に対して、公知の幾何学変換（拡大、縮小、平行移動、回転、左右反転、アフィン変換、射影変換などを含む）、濃淡変換（ガンマ変換、トーンカーブ変換、ヒストグラム平坦化、ゲインによる明暗調整）、ノイズ増減、エッジ強調、色変換（彩度、色相、明度）、切り出し処理などを含む画像処理のうちの少なくとも一つを行うことで、派生画像を生成する。派生画像生成部１４は、生成した派生画像を類似度算出部１５に入力する。
　図２は、本発明の実施の形態１に係る学習画像自動選別装置１の派生画像生成部１４が生成する派生画像を説明する図である。図２では、一例として、派生画像生成部１４が、学習候補画像Ｗ1に対して、被写体Ｓを拡大した派生画像Ｗ11、被写体Ｓを９０°回転した派生画像Ｗ12、被写体画像Ｗ1の明度を小さくした派生画像Ｗ13を示している。このようにして、派生画像生成部１４は、学習候補画像をベースに画像処理を施して、学習候補画像とは大きさや、明るさ、コントラストなどが異なる派生画像を生成する。
　また、派生画像生成部１４は、学習候補画像の拡大、縮小、回転、平行移動などを、アフィン変換を用いて行ってもよい。アフィン変換では、変換前の座標を（ｘ，ｙ）、変換後の座標を（ｘ’，ｙ’）としたとき、下式（１）で表すことができる。式（１）より、下記式（２）のような３×３の行列が得られ、この行列を使って、変換前の座標を変換後の座標に変換する。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 ここで、式（１）のａ～ｄからなる２×２行列が線形変換を行い、ｅ，ｆからなる部分が平行移動の変換を行う。
　類似度算出部１５は、学習候補画像決定部１３が決定した学習候補画像、およびこの学習候補画像をもとに派生画像生成部１４が生成した派生画像と、学習画像記憶部１８２に記憶されている学習画像との類似度をそれぞれ算出する。類似度の算出方法については、上述した類似度算出部１２１が行う類似度の算出方法と同様である。類似度算出部１５は、学習候補画像と学習画像との類似度、派生画像と学習画像との類似度をそれぞれ算出し、算出した結果を判定部１６に入力する。
　判定部１６は、類似度算出部１５から入力された算出結果に基づき、学習候補画像を学習画像として学習画像記憶部１８２に記憶させるか否かを判定する。具体的に、判定部１６は、学習候補画像と学習画像との類似度、派生画像と学習画像との類似度のそれぞれについて、判定用の閾値と比較し、すべての類似度が閾値より小さい場合に、当該学習候補画像が学習画像として学習画像記憶部１８２に記憶させるものであると判定する。一方で、判定部１６は、すべての類似度のうち、一つでも閾値以上となる類似度が存在すれば、当該学習候補画像が学習画像として学習画像記憶部１８２に記憶させるものではないと判定する。
　上述したように、時系列で前後する被写体画像を用いて、動き検出処理を行い、動きがあると判定された場合に当該被写体画像を学習候補画像として決定する。続いて、この学習候補画像に対して、公知の幾何学変換、濃淡変換、ノイズ増減、エッジ強調、色変換などによる画像処理を施して、一つまたは複数の派生画像を生成する。その後、学習候補画像と派生画像とについて、記憶されている学習画像との類似度を算出し、学習画像とするか否かの判定を実施する。そうすることによって、複数の被写体画像から学習画像を選別する処理において、必要最小限の学習画像を選別することが可能となる。
　制御部１７は、ＣＰＵ（Central　Processing　Unit）等を用いて構成され、学習画像自動選別装置１を構成する各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部１７は、判定部１６によって学習画像として判定された学習候補画像を学習画像記憶部１８２に記憶させる制御を行う。
　記憶部１８は、学習画像自動選別装置１を動作させるための各種プログラム、例えば、学習画像自動選定プログラムや、学習画像自動選別装置１の動作に必要な各種パラメータ等を含むデータを記録する。記憶部１８は、フラッシュメモリやＤＲＡＭ（Dynamic　Random　Access　Memory）等の半導体メモリを用いて実現される。記憶部１８は、動き判断部１２２による判断処理に用いる閾値や、判定部１６による判定処理に用いる閾値を記憶する。
　続いて、学習画像自動選別装置１の各部が行う処理について図面を参照して説明する。図３は、本発明の実施の形態１に係る学習画像自動選別装置１が行う処理を説明するフローチャートである。以下、制御部１７による制御のもと、各部が動作するものとして説明する。
　画像取得部１１は、画像信号を外部から受信する、または記憶部１８に記憶されている画像を取得する（ステップＳ１０１）。画像取得部１１は、取得した画像信号、または信号処理後の画像信号を、動き検出部１２に入力する。
　動き検出部１２は、画像取得部１１から入力された画像信号に基づく画像を用いて、該画像の動きを検出する（ステップＳ１０２）。動き判断部１２２は、上述したように類似度を求めた後、動きがあるか否かを判断し、該判断結果を学習候補画像決定部１３に入力する。
　学習候補画像決定部１３は、動き検出部１２の判断結果に基づいて、被写体画像を学習候補画像として決定するか否かを判断する（ステップＳ１０３）。学習候補画像決定部１３は、入力された入力画像信号が、動き検出部１２により動きありと判断されている場合、対応する被写体画像を学習候補画像として決定し（ステップＳ１０３：Ｙｅｓ）、学習候補画像に関する決定情報とともに被写体画像に応じた画像信号を派生画像生成部１４に入力し、ステップＳ１０４に移行する。これに対し、学習候補画像決定部１３は、動き検出部１２により動きなしと判断されている場合、対応する被写体画像を学習候補画像とはしない旨を決定し（ステップＳ１０３：Ｎｏ）、ステップＳ１０９に移行する。
　ステップＳ１０４では、制御部１７が、学習画像記憶部１８２に学習画像が記憶されているか否かを判断する。ここで、制御部１７が、学習画像記憶部１８２に学習画像が記憶されていないと判断した場合（ステップＳ１０４：Ｎｏ）、この学習候補画像を学習画像とし、ステップＳ１０８に移行する。これに対し、制御部１７は、学習画像記憶部１８２に学習画像が既に記憶されている場合（ステップＳ１０４：Ｙｅｓ）、ステップＳ１０５に移行する。
　ステップＳ１０５では、派生画像生成部１４は、学習候補画像決定部１３から入力された学習候補画像である画像信号の被写体画像を用いて、一つまたは複数の派生画像を生成する。派生画像生成部１４は、上述したように、学習候補画像に対して画像処理を施して一つまたは複数の派生画像を生成する。派生画像生成部１４は、生成した派生画像を類似度算出部１５に入力する。
　続くステップＳ１０６では、類似度算出部１５が、学習候補画像決定部１３が決定した学習候補画像、およびこの学習候補画像をもとに派生画像生成部１４が生成した派生画像と、学習画像記憶部１８２に記憶されている学習画像との類似度をそれぞれ算出する。類似度算出部１５は、学習候補画像と学習画像との類似度、派生画像と学習画像との類似度をそれぞれ算出し、算出した結果を判定部１６に入力する。
　その後、判定部１６が、類似度算出部１５から入力された算出結果に基づき、学習候補画像を学習画像として学習画像記憶部１８２に記憶させるか否かを判定する（ステップＳ１０７）。判定部１６は、学習候補画像と学習画像との類似度、派生画像と学習画像との類似度のそれぞれについて、判定用の閾値と比較し、すべての類似度が閾値より小さい場合、当該学習候補画像が学習画像として学習画像記憶部１８２に記憶させるものであると判定（ステップＳ１０７：Ｙｅｓ）し、ステップＳ１０８に移行する。一方で、判定部１６は、すべての類似度のうち、一つでも閾値以上となる類似度が存在すれば、当該学習候補画像が学習画像として学習画像記憶部１８２に記憶させるものではないと判定し（ステップＳ１０７：Ｎｏ）、ステップＳ１０９に移行する。
　ステップＳ１０８では、制御部１７が、ステップＳ１０４またはＳ１０７で学習画像として決定された学習候補画像を学習画像として学習画像記憶部１８２に記憶させる登録処理を行う。これにより、学習候補画像として選択された被写体画像が、学習画像として登録される。
　ステップＳ１０９では、制御部１７が、学習画像として選別すべき新たな被写体画像（画像信号）の入力があるか否かを判断する。ここで、制御部１７は、学習画像として選別すべき新たな被写体画像（画像信号）の入力があると判断した場合（ステップＳ１０９：Ｙｅｓ）、ステップＳ１０２に移行して、上述した処理を繰り返す。一方、制御部１７は、学習画像として選別すべき新たな被写体画像（画像信号）の入力がないと判断した場合（ステップＳ１０９：Ｎｏ）、本処理を終了する。
　上述した本実施の形態１によれば、被写体画像を学習画像として選別する際に、動き検出部１２が、複数の撮像画像のうちの選別判断対象である被写体画像と、該被写体画像より時間的に前の被写体画像とを用いて、注目画像における被写体の動きの有無を検出し、学習候補画像決定部１３が、検出された動きの有無に基づいて、被写体画像を学習候補画像として選択するか否かを判断し、派生画像生成部１４が、学習候補画像決定部１３により学習候補画像として選択された被写体画像を用いて、一つまたは複数の派生画像を生成し、類似度算出部１５が、学習候補画像および派生画像と、学習画像との類似度をそれぞれ算出し、判定部１６が、類似度算出部１５により算出された類似度に基づいて、学習候補画像として選択されている被写体画像を新たな学習画像として判定するようにした。これにより、動きのない類似度の高い被写体画像を学習候補画像から排除するとともに、学習候補画像に対して画像処理を施した派生画像と記憶されている学習画像との類似度から当該学習候補画像の学習画像としての登録の要否を判断して、学習候補画像から派生する類似した画像を学習画像から排除するため、記憶する学習画像を選別するうえで、幾何変形、濃淡変化、ノイズレベルなどの違いを判別し重複の画像を識別して排除することができ、記憶する学習画像の数を抑制しつつ精度の高い画像認識処理を行なうことが可能となる。
　なお、上述した実施の形態１では、判定部１６が、すべての類似度が閾値より小さい場合に、当該学習候補画像を学習画像として学習画像記憶部１８２に記憶させると判定するものとして説明したが、これに限らず、例えば、類似度の総数の９割の類似度が閾値より小さい場合に、当該学習候補画像を学習画像として学習画像記憶部１８２に記憶させると判定するものであってもよく、判断基準を統計的に決まる条件に基づいて判定するものとしてもよい。
　また、上述した実施の形態１において、最終的に選ばれた画像を学習画像として保存する場合、画像取得部１１によって取得された画像信号、例えば、Ａ／Ｄ変換後であってノイズ除去や同時化処理前の画像信号に応じた画像データを保存してもよいし、同時化処理などの信号処理が施された後の画像信号に応じた画像データを保存してもよい。ただし、画像取得部１１によって取得された画像信号を保存する場合は、類似度算出部１２１により類似度算出を行う際、この類似度算出を行う前に、画像取得部１１によって同時化処理などの信号処理を施す必要がある。
（実施の形態１の変形例１）
　上述した実施の形態１では、動き検出部１２が、ＳＡＤ値を類似度として算出して動きを検出するものとして説明したが、本発明はこれに限定されない。本変形例１では、被写体画像を複数の領域に分割して、領域ごとにパターンマッチングを行うことで、動きを検出する。
　本変形例１にかかる学習画像自動選別装置は、上述した学習画像自動選別装置１の動き検出部１２に代えて、動き検出部１２Ａを備える。図４は、本発明の実施の形態１の変形例１に係る学習画像自動選別装置の動き検出部１２Ａの構成を示すブロック図である。動き検出部１２Ａは、領域分割部１２３と、バッファ１２４と、類似度算出部１２５と、動き判断部１２６と、係数記憶部１２７とを有する。
　バッファ１２４には、画像取得部１１から入力された被写体画像を含む画像信号を記憶する。バッファ１２４は、容量が不足すると（所定のフレーム数の画像信号を記憶すると）、時系列で最も古い画像信号を最新の画像信号で上書きすることで、最新の画像信号から時系列で所定フレーム数記憶する。
　係数記憶部１２７は、領域分割部１２３が画像を分割するための分割数や分割された領域のサイズ、動き判断部１２６による判断処理に用いられる閾値を記憶する。
　領域分割部１２３は、係数記憶部１２７を参照して所定のブロック領域サイズを抽出し、画像取得部１１から取得した被写体画像を複数のブロック領域に分割する。領域分割部１２３は、領域分割処理後の被写体画像を類似度算出部１２５に入力する。
　類似度算出部１２５は、係数記憶部１２７を参照してテンプレートマッチング処理用の検出領域サイズの情報を取得し、該情報に基づいて領域分割部１２３による領域分割処理後の各領域の被写体画像と、バッファ１２４に記憶されている時系列的に過去の被写体画像に対して公知のテンプレートマッチング処理（ＳＡＤ値、ＳＳＤ値またはＮＣＣ値の算出）を行う。
　図５は、本発明の実施の形態１の変形例１に係る学習画像自動選別装置の動き検出部１２Ａが行う動き検出を説明する図である。図５に示すように、分割領域が、矩形の被写体画像Ｗ2の横方向をＸ方向、縦方向をＹ方向とする直交座標系の座標（ｘ，ｙ）、例えば画素の位置に相当する座標（ｘ，ｙ）に位置するものとして考える。領域分割部１２３は、係数記憶部１２７を参照して取得した分割領域のサイズ情報に基づいて、画像取得部１１から取得した被写体画像を複数の領域に分割する。分割領域のサイズ情報は、例えば画素数に応じた縦幅および横幅を有する。
　類似度算出部１２５は、注目する分割領域Ｒの中心の位置座標ＳＢ（ｘ，ｙ）を代表点として分割領域Ｒの動き量を検出する。このとき、類似度算出部１２５は、分割領域Ｒと検出領域のテンプレートマッチング処理を行う。分割領域Ｒとは、順次テンプレートマッチング処理される複数の分割領域のうちの、処理対象となっている分割領域である。検出領域のサイズ情報は、検出領域の開始座標ＳＡ（ｘ0，ｙ0）と終了座標ＥＡ（ｘ1，ｙ1）であり、検出領域の横方向（Ｘ方向）および縦方向（Ｙ方向）の長さは、分割領域の縦方向および横方向の長さより大きい。本変形例１では、類似度算出部１２５は、図５中、各分割領域の左上の画素と、過去の被写体画像にある検出領域の一番左上の画素とを照合して、同じ位置にある画素値に対応し、上述したＳＡＤ値を算出する。その後、Ｘ方向に１画素ずつ移動させながらＳＡＤ値をそれぞれ算出するとともに、Ｙ方向に１画素ずつ移動させながらＳＡＤ値をそれぞれ算出する。検出領域のすべてにおいて、分割領域ＲのＳＡＤ値を算出した後、この複数のＳＡＤ値から最小のＳＡＤ値を抽出して、処理対象の分割領域の代表ＳＡＤ値とする。このようにして、テンプレートマッチング処理によりすべての分割領域の代表ＳＡＤ値を算出する。類似度算出部１２５は、算出した複数の代表ＳＡＤ値を動き判断部１２６に入力する。
　動き判断部１２６は、係数記憶部１２７に記憶されている動き判断用のＳＡＤ閾値を読み出して、この読み出した閾値と、類似度算出部１２５から入力された複数の代表ＳＡＤ値とを比較する。動き判断部１２６は、代表ＳＡＤ値がＳＡＤ閾値以上である場合、動き判断のカウント数を１大きくする。ここで、動き判断のカウント数初期値は０とする。動き判断部１２６は、ＳＡＤ閾値と、すべての分割領域の代表ＳＡＤ値との比較が終了後、係数記憶部１２７を参照して動き判断のカウント閾値を取得して、このカウント閾値と、当該被写体画像の動き判断のカウント数とを比較する。動き判断部１２６は、当該被写体画像の動き判断のカウント数が、カウント閾値以上であると判断した場合、比較した画像間において、撮像装置または被写体の物理的な動きがあると判断する。一方、動き判断部１２６は、当該被写体画像の動き判断のカウント数が、カウント閾値より小さいと判断した場合、比較した画像間において、撮像装置または被写体の物理的な動きがないと判断する。動き判断部１２６は、被写体画像および判定結果を学習候補画像決定部１３に入力する。
　その後は、上述したように、学習候補画像決定部１３が、検出された動きの有無に基づいて、被写体画像を学習候補画像として選択するか否かを判断し、派生画像生成部１４が、学習候補画像決定部１３により学習候補画像として選択された被写体画像を用いて、一つまたは複数の派生画像を生成し、類似度算出部１５が、学習候補画像および派生画像と、学習画像との類似度をそれぞれ算出し、判定部１６が、類似度算出部１５により算出された類似度に基づいて、学習候補画像として選択されている被写体画像を新たな学習画像として判定する。
　これにより、実施の形態１と同様、動きのない類似度の高い被写体画像を学習候補画像から排除するとともに、学習候補画像に対して画像処理を施した派生画像と記憶されている学習画像との類似度から当該学習候補画像の学習画像としての登録の要否を判断して、学習候補画像から派生する類似した画像を学習画像から排除するため、記憶する学習画像を選別するうえで、幾何変形、濃淡変化、ノイズレベルなどの違いを判別し重複の画像を識別して排除することができ、記憶する学習画像の数を抑制しつつ精度の高い画像認識処理を行なうことが可能となる。
　なお、本実施例１では、被写体画像の全画素を用いて類似度を算出するものとして説明したが、この構成に限定しない。例えば、演算量を抑制するため、被写体画像を縮小して、この縮小した被写体画像を用いて、類似度を算出するようにしてもよい。
（実施の形態１の変形例２）
　上述した実施の形態１では、学習候補画像決定部１３が、動き検出部１２から入力された動き検出情報をもとに被写体画像を学習候補画像とするか否かを決定するものとして説明したが、本発明はこれに限定されない。本変形例２では、動き検出情報のほかに、被写体画像のブレを検出して得られたブレ情報を用いて被写体画像を学習候補画像とするか否かを決定する。
　図６は、本発明の実施の形態１の変形例２に係る学習画像自動選別装置１Ａの機能構成を示すブロック図である。本変形例２にかかる学習画像自動選別装置１Ａは、上述した学習画像自動選別装置１の構成に加えて、ブレ検出部１９をさらに備える。
　ブレ検出部１９は、画像取得部１１から被写体画像の入力があると、該被写体画像のブレを検出してブレ情報を生成する。画像のブレの検出は、例えば、特許第２８２９０７３号公報が開示する方法や、センサを用いて検出する方法を用いることが可能である。
　学習候補画像決定部１３は、上述したような動き検出の判断結果に加えて、ブレ情報により被写体画像においてブレが検出された場合に、当該被写体画像を学習候補画像から排除する。
　本変形例２によれば、被写体画像の動きに加え、被写体画像のブレの検出情報から学習候補画像とするか否かを決定するようにしたので、記憶する学習画像の数を抑制しつつ、明瞭な被写体画像のみを学習画像として登録するため、一層精度の高い画像認識処理を行なうことができる。
　なお、本変形例２では、画像のブレを検出するものとして説明したが、合焦度（エッジ）を示すボケを検出するものであってもよい。この場合、ボケ情報が生成され、学習候補画像決定部１３は、動き検出情報とボケ情報とをもとに被写体画像を学習候補画像とするか否かを決定する。
（実施の形態２）
　上述した実施の形態１では、派生画像生成部１４が、学習候補画像に決定された被写体画像を用いて派生画像を生成するものとして説明したが、本発明はこれに限定されない。図７は、本発明の実施の形態２に係る学習画像自動選別装置１Ｂの機能構成を示すブロック図である。本実施の形態２に係る学習画像自動選別装置１Ｂでは、派生画像生成部１４が、学習画像記憶部１８２に記憶されている学習画像の派生画像を生成する。
　派生画像生成部１４は、学習画像記憶部１８２に記憶されている学習画像を取得すると、取得した学習画像について、上述した画像処理を施すことによって一つまたは複数の派生画像を生成する。派生画像生成部１４は、生成した派生画像を類似度算出部１５に入力する。本実施の形態２では、類似度算出部１５は、学習候補画像決定部１３から学習候補画像を取得する。
　類似度算出部１５は、学習候補画像決定部１３が決定した学習候補画像と、学習画像、および学習画像をもとに派生画像生成部１４が生成した派生画像との類似度をそれぞれ算出する。類似度算出部１５は、学習候補画像と学習画像との類似度、学習候補画像と派生画像との類似度をそれぞれ算出し、算出した結果を判定部１６に入力する。
　判定部１６は、上述したように、類似度算出部１５から入力された算出結果に基づき、学習候補画像を学習画像として学習画像記憶部１８２に記憶させるか否かを判定する。
　上述した本実施の形態２によれば、被写体画像を学習画像として選別する際に、動き検出部１２が、複数の撮像画像のうちの選別判断対象である被写体画像と、該被写体画像より時間的に前の被写体画像とを用いて、注目画像における被写体の動きの有無を検出し、学習候補画像決定部１３が、検出された動きの有無に基づいて、被写体画像を学習候補画像として選択するか否かを判断し、派生画像生成部１４が、学習画像記憶部１８２に記憶されている学習画像を用いて、一つまたは複数の派生画像を生成し、類似度算出部１５が、学習候補画像と、学習画像および派生画像との類似度をそれぞれ算出し、判定部１６が、類似度算出部１５により算出された類似度に基づいて、学習候補画像として選択されている被写体画像を新たな学習画像として判定するようにした。これにより、動きのない類似度の高い被写体画像を学習候補画像から排除するとともに、学習候補画像に対して画像処理を施した派生画像と記憶されている学習画像との類似度から当該学習候補画像の学習画像としての登録の要否を判断して、学習候補画像から派生する類似した画像を学習画像から排除するため、記憶する学習画像を選別するうえで、幾何変形、濃淡変化、ノイズレベルなどの違いを判別し重複の画像を識別して排除することができ、記憶する学習画像の数を抑制しつつ精度の高い画像認識処理を行なうことが可能となる。
（実施の形態３）
　上述した実施の形態１，２では、派生画像生成部１４が、学習候補画像に決定された被写体画像、または学習画像のいずれか一方の画像を用いて派生画像を生成するものとして説明したが、本発明はこれに限定されない。本実施の形態３では、派生画像生成部１４が、学習候補画像に決定された被写体画像、および学習画像記憶部１８２に記憶されている学習画像のどちらの画像を用いて派生画像を生成するかの設定を可能とする。
　図８は、本発明の実施の形態３に係る学習画像自動選別装置１Ｃの機能構成を示すブロック図である。本実施の形態３にかかる学習画像自動選別装置１Ｃは、上述した学習画像自動選別装置１の構成に加えて、設定入力部２０をさらに備える。
　設定入力部２０は、学習画像自動選別装置１Ｃに対するユーザからの入力等を行うためのインターフェースであり、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、これらの入力デバイスに対する外部からの操作に応じて発生させた指示信号の入力を受け付けて、受け付けた指示信号を制御部１７に入力する。具体的に、設定入力部２０は、例えば、派生画像生成部１４が派生画像を生成する際の画像として、学習候補画像に決定された被写体画像、および学習画像記憶部１８２に記憶されている学習画像のどちらの画像を用いるかの設定を行うための指示信号の入力を受け付ける。
　本実施の形態３によれば、派生画像生成部１４が、学習候補画像に決定された被写体画像、および学習画像記憶部１８２に記憶されている学習画像のどちらの画像を用いて派生画像を生成するかの設定を可能としたので、ユーザの選択によって学習画像を自動選別させることができ、処理の自由度を向上することができる。
　なお、設定入力部２０のほか、被写体画像として入力される画像の数（学習候補画像の数）と、学習画像記憶部１８２に記憶されている学習画像の数とのうち、少ない方または多い方を選択し、該選択した方の画像を用いて派生画像を生成する設定を自動で行うようにしてもよい。
　なお、本発明は、上述した実施の形態および変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態および変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施の形態および変形例で説明した構成要素を適宜組み合わせてもよい。
　このように、本発明は、ここでは記載していない様々な実施の形態等を含み得るものであり、請求の範囲に記載した技術的思想を逸脱しない範囲内において適宜設計変更等を行うことが可能である。
　以上のように、本発明にかかる学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラムは、記憶する学習画像を選別するうえで、幾何変形、濃淡変化、ノイズレベルなどの違いを判別し重複の画像を識別して排除するのに有用である。
　１，１Ａ，１Ｂ，１Ｃ　学習画像自動選別装置
　１１　画像取得部
　１２，１２Ａ　動き検出部
　１３　学習候補画像決定部
　１４　派生画像生成部
　１５　類似度算出部
　１６　判定部
　１７　制御部
　１８　記憶部
　１９　ブレ検出部
　２０　設定入力部
　１８１　被写体画像記憶部
　１８２　学習画像記憶部

Claims (8)

  1. 　時系列で撮像された複数の撮像画像から画像認識処理用の学習画像を自動選別する学習画像自動選別装置であって、
    　前記複数の撮像画像のうちの選別判断対象である注目画像と、該注目画像より時間的に前の撮像画像とを用いて、前記注目画像における被写体の動き量を検出する動き検出手段と、
    　前記動き量に基づいて、前記注目画像を学習候補画像として選択するか否かを判断する判断部と、
    　前記判断部により前記学習候補画像として選択された前記注目画像および前記学習画像の少なくとも一方を用いて、一つまたは複数の派生画像を生成する派生画像生成部と、
    　前記学習候補画像と前記学習画像との類似度、および、前記一つもしくは複数の派生画像と前記学習画像との類似度、または前記一つもしくは複数の派生画像と前記学習候補画像との類似度を算出する類似度算出部と、
    　前記類似度算出部により算出された類似度と、統計的に決まる条件とに基づいて、前記学習候補画像として選択されている前記注目画像を新たな学習画像として選別する選別部と、
    　前記学習画像を記憶する記憶部と、
    　を備えたことを特徴とする学習画像自動選別装置。
  2. 　選別部は、前記類似度と閾値と比較し、前記類似度算出部が算出した前記類似度の数に対して所定の割合の前記類似度が前記閾値を下回る場合に、前記学習候補画像として選ばれた前記注目画像を新たな学習画像として選別する
    ことを特徴とする請求項１に記載の学習画像自動選別装置。
  3. 　前記派生画像生成部は、
    　前記学習候補画像に対し、幾何変換、濃淡変換、ノイズの増減、彩度強調、エッジ強調及び色変換からなる群から選択される少なくとも一つの画像変換処理を施して前記派生画像を生成する
    ことを特徴とする請求項１又は２に記載の学習画像自動選別装置。
  4. 　前記注目画像のブレ情報またはボケ情報を検出する検出部をさらに備え、
    　前記判断部は、前記ブレ情報または前記ボケ情報により前記注目画像がブレまたはボケが検出された場合、前記注目画像を前記学習候補画像から排除する
    ことを特徴とする請求項１から３のいずれか一項に記載の学習画像自動選別装置。
  5. 　前記学習候補画像と前記学習画像とのうち派生画像を生成する対象画像の設定を行う設定部
    をさらに備えたことを特徴とする請求項１から４のいずれか一項に記載の学習画像自動選別装置。
  6. 　前記派生画像生成部は、前記判断部により前記学習候補画像として選択された前記注目画像を用いて、前記一つまたは複数の派生画像を生成する
    ことを特徴とする請求項１から４のいずれか一項に記載の学習画像自動選別装置。
  7. 　時系列で撮像された複数の撮像画像から画像認識処理用の学習画像を自動選別する学習画像自動選別装置が行う学習画像自動選別方法であって、
    　前記複数の撮像画像のうちの選別判断対象である注目画像と、該注目画像より時間的に前の撮像画像とを用いて、前記注目画像における被写体の動き量を検出し、
    　前記動き量に基づいて、前記注目画像を学習候補画像として選択するか否かを判断し、
    　前記学習候補画像として選択された前記注目画像、または前記学習画像を用いて、一つまたは複数の派生画像を生成し、
    　前記学習候補画像と前記学習画像との類似度、および、前記一つもしくは複数の派生画像と前記学習画像との類似度、または前記一つもしくは複数の派生画像と前記学習候補画像との類似度を算出し、
    　前記類似度と、統計的に決まる条件とに基づいて、前記学習候補画像として選択されている前記注目画像を新たな学習画像として選別し、
    　選別された前記学習候補画像として選ばれた前記注目画像を前記学習画像として記憶する
    　ことを特徴とする学習画像自動選別方法。
  8. 　時系列で撮像された複数の撮像画像から画像認識処理用の学習画像を自動選別する学習画像自動選別装置が行う学習画像自動選別プログラムであって、
    　前記複数の撮像画像のうちの選別判断対象である注目画像と、該注目画像より時間的に前の撮像画像とを用いて、前記注目画像における被写体の動き量を検出する検出手順と、
    　前記動き量に基づいて、前記注目画像を学習候補画像として選択するか否かを判断する判断手順と、
    　前記学習候補画像として選択された前記注目画像、または前記学習画像を用いて、一つまたは複数の派生画像を生成する派生画像生成手順と、
    　前記学習候補画像と前記学習画像との類似度、および、前記一つもしくは複数の派生画像と前記学習画像との類似度、または前記一つもしくは複数の派生画像と前記学習候補画像との類似度を算出する類似度算出手順と、
    　前記類似度と、統計的に決まる条件とに基づいて、前記学習候補画像として選択されている前記注目画像を新たな学習画像として選別する選別手順と、
    　選別された前記学習候補画像として選ばれた前記注目画像を前記学習画像として記憶する記憶手順と、
    　をコンピュータに実行させることを特徴とする学習画像自動選別プログラム。
PCT/JP2015/085821 2015-12-22 2015-12-22 学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム WO2017109854A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017557551A JP6639523B2 (ja) 2015-12-22 2015-12-22 学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム
PCT/JP2015/085821 WO2017109854A1 (ja) 2015-12-22 2015-12-22 学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム
US16/015,834 US10679358B2 (en) 2015-12-22 2018-06-22 Learning image automatic sorting device, learning image automatic sorting method, and learning image automatic sorting program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/085821 WO2017109854A1 (ja) 2015-12-22 2015-12-22 学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/015,834 Continuation US10679358B2 (en) 2015-12-22 2018-06-22 Learning image automatic sorting device, learning image automatic sorting method, and learning image automatic sorting program

Publications (1)

Publication Number Publication Date
WO2017109854A1 true WO2017109854A1 (ja) 2017-06-29

Family

ID=59089732

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/085821 WO2017109854A1 (ja) 2015-12-22 2015-12-22 学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム

Country Status (3)

Country Link
US (1) US10679358B2 (ja)
JP (1) JP6639523B2 (ja)
WO (1) WO2017109854A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020008710A1 (ja) * 2018-07-02 2020-01-09 パナソニックＩｐマネジメント株式会社 学習データ収集装置、学習データ収集システム、及び学習データ収集方法
JP2020021372A (ja) * 2018-08-02 2020-02-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理方法および情報処理システム
JP2020079984A (ja) * 2018-11-12 2020-05-28 富士通株式会社 学習データ生成プログラム、学習データ生成装置及び学習データ生成方法
WO2021070324A1 (ja) * 2019-10-10 2021-04-15 日本電気株式会社 学習装置、学習方法、物体検出装置、物体検出方法、及び、記録媒体

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP2019109709A (ja) * 2017-12-18 2019-07-04 株式会社東芝 画像処理装置、画像処理方法およびプログラム
WO2020044523A1 (ja) * 2018-08-30 2020-03-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
JP7168485B2 (ja) * 2019-02-20 2022-11-09 株式会社日立ソリューションズ・クリエイト 学習データの生成方法、学習データ生成装置及びプログラム
JP7348754B2 (ja) * 2019-06-03 2023-09-21 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
CN113191356B (zh) * 2021-05-19 2023-01-31 南方电网电力科技股份有限公司 一种开关柜压板设备的状态识别方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11282822A (ja) * 1998-03-26 1999-10-15 Toshiba Corp 画像処理プログラム合成方法及びその装置並びに最適解探索方法及びその装置
JP2011086183A (ja) * 2009-10-16 2011-04-28 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2011090413A (ja) * 2009-10-20 2011-05-06 Canon Inc 画像認識装置、その処理方法及びプログラム
JP2013109758A (ja) * 2011-10-28 2013-06-06 Panasonic Corp 画像処理方法、および画像処理装置
JP2014085795A (ja) * 2012-10-23 2014-05-12 Toshiba Corp 学習画像収集装置、学習装置及び対象物検出装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6941007B1 (en) * 2000-01-28 2005-09-06 Micron Technology, Inc. Pattern recognition with the use of multiple images
US7271830B2 (en) 2002-02-11 2007-09-18 Hewlett-Packard Development Company, L.P. Motion detection in an image capturing device
JP2006337152A (ja) * 2005-06-01 2006-12-14 Sharp Corp 教示用画像生成方法および装置、画像処理アルゴリズム生成方法および装置、画像検査方法および装置、プログラムならびに記録媒体
JP5075924B2 (ja) * 2010-01-13 2012-11-21 株式会社日立製作所 識別器学習画像生成プログラム、方法、及びシステム
JP6188400B2 (ja) * 2013-04-26 2017-08-30 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
US9158996B2 (en) * 2013-09-12 2015-10-13 Kabushiki Kaisha Toshiba Learning image collection apparatus, learning apparatus, and target object detection apparatus
CN106102585B (zh) * 2015-02-16 2019-07-09 深圳迈瑞生物医疗电子股份有限公司 三维成像数据的显示处理方法和三维超声成像方法及系统
EP3471414A4 (en) * 2016-05-02 2021-04-21 Sony Corporation ENCRYPTION DEVICE AND ENCRYPTION METHOD, AND DECCRYPTION DEVICE AND DECryption METHOD

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11282822A (ja) * 1998-03-26 1999-10-15 Toshiba Corp 画像処理プログラム合成方法及びその装置並びに最適解探索方法及びその装置
JP2011086183A (ja) * 2009-10-16 2011-04-28 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2011090413A (ja) * 2009-10-20 2011-05-06 Canon Inc 画像認識装置、その処理方法及びプログラム
JP2013109758A (ja) * 2011-10-28 2013-06-06 Panasonic Corp 画像処理方法、および画像処理装置
JP2014085795A (ja) * 2012-10-23 2014-05-12 Toshiba Corp 学習画像収集装置、学習装置及び対象物検出装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020008710A1 (ja) * 2018-07-02 2020-01-09 パナソニックＩｐマネジメント株式会社 学習データ収集装置、学習データ収集システム、及び学習データ収集方法
JP2020008904A (ja) * 2018-07-02 2020-01-16 パナソニックＩｐマネジメント株式会社 学習データ収集装置、学習データ収集システム、及び学習データ収集方法
JP7122625B2 (ja) 2018-07-02 2022-08-22 パナソニックＩｐマネジメント株式会社 学習データ収集装置、学習データ収集システム、及び学習データ収集方法
JP2020021372A (ja) * 2018-08-02 2020-02-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理方法および情報処理システム
JP7231996B2 (ja) 2018-08-02 2023-03-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法および情報処理システム
JP2020079984A (ja) * 2018-11-12 2020-05-28 富士通株式会社 学習データ生成プログラム、学習データ生成装置及び学習データ生成方法
JP7148794B2 (ja) 2018-11-12 2022-10-06 富士通株式会社 学習データ生成プログラム、学習データ生成装置及び学習データ生成方法
WO2021070324A1 (ja) * 2019-10-10 2021-04-15 日本電気株式会社 学習装置、学習方法、物体検出装置、物体検出方法、及び、記録媒体

Also Published As

Publication number Publication date
US20180300885A1 (en) 2018-10-18
JP6639523B2 (ja) 2020-02-05
JPWO2017109854A1 (ja) 2018-10-11
US10679358B2 (en) 2020-06-09

Similar Documents

Publication Publication Date Title
JP6639523B2 (ja) 学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム
JP4372051B2 (ja) 手形状認識装置及びその方法
JP6732214B2 (ja) 画像処理装置、画像処理方法、テンプレート作成装置、物体認識処理装置及びプログラム
JP6125188B2 (ja) 映像処理方法及び装置
US10388018B2 (en) Image processing apparatus, image processing method, and storage medium
JP4739355B2 (ja) 統計的テンプレートマッチングによる高速な物体検出方法
JP6482195B2 (ja) 画像認識装置、画像認識方法及びプログラム
US9330325B2 (en) Apparatus and method for reducing noise in fingerprint images
KR101747216B1 (ko) 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체
CN110008795B (zh) 图像目标追踪方法及其系统与计算机可读取记录介质
JP2006346465A (ja) 心臓境界、胸郭境界及び横隔膜境界を検出する方法、装置及び記憶媒体
JP5832910B2 (ja) 画像監視装置
JP4518139B2 (ja) 画像処理装置
EP2591460A1 (en) Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation
JP2012084012A (ja) 画像処理装置、その処理方法及びプログラム
JP6110174B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP4691570B2 (ja) 画像処理装置およびオブジェクト推定プログラム
KR101769741B1 (ko) 동공 탐지를 통한 홍채 인식 방법 및 홍채 인식 장치
JP2006222899A (ja) 画像処理装置及び画像処理方法
WO2017032096A1 (en) Method for predicting stereoscopic depth and apparatus thereof
JP2018092507A (ja) 画像処理装置、画像処理方法及びプログラム
KR101621157B1 (ko) Mct를 이용한 얼굴 인식 장치 및 그 방법
JP6276504B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP4812743B2 (ja) 顔認識装置、顔認識方法、顔認識プログラムおよびそのプログラムを記録した記録媒体
JP2016152467A (ja) 追尾装置、追尾方法及び追尾プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15911292

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017557551

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15911292

Country of ref document: EP

Kind code of ref document: A1