WO2013046414A1 - 画像表示方法、画像表示プログラム、及び画像表示装置 - Google Patents

画像表示方法、画像表示プログラム、及び画像表示装置 Download PDF

Info

Publication number
WO2013046414A1
WO2013046414A1 PCT/JP2011/072483 JP2011072483W WO2013046414A1 WO 2013046414 A1 WO2013046414 A1 WO 2013046414A1 JP 2011072483 W JP2011072483 W JP 2011072483W WO 2013046414 A1 WO2013046414 A1 WO 2013046414A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
group
comparison
similarity
Prior art date
Application number
PCT/JP2011/072483
Other languages
English (en)
French (fr)
Inventor
正樹 石原
秋吾 中村
馬場　孝之
昌彦 杉村
遠藤　進
上原　祐介
増本　大器
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2013535757A priority Critical patent/JP5725193B2/ja
Priority to CN201180070334.0A priority patent/CN103493092B/zh
Priority to PCT/JP2011/072483 priority patent/WO2013046414A1/ja
Publication of WO2013046414A1 publication Critical patent/WO2013046414A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries

Definitions

  • the present disclosure generally relates to an image display method, and more particularly to an image display method for image comparison.
  • Field inspection work is important for field management and operation.
  • tour images Useful.
  • By using the inspection images it is possible to grasp the growth of crops, grasp the progress and progression of disease, evaluate the effects of agricultural chemicals and work, and find abnormalities.
  • tour images taken at different locations and times comparison of the state between different fields, evaluation of a beginner's field based on the field of a skilled person, current state based on past success or failure cases Can be evaluated.
  • By using the tour images in this way it is possible to efficiently manage a large-scale agricultural management with a small number of people.
  • the attributes are a shooting location, a photographer, a shooting time, and the like.
  • comparison between fields with different varieties, items, and cropping types, and between fields of skilled and novice fields with the same variety, item, and cropping type Comparison comparison of past cases with the same type, item, and cropping type with the current state can be made.
  • the comparison standard includes, for example, the cumulative number of days from the planting date, the cumulative temperature from the planting date, the cumulative rainfall from the planting date, the cumulative sunshine time from the planting date, and the like. For example, it is generally not meaningful to compare tour images between crops just after cropping and crops just before harvesting, and important knowledge can be obtained by comparing tour images that have the same or corresponding cumulative days from the planting date. .
  • a display system that displays the tour images in an appropriate format is desired.
  • a certain comparison criterion for example, in chronological order
  • the images that are meaningful are compared.
  • the user himself / herself performs an operation of selecting and comparing visually meaningful images from a large number of display images, which is not efficient.
  • the number of comparison target images displayed side by side according to the comparison criterion may be different between fields.
  • the images do not correspond to each other one by one, and the tour images of the field with the larger number of images are displayed. It will be useless.
  • Patent Document 1 images are divided into groups (series) based on image attribute information, images of a plurality of groups are displayed in parallel in time synchronization, and synchronized scrolling operability is provided. This technique does not consider which image should be compared with which image between groups when there are a plurality of images in the unit to be synchronized instead of one.
  • the thumbnail images of the pages of the key document are arranged in a line in the order of the pages, and the thumbnail images of the pages of the comparison target document are arranged in parallel therewith. Further, the key page of the key document is compared with each page of the comparison target document, and the columns of the comparison target document are shifted in the column direction so that the most similar page is close to the key page. In addition, it is easy to confirm the degree of similarity between documents by connecting pages having a degree of similarity higher than a predetermined threshold with a line. In this technique, similar pages are only arranged adjacent to the key page (the page of interest), and similar pages are not arranged adjacent to each other for thumbnail images of other pages.
  • a video having the closest time index extracted by a predetermined number is arranged in the order of the time index along the first axis around a target image extracted from a plurality of images constituting the video.
  • the images having the closest similar indices extracted are arranged in the order of the similar indices along the second axis.
  • images that are temporally continuous with respect to the image of interest are arranged on the horizontal axis in the order of the temporal index, for example, and images that are similar in content to the image of interest are arranged on the vertical axis in the order of the similarity index.
  • only similar images are arranged adjacent to the image of interest, and similar pages are not arranged adjacent to each other for a plurality of images.
  • a plurality of images are selected from each of a plurality of groups each including a plurality of images based on a comparison criterion, and the images are duplicated in a group in which the number of selected images is relatively small.
  • the image display program selects a plurality of images based on a comparison criterion from each of a plurality of groups each including a plurality of images, and duplicates the images in the group having a relatively small number of selected images. Including the steps of generating display screen data for displaying the selected images having the same number of similar images in a one-to-one correspondence among the plurality of groups and displaying them in parallel, and executing the steps on a computer. It is characterized by making it.
  • the image display device includes a processing unit and a memory for storing a program and image data, and each of the plurality of groups each including a plurality of images by the processing unit executing the program stored in the memory.
  • a plurality of images based on the comparison criteria the images are duplicated in a group in which the number of selected images is relatively small, and the number of selected images in each group is the same, and the selected images having a similar degree of similarity
  • Each step of generating display screen data for displaying each other in parallel in a one-to-one correspondence among the plurality of groups is performed.
  • FIG. 17 is a diagram showing screen display when upper and lower images are both arranged in order of shooting date and time as a comparative example for the screen display mode shown in FIG. 16.
  • FIG. 1 is a diagram showing an example of a display screen displayed by the image display method.
  • the display screen 10 shown in FIG. 1 selects a plurality of images based on a comparison criterion from a first group that includes a plurality of images, and increases the number of images by duplicating at least one of the selected images.
  • the image 12 is displayed.
  • the display screen 10 further displays a selected image 11 selected based on the comparison criterion from the second group including a plurality of images.
  • the first group includes a plurality of images 12A and 12B in addition to the selected and displayed images.
  • the second group includes a plurality of images 11A and 11B other than the selected and displayed image.
  • the selected image 12 of the first group includes six images 12-1 to 12-6 in this example.
  • the selected image 11 of the second group includes six images 11-1 to 11-6.
  • the nth image 11-n from the left and the nth image 12-n from the left are images having high image similarity, and are a pair of images suitable for comparison with each other.
  • selected images with high similarity are displayed in parallel in a one-to-one correspondence among a plurality of groups. Displaying in parallel in a one-to-one correspondence is an example that is not intended to be limited.
  • the image 11-n and the image 12-n are placed in the same horizontal position as a pair, and the upper row and the lower row in the screen It means to display in parallel in the column.
  • a pair of images may be arranged at the same vertical position and displayed in parallel on the left and right columns in the screen.
  • the image 11-n and the image 12-n are arranged as a pair at the same horizontal position, and as a result, are displayed adjacent to each other vertically.
  • the horizontal position is the cumulative number of days from the planting date, the cumulative temperature from the planting date, the cumulative rainfall from the planting date, Corresponds to accumulated sunshine hours.
  • the patrol work in agriculture refers to the field that the farmer is managing in order to regularly check the growth status of the crop and the state of the soil, and to detect risks such as the occurrence of pests and weeds at an early stage. It is a work to look around.
  • a photograph taken to record an event confirmed or discovered during the patrol work is called a patrol image.
  • the leftmost image 11-1 is an image taken at the date and time with the smallest cumulative number of days (that is, the earliest in time). It's okay.
  • the rightmost image 11-6 may be an image taken at the date and time when the cumulative number of days is the largest (that is, the latest in time).
  • the selected images 12 of the first group are arranged so that images having similarities to the respective images of the selected images 11 are displayed correspondingly.
  • the display order (horizontal position) of the selected image 12 may be a random display order unrelated to the comparison reference. That is, for example, when the comparison reference is the cumulative number of days, in the selected image 12 displayed on the display screen 10, the shooting times of the images need not be arranged in time order.
  • the original plurality of images selected from the first group based on the comparison criterion are four images 12-1, 12-4, 12-5, and 12-6 in the example of FIG.
  • the image 12-1 is duplicated and displayed as an image 12-2 (ie, two identical images are displayed), and the image 12-5 is duplicated and displayed as an image 12-3 (ie, two identical images) Image is displayed).
  • the selected image 12 becomes six images 12-1 to 12-6.
  • the plurality of images selected from the second group based on the comparison criteria are the first six images 11-1 to 11-6.
  • images are duplicated in a group (first group) in which the number of selected images is relatively small, and the number of selected images in each group is the same number (6 in this example). By duplicating images in this way, the same number of images can be displayed in parallel in a one-to-one correspondence. If the number of selected images in each group is the same from the beginning, the images may be displayed in parallel without being duplicated.
  • the method for generating the display screen data of the display screen 10 shown in FIG. 1 is as follows. First, a plurality of images are selected based on a comparison criterion from each of a plurality of groups each including a plurality of images. For example, when the comparison reference is the cumulative number of days, first, the reference point of the comparison reference is designated as, for example, the cumulative number of days 90. Next, based on this reference point, for example, a range of 7 days before and after 90 accumulated days (that is, from 83 accumulated days to 97 accumulated days) may be determined as a comparison reference range. Alternatively, for example, a range of 15 days after 90 accumulated days (that is, from 90 accumulated days to 104 accumulated days) may be determined as the comparison reference range.
  • a plurality of images that fall within the comparison reference range are selected from each of the plurality of groups (in this example, the first group and the second group). That is, for example, when the cumulative number of days from 83 to 97 is within the range of the comparison reference, images photographed between the 83rd and 97th days after planting are selected from each group.
  • an image 13 in the selected image 11 is an image corresponding to a reference point (for example, a photographed image at the cumulative number of 90 days that is the reference point).
  • the number of selected images in each group is made equal by duplicating the images. That is, in the example of FIG. 1, the images 12-1 and 12-5 are duplicated to form images 12-2 and 12-3, respectively, so that the number of selected images in the first group and the second group is reduced. The same number of 6 sheets.
  • display screen data for generating a selection image having a high degree of similarity in a one-to-one correspondence among a plurality of groups and displaying them in parallel is generated. That is, in the example of FIG. 1, the image 11-n and the image 12-n are arranged in the same horizontal position as a pair, and display screen data to be displayed in parallel on the upper and lower columns in the screen is displayed. Generate.
  • the synchronized slide operation button 14 synchronizes the selected image 11 and the selected image 12 and slides on the comparison reference axis. For example, when the comparison reference is the cumulative number of days and the left button of the synchronization slide operation button 14 is clicked, the images having an imaging date older than the images initially displayed as the selection images 11 and 12 are selected images 11 and 12. Is displayed. In the example of FIG. 1, before clicking the button to the left of the synchronization slide operation button 14, images from the cumulative number of days 83 to the cumulative number of days 97 are displayed.
  • the reference image 13 moves one to the left with respect to the image 11-4 and displays an image of ⁇ 7 days based on the cumulative number of days of the image 11-3. Also good. For example, when the cumulative number of days of the image 11-3 is 88 days, images with the cumulative number of days from 81 to 95 are displayed on the image 11. If the accumulated days of the image 11-3 and the image 11-4 are the same, a jump is made to the first image that is smaller than the accumulated days of the reference image 13 (the image with the latest shooting date and time among the corresponding images). (Back). Furthermore, if the image corresponding to ⁇ 7 days after the jump does not change from before the jump, the above-described jump is repeated until there is a change.
  • the imaging dates and times of the images displayed as the selected images 11 and 12 may become older one after another. Further, for example, when the comparison reference is the cumulative number of days, when the right button of the synchronization slide operation button 14 is clicked, an image with a new imaging date and time is displayed more than the images initially displayed as the selection images 11 and 12. 12 may be displayed.
  • the synchronized slide operation button 14 synchronizes the selected image 11 and the selected image 12, that is, slides the display image while maintaining the vertical correspondence.
  • the image selection and duplication operation from each group may be sequentially performed every time the range of the comparison reference to be displayed changes.
  • image selection from each group, image duplication, and association based on similarity are executed in advance, and a wide comparison criterion in which images are already associated with each other An image in the display range may be selected from the images in the range and displayed.
  • the selection of images from each group within the range of the cumulative number of days for 30 days, the duplication of images, and the association based on the similarity are executed in advance, and images within the cumulative number of days for 15 days are displayed as the display range.
  • the display image is slid, when the image in the display range is selected from the images in the wide comparison reference range in which the images are already associated and displayed, the range to be selected as the display target is appropriately moved. Good.
  • the individual slide operation button 16 slides only the selected image 11 on the comparison reference axis.
  • the comparison reference is the cumulative number of days and the left button of the individual slide operation button 16 is clicked, an image with an imaging date older than the image initially displayed as the selected image 11 is displayed as the selected image 11.
  • the image from the cumulative number of days 83 to the cumulative number of days 97 was displayed before clicking the leftward button of the individual slide operation button 16, but the image display may be changed after one click.
  • the reference image 13 may be moved to the left with respect to the image 11-4, and an image of ⁇ 7 days based on the cumulative number of days of the image 11-3 may be displayed.
  • the individual slide operation button 15 slides only the selected image 12 on the comparison reference axis.
  • the selected image 11 is not slid.
  • the comparison reference is the cumulative number of days
  • the left-pointing button of the individual slide operation button 15 is clicked, an image having an imaging date and time older than the image initially displayed as the selected image 12 is displayed as the selected image 12. .
  • the synchronization reference interval setting menu 17 is used to set a synchronization reference interval (a range of comparison criteria for selecting an image from each group). By clicking the synchronization reference section setting menu 17, for example, ⁇ 1 day, ⁇ 2 day, ⁇ 3 day,..., ⁇ 7 day,... Can be selected.
  • the synchronization condition setting menu 18 is used to set a synchronization condition (comparison standard). By clicking the synchronization condition setting menu 18, for example, options such as the cumulative number of days from the planting date, the cumulative temperature from the planting date, the cumulative rainfall from the planting date, the cumulative sunshine time from the planting date, etc. can be selected as a pull-down menu. A desired option can be selected.
  • the narrowing condition setting menu 19 is used for setting narrowing conditions.
  • the narrowing-down condition setting menu 19 By clicking on the narrowing-down condition setting menu 19, for example, options such as a full-field view of the field, soil, and crops are displayed as a pull-down menu, and a desired option can be selected. By performing each setting using these menus 17 to 19, an image of the selected narrowing condition is displayed in the selected synchronization reference section using the selected synchronization condition (comparison reference). .
  • the display screen 10 displays labels 20 and 21 of attribute information of the image group. With these labels, information such as the field name, field group, field block, cropping item, cropping variety, cropping cropping type, manager in charge, etc. can be confirmed.
  • the display screen 10 further displays a tooltip 22 of image attribute information. By using this tool tip 22 to select an image of interest with a cursor, for example, various image attribute information of the image of interest can be displayed.
  • the image attribute information includes the cumulative number of days since planting, the cumulative temperature, the cumulative rainfall, the cumulative sunshine time, comments, and the like.
  • FIG. 2 is a diagram for explaining a procedure for selecting an image to be copied based on the similarity.
  • B-3 to B-5 are n images (three in this example) of the first group in which the number of images selected based on the comparison criterion is relatively small.
  • A-7 to A-10 are m images (in this example, 4 images) of the second group in which the number of images selected based on the comparison criterion is relatively large.
  • An image having a relatively large number is shown as a comparison source, and an image having a relatively small number is shown as a comparison destination.
  • the matrix table shown in FIG. 2 shows the similarity of image pairs between the three images in the first group and the four images in the second group.
  • the similarity 0.98 shown in the column corresponding to the images B-3 and A-7 indicates that the similarity between the images B-3 and A-7 is 0.98.
  • the similarity of 0.54 shown in the column corresponding to the image B-4 and the image A-9 is that the similarity of the image between the image B-4 and the image A-9 is 0.54.
  • a high degree of similarity indicates that the two images are appropriate images to be compared with each other.
  • images to be copied are selected based on the similarity shown in FIG. And replicate. Specifically, the image pair similarity between n images in the first group with a relatively small number of images and m (> n) images in the second group with a relatively large number of images. The image levels are compared, and n image pairs in which images do not overlap are preferentially selected from image pairs having a high degree of similarity. In the case of the example in FIG. 2, the image pair having the highest similarity is B-3 and A-7. Therefore, this image pair is first selected as the first image pair. The next image pair with the highest similarity is B-5 and A-8.
  • B-5 and A-8 are designated as the second image pair. Select as an image pair.
  • the similarity between the image pairs B-3 and A-9 is, for example, 0.81.
  • the similarity between the image pairs B-4 and A-8 is 0.79, for example.
  • the image pair having the second highest similarity after the second image pair is B-3 and A-9.
  • the image pair B-3 and A-9 are not selected as the third image pair because the first image pair and the image B-3 overlap.
  • the next image pair with the highest similarity is B-4 and A-8.
  • the image pair B-4 and A-8 are not selected as the third image pair because the second image pair and the image A-8 overlap.
  • the number of image pairs (the first to third image pairs) equal to the number of images in the first group (three in this example) having a relatively small number of images is selected.
  • m Duplicate the first group of images with the highest similarity to the n remaining images.
  • the first remaining image A-9 not included in the first to third image pairs has the highest similarity with the one remaining image A-9.
  • a group image B-3 is selected and duplicated.
  • a total of m image pairs of n image pairs selected as described above and mn remaining image and copied image pairs are arranged in parallel so that the images are adjacent to each other. Is displayed. In the example of FIG. 2, three image pairs B-3 & A-7, B-5 & A-8, and B-4 & A-10, and one remaining image A-9 and a duplicated image B-3 A total of four image pairs B-3 & A-9 are displayed in parallel so that the images are adjacent to each other.
  • FIG. 3 is a diagram showing a state of image display when an image to be duplicated is selected and duplicated based on the similarity in FIG.
  • the four images A-7 to A-10 of the comparison source are displayed, for example, in the order of photographing date and time (for example, the order when the comparison reference is the cumulative number of days), B-5, B-3, and B-4 are displayed in a one-to-one correspondence with the four images A-7 to A-10.
  • the similarity between A-7 and B-3 is 0.98
  • the similarity between A-8 and B-5 is 0.87
  • the similarity between A-9 and B-3 is 0.76
  • A- The similarity between 10 and B-4 is 0.77.
  • the image B in the first group is 4 -3 is duplicated and a total of four images of the first group are displayed.
  • the number of groups may be three or more.
  • the group having the largest number of images selected based on the comparison criterion is used as a criterion, and the selected images having similarities are paralleled in a one-to-one correspondence between the criterion group and each of the other groups.
  • the similarity between images is normalized between 0 and 1, for example, only images with a certain threshold value (for example, 0.8) or more are displayed, and other images are not displayed. Good. In this case, a dummy image or the like may be displayed at a position where no image is displayed or may be blank.
  • a certain threshold value for example, 0.8
  • FIG. 4 is a diagram illustrating an example of a functional configuration of an image display device that generates display screen data by executing an image display method.
  • 4 includes an image classification processing unit 31, a display control processing unit 32, an image storage unit 33, a feature amount storage unit 34, a learning parameter storage unit 35, a classification result storage unit 36, and an image attribute information storage unit. 37.
  • the boundary between each functional block shown in each box and another functional block basically indicates a functional boundary. Physical position separation, electrical signal separation However, it does not always correspond to control logic separation or the like.
  • each functional block may be one hardware module physically separated from other blocks to some extent, or in a hardware module physically integrated with other blocks. One function may be shown.
  • each functional block may be one software module logically separated from other blocks to some extent, or one function in a software module logically integrated with another block. May be shown.
  • the image storage unit 33 stores image data of a tour image taken during a tour of the field.
  • the image classification processing unit 31 includes an image feature extraction unit 41, a classifier learning unit 42, and an image classification unit 43.
  • the image feature extraction unit 41 of the image classification processing unit 31 obtains the feature amount of the image based on the image data of the tour image stored in the image storage unit 33.
  • the obtained image feature quantity is stored in the feature quantity storage unit 34.
  • the discriminator learning unit 42 generates a learning parameter for classifying the tour around image for each viewpoint based on the image feature amount stored in the feature amount storage unit 34.
  • the generated learning parameter is stored in the learning parameter storage unit 35.
  • the image classification unit 43 classifies the image data of the tour images into a plurality of different shooting viewpoints.
  • a photographing viewpoint there are a whole field view, crops, soil, and the like.
  • the classification result of the tour image data is stored in the classification result storage unit 36.
  • This classification result may be, for example, data in which the ID of the image data and the shooting viewpoint (classification) to which the image data with the ID belongs are stored in association with each other.
  • the learning parameter is obtained by using a correct image data set classified in advance for each viewpoint as learning data, and threshold data set for the image feature amount so that appropriate image classification can be performed.
  • the boundary data of the feature space may be included.
  • the display control processing unit 32 includes a similarity calculation unit 44, a display control unit 45, and a user interface unit 46.
  • the similarity calculation unit 44 calculates the similarity between the image data of the tour images stored in the image storage unit 33 based on the image feature amount stored in the feature storage unit 34.
  • the display control unit 45 is based on the similarity obtained by the similarity calculation unit 44, the classification result stored in the classification result storage unit 36, the attribute information of the tour image stored in the image attribute information storage unit 37, and the like. Then, display screen data for displaying a tour image is generated.
  • the generated display screen data is supplied to the user interface unit 46.
  • the image display device may be a computer and may display the generated display screen data on a local display display. Alternatively, the image display device may be a server computer, and the generated display screen data may be transmitted to the client computer via a network such as the Internet and displayed on the display of the client computer.
  • FIG. 5A and 5B are diagrams for explaining learning parameter learning by the classifier learning unit 42 and image classification by the image classification unit 43.
  • FIG. 5A and 5B show a field-wide view classifier 51, a soil classifier 52, and a crop classifier 53 for each photographing viewpoint.
  • the discriminators 51 to 53 may be included in the image classification unit 43, and the discriminator learning unit 42 performs learning based on the correct data set for the discriminators 51 to 53.
  • a correct data set 56 for a crop is taken as a correct example.
  • the combination of a discriminator other than that and a correct data set is made into a negative example.
  • a learning parameter is generated by learning the classifiers 51 to 53 using the data sets of these positive examples and negative examples, and the learning parameters obtained in this way are used in the image classification unit.
  • the classification result for the unknown image is output by the classifier 51 for the whole field of the farm using the learning parameters, the classifier 52 for the soil, and the classifier 53 for the crop.
  • the discriminators 51 to 53 may be combined in series as shown in FIG. 5B or may be combined in parallel.
  • the classifiers are combined in descending order of discrimination capability (classification performance).
  • the viewpoint with the higher certainty of the classification result output for each discriminator is adopted.
  • the data set of the image of the field-wide view is supplied as the correct data set 54.
  • the threshold value setting for the image feature amount, the division of the feature space, and the like are performed so that the correct data set 54 is classified as the full field view and the other images are classified as other than the full field view.
  • FIG. 5B after the learning is completed, when image data whose photographing viewpoint is unknown is input to the farm field panoramic view discriminator 51, the input image data is classified into the farm field panoramic image 57 and other images.
  • image classification may be executed mainly by paying attention to the feature amount relating to the composition of the image.
  • FIG. 6 is a diagram for explaining the feature amount related to the composition of the image.
  • the image 61 is divided vertically and horizontally into a plurality of partial image areas, and an average value of brightness in each partial image area is obtained as shown as a matrix 62.
  • the lightness average value matrix 62 has a size of 4 ⁇ 4.
  • the image 61 generally, the upper part of the image with the sky has a high lightness, and the lower part of the image with the ground has a low lightness.
  • the ratio of matrix elements that are equal to or higher than a predetermined threshold in the upper half of the two-dimensional matrix 62 is equal to or higher than a predetermined ratio, and the matrix elements that are equal to or lower than the predetermined threshold in the lower half. What is necessary is just to set conditions, such as a ratio being more than predetermined ratio.
  • FIG. 7 is a diagram illustrating a calculation example for increasing the accuracy of image identification using the two-dimensional matrix 62.
  • FIG. 6 when the average value of the brightness in each partial image area obtained by dividing the image 61 vertically and horizontally is obtained, if the inclination of the image, the proportion of the empty portion in the image, etc. fluctuate, the position of the horizontal line on the field Will vary, and the required matrix data will also vary greatly. Therefore, as shown in FIG. 7, it is conceivable to add a value obtained by multiplying the lightness average values v 1 to v 4 near the periphery 4 by the weight w to the lightness average value v x of the target partial image region.
  • the average brightness value of the vicinity of the peripheral 3 instead of the vicinity of the peripheral 4 is used.
  • a lightness average value in the vicinity of 2 may be used.
  • the soil image data set is supplied as the correct data set 55.
  • the threshold value setting for the image feature amount, the division of the feature space, and the like are performed so that the correct data set 55 is classified as a soil image and other images are classified as other than the soil.
  • FIG. 5B after learning is completed, when unknown image data (image data determined to be other than the entire field of the field) is input to the soil discriminator 52, the input image data is classified into the soil image 58 and other images. Is done.
  • image classification may be executed mainly by paying attention to the feature amount related to the color of the image. Specifically, for example, the images may be classified based on a color histogram obtained from the images.
  • FIG. 8 is a diagram for explaining preprocessing for obtaining a color histogram.
  • FIG. 9 is a diagram for explaining the color histogram.
  • smoothing processing is performed by applying a low-pass filter such as a Gaussian filter to the image 63 to generate an image 64 in which the influence of fine noise is reduced.
  • a color histogram 65 is generated based on the color data of each pixel of the image 64 after the smoothing process.
  • the hue space is divided into 10
  • the saturation space is divided into 3
  • the brightness space is further divided into 5.
  • a color histogram 65 is obtained by determining which of the 150 partial spaces the color data of each pixel of the image 64 after the smoothing process belongs to, and counting the number of pixels belonging to each partial space.
  • the distribution of the color histogram 65 obtained from the correct answer data set 55 that is an image of soil has a large proportion of the number of pixels belonging to one or more specific adjacent subspaces out of 150 subspaces. Distribution. That is, the color histogram 65 is distributed in a specific partial space. This is because the soil color occupies most of the image. Therefore, for example, it is possible to specify a soil image by setting boundary data that divides this specific partial space and specifying a color histogram 65 whose distribution is biased in the partial section indicated by the boundary data. It becomes.
  • a crop image data set is supplied as a correct data set 56.
  • a threshold value is set for the image feature amount, a feature space is classified, and the like so that the correct data set 56 is classified as a crop image and other images are classified as crop images.
  • FIG. 5B after the learning is completed, when unknown image data (image data determined to be other than the whole field view and other than the soil) is input to the crop discriminator 53, the input image data is the crop image 59 and the other images. And classified.
  • image classification may be executed mainly by paying attention to the feature amount relating to the color of the image. Specifically, as in the case of the soil classifier 52 described above, for example, the images may be classified based on a color histogram obtained from the images.
  • step S1 a field image to be compared is subjected to a narrowing inspection using a search condition. Specifically, the cultivation year, the date of planting, the type of crop, and the like are designated as search conditions, and an image of a field that satisfies the search conditions is identified based on attribute data stored in the image attribute information storage unit 37, for example. To do.
  • step S2 a date as a reference image is selected. The user inputs data for specifying the date of the reference image via the user interface unit 46.
  • the synchronization condition (comparison standard) is set to the cumulative number of days as a default.
  • step S3 the synchronization condition (comparison reference) and the synchronization reference section (range of comparison reference to be displayed) are set to default values at the first startup. For example, when the cumulative number of days from the planting date is used as the default synchronization condition, the synchronization reference interval is set as a default of ⁇ 7 days. As a result, an image belonging to the interval of ⁇ 7 days of the cumulative number of days of the reference image is displayed as a display target with the reference image specified in step S2 as the center.
  • the synchronization reference section is not set to a fixed-length section such as ⁇ 7 days, but is set to a section having a different length according to the date of the reference image selected in step S2. Good.
  • a crop has a growth stage that is a period divided or classified with a predetermined period in the growth process of the crop as a break.
  • the approximate growth stages of crops are classified into “seeding period (seeding period)”, “nurturing period”, “growth period”, “harvest period”, and the like.
  • this growth stage is used as a unit for changing the synchronization reference interval. For example, when the date of the reference image corresponds to the germination stage of the growth stage, since the growth or state change of the crop is fast, a relatively short interval of ⁇ 7 days may be set. Further, for example, when the date of the reference image corresponds to the harvesting period, the growth or state change of the crop is slow, so a relatively long interval of ⁇ 14 days may be set.
  • the operation for setting a different section according to the date of the designated reference image is executed by the image display device (computer), and the section may be automatically set without human intervention.
  • the entire range indicated by each comparison criterion such as the cumulative number of days from the planting date, cumulative temperature, cumulative rainfall, cumulative sunshine hours, etc.
  • an appropriate synchronization standard for each part Data in which a section is set may be created and registered in advance.
  • the entire range indicated by the cumulative number of days from the planting date is divided into two parts, a germination period and a harvest period, and appropriate synchronization reference intervals ⁇ 7 days and ⁇ 14 for each part.
  • Data in which the date is set may be created and registered in advance.
  • the appropriate synchronization reference corresponding to the specified value is obtained by referring to the registered data based on this specified value.
  • a section can be selected.
  • step S4 an image group in the synchronization reference section is specified based on the set synchronization condition and the synchronization reference section.
  • all images having the attribute of the cumulative number of days that fall within a range of ⁇ 7 days centered on the cumulative number of days corresponding to the date of the designated reference image are selected from each of the display target groups.
  • step S5 the image group with the largest number of images in the synchronization reference section (the image group of the group with the largest number of images) is set as the comparison source image group.
  • step S6 the non-comparison source image group in the similar image search section based on the synchronization condition with the date of the reference image as the center is set as the comparison destination image group.
  • an image of a group other than the group to which the comparison source image group set in step S5 belongs is set as a comparison destination image group.
  • the images of the comparison target image group are images belonging to the similar image search section, and the similar image search section may be the same section as the synchronization reference section or a section wider than the synchronization reference section. May be.
  • step S7 the similarity between the comparison source image group and the comparison destination image group is calculated using the feature amount of the feature amount storage unit 34 (see FIG. 4).
  • the feature quantity stored in the feature quantity storage unit 34 may be an image feature quantity calculated for the above-described image classification, or may be an image feature quantity calculated separately for similarity calculation. Good.
  • FIG. 11 is a flowchart illustrating an example of a flow of similarity calculation processing.
  • step S ⁇ b> 21 image feature amounts of the comparison source image group and the comparison destination image group are acquired from the feature amount storage unit 34.
  • step S22 a distance (for example, Euclidean distance) of the image feature amount is calculated for each image. For example, when the image feature amount of the 4 ⁇ 4 matrix 62 shown in FIG. 6 is used, the difference for each of the 16 matrix elements between the matrix 62 of the comparison source image and the matrix 62 of the comparison destination image is obtained. The square root of the square sum of the differences is the Euclidean distance.
  • step S23 the similarity (for example, the reciprocal of the Euclidean distance) is calculated based on the distance.
  • step S24 the calculated similarity is normalized in the range of 0 to 1, for example.
  • FIG. 12 is a diagram illustrating an example of the similarity obtained between the comparison source image group and the comparison destination image group.
  • Table 71 each column in the horizontal direction (row) represents a first group including m pieces of picture ID is B 1 to B m, the columns in the vertical direction (rows) image ID has A 1 A second group including n images of A to An is shown.
  • April 15, 2010 is designated as the date of the reference image, and the synchronization reference section T is from April 8 to April 22 of ⁇ 7 days before and after that.
  • the similar image search section for extracting the comparison target image is set to the same section T as the synchronization reference section in this example, and each image having the image IDs of B j , B j + 1 , B j + 2 , B j + 3 is The comparison target image group including four images is selected.
  • the number of images in the synchronization reference interval T of the first group is compared with the number of images in the synchronization reference interval T of the second group, and the first group having a larger number of images is compared.
  • the degree of similarity is calculated between each image having an image ID of A i to A i + 5 and each image having an image ID of B j to B j + 3 .
  • This similarity is normalized within a range of 0 to 1.
  • the similarity described in the column where the row corresponding to each image with the image IDs A i to A i + 5 and the column corresponding to each image with the image IDs B j to B j + 3 intersects is the row. Is the similarity between the image corresponding to the image and the image corresponding to the column.
  • the similarity between the image with the image ID A i and the image with the image ID B j + 1 is 0.18.
  • step S8 the comparison source image having the highest similarity of the images belonging to the comparison target image group is set as a comparison pair.
  • FIG. 13 is a diagram illustrating a process of setting a comparison source image having the highest similarity between the images belonging to the comparison target image group as a comparison pair.
  • the numerical example of the similarity shown in FIG. 13 is the same as the numerical example of the similarity shown in FIG.
  • the image ID of each comparison source image is listed in descending order of similarity with the comparison source image with respect to the previous image.
  • step S9 in the images belonging to the comparison source image group, the comparison destination image having the highest similarity is selected as the comparison pair with respect to the images not selected as the comparison pair. At this time, if the images overlap, the images are duplicated at the time of display. As shown in FIG. 13, when a comparison source image is assigned to each of the comparison target images with the smaller number of images and an image pair is determined, some of the comparison source images with the larger number of images are image pairs. It will be left without being included. In step S9 described above, a process of assigning a comparison target image to the remaining comparison source images that are not included in the image pair is executed.
  • FIG. 14 is a diagram for explaining a process of assigning a comparison destination image to a comparison source image that is not included in the image pair and remains.
  • the image IDs of the respective comparison target images are described in descending order of the degree of similarity between the comparison source image and the comparison target image.
  • B j + 2 , B j + 1 , B j + 3 , and B j surrounded by a bold frame are comparison target images in the image pair selected as shown in FIG. 13 in step S8 described above.
  • a pair of comparison destination images is assigned to each comparison source image of A i , A i + 3 , A i + 4 , and A i + 5 , but comparison is made to the comparison source images of A i + 1 and A i + 2.
  • the destination image is not assigned. Therefore, in the table shown in FIG. 14, the comparison destination images having the highest similarity, that is, the comparison destination images of B j + 2 and B j + 1 are assigned to the comparison source images of A i + 1 and A i + 2 as a pair.
  • FIG. 15 is a diagram showing the comparison target images of B j + 2 and B j + 1 assigned to the comparison source images of A i + 1 and A i + 2 , respectively, surrounded by a thick line frame.
  • comparison target images are assigned to all six comparison source images.
  • B j + 2 and B j + 1 are duplicated when the screen is displayed because the images overlap.
  • step S10 the comparison source image group is sorted in the order of the synchronization condition, and the comparison destination image group is zoomed and displayed by sorting the images as a comparison pair based on the sort order of the comparison source image group. At this time, duplicated comparison destination images are appropriately copied and displayed.
  • FIG. 16 is a diagram illustrating an example of a screen display corresponding to the example illustrated in FIGS. 12 to 15.
  • the six comparison source images A i , A i + 1 , A i + 2 , A i + 3 , A i + 4 , A i + 5 are arranged in the order of the shooting date and time corresponding to the order of the synchronization condition (cumulative days from the date of planting). They are displayed side by side.
  • FIG. 16 is a diagram illustrating an example of a screen display corresponding to the example illustrated in FIGS. 12 to 15.
  • the six comparison source images A i , A i + 1 , A i + 2 , A i + 3 , A i + 4 , A i + 5 are arranged in the order of the shooting date and time corresponding to the order of the synchronization condition (cumulative days from
  • the arrangement order of the comparison destination images in the upper part of the screen is the arrangement order according to the correspondence with the comparison source image based on the similarity.
  • two of B j + 1 and B j + 2 among the four images B j , B j + 1 , B j + 2 , B j + 3 that originally exist as image data are duplicated, for a total of 6 It is displayed as a single image. Accordingly, the comparison target images can be displayed side by side in parallel at positions adjacent to the comparison source images in a one-to-one correspondence with the six comparison source images.
  • FIG. 17 is a diagram showing a screen display when the upper and lower images are arranged in order of shooting date and time as a comparative example to the screen display form shown in FIG.
  • six comparison source images A i , A i + 1 , A i + 2 , A i + 3 , A i + 4 , A i + 5 are displayed in the order of shooting date and time corresponding to the comparison reference (cumulative days from the planting date). They are displayed side by side.
  • FIG. 17 is a diagram showing a screen display when the upper and lower images are arranged in order of shooting date and time as a comparative example to the screen display form shown in FIG.
  • six comparison source images A i , A i + 1 , A i + 2 , A i + 3 , A i + 4 , A i + 5 are displayed in the order of shooting date and time
  • step S11 it is determined whether or not a synchronous slide operation is performed in step S11. That is, for example, it is determined whether or not the synchronized slide operation button 14 shown in FIG. 1 has been clicked.
  • step S12 the reference image is moved by one in the corresponding direction in accordance with the left and right key operations of the synchronized slide operation button 14. For example, in the example shown in FIG. 16, the reference image 81 is changed from the image A i + 2 to A i + 1 or A i + 3 . Thereafter, the processing returns to step S4 in FIG. 10A, and the subsequent processing is repeated.
  • the reference image may be moved from A i + 2 to A i + 1 and the images before and after the cumulative number of days of A i + 1 may be displayed. If the accumulated days of the images A i + 2 and A i + 1 are the same, jump to the first image that is smaller than the accumulated days of the reference image A i + 2 (the image with the latest imaging date among the corresponding images) ( Go back). Furthermore, if the images to be displayed before and after the cumulative number of days after the jump do not change from before the jump, the above-described jump is repeated until there is a change.
  • step S13 in FIG. 10B it is determined whether or not to change the narrowing-down condition. That is, for example, it is determined whether or not a new narrowing condition is selected from the narrowing condition setting menu 19 shown in FIG. If a new narrowing condition is selected, the setting is changed in step S14 so that only the image group that matches the designated narrowing condition is displayed. Thereafter, the processing returns to step S4 in FIG. 10A, and the subsequent processing is repeated.
  • step S15 of FIG. 10B it is determined whether or not to change the synchronization condition. That is, for example, it is determined whether or not a new synchronization condition is selected from the synchronization condition setting menu 18 shown in FIG. If a new synchronization condition is selected, in step S16, the synchronization condition is set based on the user selection, and the synchronization reference interval is set to a default value. For example, when the cumulative temperature from the planting date is used as a default as a comparison reference, the interval of ⁇ 50 ° C. is set as a default for the synchronization reference interval. As a result, an image taken in a section of ⁇ 50 ° C. is displayed as a display target around the accumulated temperature of the date of the reference image specified in step S2.
  • a section having a fixed length such as ⁇ 50 ° C. is not set, but may be set to a section having a different length according to the reference date and time selected in step S2.
  • the growth stage as a unit for changing the synchronization reference section. For example, when the date of the reference image corresponds to the fixed planting stage of the growth stage, a relatively short interval of ⁇ 50 ° C. may be set. For example, when the date of the reference image corresponds to the harvesting period, a relatively long interval of ⁇ 100 ° C. may be set.
  • step S16 The operation of setting different sections according to the date (or cumulative temperature) of the designated reference image is executed by the image display device (computer), and the sections may be automatically set without human intervention. .
  • step S16 the process returns to step S4 in FIG. 10A, and the subsequent processes are repeated.
  • step S17 of FIG. 10B it is determined whether or not to change the synchronization reference section. That is, for example, it is determined whether or not a new synchronization reference section is selected from the synchronization reference section setting menu 17 shown in FIG. If a new synchronization reference section is selected, the synchronization reference section is set based on user designation in step S18. Thereafter, the processing returns to step S4 in FIG. 10A, and the subsequent processing is repeated.
  • the similarity is calculated for the image selected from the synchronization reference section or the similar image search section.
  • the similarity may be calculated in advance between all the images in each group.
  • FIG. 18 is a diagram illustrating an example of calculating the similarity between all images of two groups.
  • each horizontal column (column) indicates a first group including m images having image IDs B 1 to B m
  • each vertical column (row) indicates an image ID.
  • There illustrating a second group including n images is a 1 to a n.
  • the similarity is calculated for all pairs that can be generated between the m images of the first groove and the n images of the second group.
  • FIG. 19 is a diagram illustrating a manner of extracting the similarity with respect to an image selected from the synchronization reference section or the similar image search section from the similarities calculated in advance.
  • April 15, 2010 is designated as the date of the reference image, and the period from April 8 to April 22 of ⁇ 7 before and after that is set as the synchronization reference section.
  • the second group of images including the image captured on the reference date and captured before and after that, that is, the image IDs of A i , A i + 1 , A i + 2 , A i + 3 , A i + 4 , A i + 5 are included.
  • a second group of images is selected.
  • the first group of images having the image IDs B j , B j + 1 , B j + 2 , and B j + 3 included in the synchronization reference section are selected. If the similarity 83 that has already been calculated between the images with the image IDs A i to A i + 5 and the images with the image IDs B j to B j + 3 is normalized in the range of 0 to 1, FIG. Similar data to that shown in FIG. For example, in the flowcharts shown in FIGS. 10A and 10B, similarities may be calculated for all image pairs in advance as shown in FIG. 18 before the start of step S1. In step S7, instead of calculating the similarity, the similarity data of the corresponding part is extracted from the already calculated similarity data, and the extracted similarity data may be normalized as necessary.
  • FIG. 20 is a diagram illustrating a configuration of an apparatus that executes the image display method.
  • the apparatus for executing the image display method is realized by a computer such as a personal computer, an engineering workstation, or a server computer.
  • 20 includes a computer 510, a display device 520 connected to the computer 510, a communication device 523, and an input device.
  • the input device includes a keyboard 521 and a mouse 522, for example.
  • the computer 510 includes a CPU 511, a RAM 512, a ROM 513, a secondary storage device 514 such as a hard disk, a replaceable medium storage device 515, and an interface 516.
  • the keyboard 521 and the mouse 522 provide an interface with the user, and various commands for operating the computer 510, user responses to requested data, and the like are input.
  • the display device 520 displays the results processed by the computer 510 and displays various data to enable interaction with the user when operating the computer 510.
  • the communication device 523 is for performing communication with a remote place, and includes, for example, a modem or a network interface.
  • the image display method according to the present invention is provided as a computer program executable by the computer 510.
  • This computer program is stored in the storage medium M that can be mounted on the replaceable medium storage device 515, and is loaded from the storage medium M to the RAM 512 or the secondary storage device 514 via the replaceable medium storage device 515.
  • the computer program is stored in a remote storage medium (not shown), and is loaded from the storage medium to the RAM 512 or the secondary storage device 514 via the communication device 523 and the interface 516.
  • the CPU 511 When there is a program execution instruction from the user via the keyboard 521 and / or the mouse 522, the CPU 511 loads the program from the storage medium M, the remote storage medium, or the secondary storage device 514 to the RAM 512.
  • the CPU 511 uses the free storage space of the RAM 512 as a work area, executes the program loaded in the RAM 512, and advances the process while appropriately interacting with the user.
  • the ROM 513 stores a control program for controlling basic operations of the computer 510.
  • the computer 510 executes the image display method as described above.
  • the computer 510 may display the display screen data generated by the image display method on the local display device 520.
  • the computer 510 may be a server computer that provides, for example, a cloud service to a client computer.
  • the computer 510 may transmit the display screen data generated by the image display method to the client computer via a network such as the Internet connected to the communication device 523.
  • the client computer may display the received display screen data on the display of the client computer via a browser.
  • the image display method for the tour photos in the field has been described, but the target of the image display method of the present invention is not limited to the tour photos.
  • the disclosed image display method targets medical images such as the back, chest X-ray image, CT image, and MRI image, for example, when comparing images between patients of similar cases or the same patient in the previous year and this year. Available.
  • the users in this case are diagnostic doctors, residents, researchers, and the like.
  • Synchronous criteria may include the number of days since medication or treatment, or the cumulative dosage. If the synchronization criteria is the number of days elapsed since the medication, the similar image search interval is narrow because the user wants to compare the progress in detail immediately after the medication. May be set.
  • the narrowing-down condition may be an image type (X-ray, CT, MRI, endoscope, etc.).
  • the disclosed image display method is intended for moving images in the field of illegal copy detection, comparing the representative image of each scene in the original video with the representative image of each scene in the video suspected of illegal copying, and visually checking. It can be used to determine whether the copy is illegal.
  • the user in this case is a content holder or a person in charge of fraudulent detection.
  • the synchronization reference the elapsed time from the start of the video, the priority of each scene, and the like are considered.
  • the similar image search section is to search for similar images comprehensively for scenes with high priority. May be set narrowly.
  • the narrowing-down conditions may be scene attributes (speech scene, music scene, person scene, etc.).
  • Image classification processing unit 32 Display control processing unit 33 Image storage unit 34 Feature amount storage unit 35 Learning parameter storage unit 36 Classification result storage unit 37 Image attribute information storage unit 41 Image feature extraction unit 42 Classifier learning unit 43 Image classification unit 44 Similarity calculation unit 45 display control unit 46 user interface unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

　画像表示方法は、それぞれが複数の画像を含む複数グループの各々から比較基準に基づき複数の画像を選択し、選択された画像の枚数が相対的に少ないグループにおいて画像を複製して各グループでの選択画像の枚数を同数とし、類似度が近い選択画像同士を複数グループ間で一対一に対応付け並列に表示する表示画面データを生成する各段階を含み、各段階をコンピュータが実行することを特徴とする。

Description

画像表示方法、画像表示プログラム、及び画像表示装置
　本願開示は、一般に画像表示方法に関し、詳しくは画像比較のための画像表示方法に関する。
　圃場の管理及び運用においては圃場見回り作業が重要である。この圃場見回り作業の際に土壌状態や作物の生育状況等を正確に記録し、作業者間で情報を共有する手段として、土壌や作物を撮影した写真（以下、見回り画像）を利用することが有用である。見回り画像により、作物の生育具合の把握、病気の経過や進行度合いの把握、農薬や作業の効果の評価、異常の発見等ができる。また更に、異なる場所や時間で撮られた見回り画像を用いることにより、異なる圃場間での状態の比較、熟練者の圃場に基づく初心者の圃場の評価、過去の成功又は失敗事例に基づく現在の状態の評価などを行なうことができる。このようにして見回り画像を利用することにより、大規模な農業経営を少人数で効率的に管理することが可能となる。
　上記のような評価や比較のためには、異なる属性の見回り画像を、一致又は対応する比較基準に基づいて比較することが望ましい。ここで属性とは撮影場所や撮影者や撮影時間等である。異なる属性の見回り画像を比較することで、品種、品目、及び作型の何れかが異なる圃場間での比較、品種、品目、及び作型が同一である熟練者の圃場と初心者の圃場との比較、品種、品目、及び作型の同一である過去の事例と現在の状態との比較等が可能になる。また比較基準とは、例えば、作付け日からの累積日数、作付け日からの累積温度、作付け日からの累積雨量、作付け日からの累積日照時間等である。例えば、作付け直後の作物と収穫直前の作物とで見回り画像を比較しても一般にあまり意味はなく、作付け日からの累積日数が一致又は対応する見回り画像を比較することにより重要な知見が得られる。
　このようにして見回り画像を比較するために、適切な形式で見回り画像を表示する表示システムが望まれる。しかしながら、例えば２つの圃場それぞれにおいて撮られた複数の見回り画像を並列に配置して見比べる場合、ある比較基準に従って（例えば時系列順に）画像を並べて表示しても、比較して意味のある画像同士が隣り合うとは限らない。即ち、ある比較基準に従って単純に画像を配置しても、必ずしもユーザにとっては効率的に比較可能な配置とはなっていない。この場合、比較して意味のある画像同士を多数の表示画像の中から目視により選択して比較する、という作業をユーザが自ら行なうことになり、効率的でない。また更には、一方の圃場で撮影した枚数と他方の圃場で撮影した枚数とが異なる場合、比較基準に従って並べて表示した比較対象の画像枚数が、圃場間で異なる可能性がある。このような場合、比較して意味のある画像同士が隣り合うようにユーザ自らが見回り画像を並べ替えても、画像同士が一対一に対応せず、画像枚数が多い方の圃場の見回り画像が無駄になってしまう。
　なお特許文献１では、画像の属性情報により画像をグループ（系列）に分け、複数のグループの画像を時間同期させて並列に表示し、同期したスクロール操作性を提供する。この技術では、同期する単位における画像が１枚ではなく複数枚ある場合に、グループ間で何れの画像と何れの画像を比較すればよいのか、については考慮されていない。
　特許文献２では、キー文書の各ページのサムネイル画像をページ順に一列に配置し、比較対象文書の各ページのサムネイル画像をこれと並列に配置する。さらに、キー文書のキーページを比較対象文書の各ページと比較し、最も類似するページがキーページに近接するように比較対象文書の列を列方向にシフトして配置する。また類似度が所定の閾値よりも高いページ同士を線で結ぶこと等により、文書間の類似度合いを確認しやすくする。この技術では、キーページ（着目ページ）に対して、類似するページを隣り合わせに配置するのみであり、他のページのサムネイル画像については、類似するページを隣り合わせに配置することにならない。
　特許文献３では、映像を構成する複数の画像から抽出された注目画像を中心に、所定数抽出した時間的指標が最も近い映像を第１の軸に沿って時間的指標の順に配置し、所定数抽出した類似的指標が最も近い映像を第２の軸に沿って類似的指標の順に配置する。これにより、着目画像に対して時間的に連続する画像が時間的指標の順序に例えば横軸に配置され、注目画像と内容的に類似する画像が類似度指標の順序に縦軸に配置される。この技術では、着目画像に対して、類似する画像を隣り合わせに配置するのみであり、複数の画像に対して、類似するページを隣り合わせに配置することにならない。
特開２００９－２８２６０７号公報 特開２００７－１１５１９３号公報 特開４３５９６８５号公報
　以上を鑑みると、複数の画像を並列に配置して表示する際に比較して意味のある画像同士を対応して表示することが可能な画像表示方法が望まれる。
　画像表示方法は、それぞれが複数の画像を含む複数グループの各々から比較基準に基づき複数の画像を選択し、前記選択された画像の枚数が相対的に少ないグループにおいて画像を複製して各グループでの選択画像の枚数を同数とし、類似度が近い前記選択画像同士を前記複数グループ間で一対一に対応付け並列に表示する表示画面データを生成する各段階を含み、前記各段階をコンピュータが実行することを特徴とする。
　画像表示プログラムは、それぞれが複数の画像を含む複数グループの各々から比較基準に基づき複数の画像を選択し、前記選択された画像の枚数が相対的に少ないグループにおいて画像を複製して各グループでの選択画像の枚数を同数とし、類似度が近い前記選択画像同士を前記複数グループ間で一対一に対応付け並列に表示する表示画面データを生成する各段階を含み、前記各段階をコンピュータに実行させることを特徴とする。
　画像表示装置は、処理ユニットと、プログラム及び画像データを格納するメモリとを含み、前記メモリに格納された前記プログラムを前記処理ユニットが実行することにより、それぞれが複数の画像を含む複数グループの各々から比較基準に基づき複数の画像を選択し、前記選択された画像の枚数が相対的に少ないグループにおいて画像を複製して各グループでの選択画像の枚数を同数とし、類似度が近い前記選択画像同士を前記複数グループ間で一対一に対応付け並列に表示する表示画面データを生成する各段階を実行することを特徴とする。
　本願開示の少なくとも１つの実施例によれば、複数の画像を並列に配置して表示する際に比較して意味のある画像同士を対応して表示することが可能となる。
画像表示方法により表示される表示画面の一例を示す図である。 類似度に基づいて複製する画像を選択する手順を説明するための図である。 図２の類似度に基づいて複製する画像を選択して複製した場合の画像表示の様子を示す図である。 画像表示方法を実行することにより表示画面データを生成する画像表示装置の機能構成の一例を示す図である。 識別器学習部による特徴パラメータの学習について説明するための図である。 画像分類部による画像分類について説明するための図である。 画像の構図に関する特徴量を説明する図である。 ２次元マトリクスによる画像識別の精度を上げるための計算例を示す図である。 色ヒストグラムを求めるための前処理について説明するための図である。 色ヒストグラムについて説明するための図である。 表示制御処理部による類似度計算及び表示画面制御の処理の流れの一例を示すフローチャートである。 表示制御処理部による類似度計算及び表示画面制御の処理の流れの一例を示すフローチャートである。 類似度計算の処理の流れの一例を示すフローチャートである。 比較元画像群と比較先画像群との間で求められた類似度の一例を示す図である。 比較先画像群に属するそれぞれの画像の最も類似度が高い比較元画像を比較ペアとして設定する処理を示す図である。 画像ペアに含まれずに余った比較元画像に対して比較先画像を割り当てる処理を説明するための図である。 Ａｉ＋１及びＡｉ＋２の比較元画像に対してそれぞれ割り当てたＢｊ＋２及びＢｊ＋１の比較先画像を太線枠で囲って示した図である。 図１２乃至図１５に示した例に対応した画面表示の例を示す図である。 図１６に示す画面表示形態に対する比較例として、上段及び下段の画像を共に撮影日時の順に配置した場合の画面表示を示す図である。 ２つのグループの全ての画像の間で類似度を計算する例を示す図である。 予め計算された類似度のうち、同期基準区間又は類似画像探索区間から選択された画像に対する類似度を抽出する様子を示す図である。 画像表示方法を実行する装置の構成を示す図である。
　以下に、本発明の実施例を添付の図面を用いて詳細に説明する。
　図１は、画像表示方法により表示される表示画面の一例を示す図である。図１に示す表示画面１０は、複数の画像を含む第１のグループから比較基準に基づき複数の画像を選択し、選択された画像のうち少なくとも１つの画像を複製することにより枚数を増やした選択画像１２を表示する。表示画面１０は更に、複数の画像を含む第２のグループから比較基準に基づき選択した選択画像１１を表示する。第１のグループは、選択され表示されている画像以外に複数の画像１２Ａ及び１２Ｂを含む。同様に第２のグループは、選択され表示されている画像以外に複数の画像１１Ａ及び１１Ｂを含む。表示画面１０では、これらの複数の画像１２Ａ及び１２Ｂ及び画像１１Ａ及び１１Ｂについて、その存在を示すように、斜め方向から見た複数枚の画像フレームを近接して並べた画像を図１の例のように表示してよい。
　第１のグループの選択画像１２は、この例では６枚の画像１２－１乃至１２－６を含む。第２のグループの選択画像１１は、同様に６枚の画像１１－１乃至１１－６を含む。左からｎ番目の画像１１－ｎと左からｎ番目の画像１２－ｎとは、画像の類似度が高い画像同士であり、互いに比較する対象として適切な画像のペアとなっている。このように表示画面１０では、類似度が高い選択画像同士を複数グループ間で一対一に対応付け並列に表示している。一対一に対応付けて並列に表示するとは、この限定を意図しない例では、画像１１－ｎと画像１２－ｎとを一対として同一の水平位置に配置し、画面中の上の列と下の列に並列に表示することを意味する。代替的に、例えば一対の画像を同一の垂直位置に配置し、画面中の左の列と右の列に並列に表示してもよい。図１に示す例では、画像１１－ｎと画像１２－ｎとが一対として同一の水平位置に配置しており、その結果、互いに上下に隣り合うように表示されている。
　画像が圃場での見回り作業により撮られた見回り画像である場合、水平位置は、比較基準である作付け日からの累積日数、作付け日からの累積温度、作付け日からの累積雨量、作付け日からの累積日照時間等に対応する。ここで農業における見回り作業とは、農作業者が農作物の生育状況や土壌の様子を定期的に確認をしたり、病害虫や雑草の発生といったリスクを早期に発見するために、管理している圃場を見回る作業である。また、見回り作業時に確認もしくは発見した事象を記録するために撮影した写真を見回り画像と呼ぶ。比較基準が例えば累積日数である場合、第２のグループの選択画像１１において、一番左側の画像１１－１が最も累積日数が少ない（即ち最も時間的に早い）日時に撮影された画像であってよい。また一番右側の画像１１－６が最も累積日数が多い（即ち最も時間的に遅い）日時に撮影された画像であってよい。第１のグループの選択画像１２は、選択画像１１の各々の画像と類似度が近い画像が対応して表示されるように配置される。この結果、選択画像１２の表示順（水平位置）は、比較基準とは無関係のランダムな表示順となってよい。即ち、例えば比較基準が累積日数である場合、表示画面１０に表示された選択画像１２において、各画像の撮影時間は時間順に並んでいなくてよい。
　第１のグループから比較基準に基づき選択した元々の複数の画像は、図１の例では、画像１２－１、１２－４、１２－５、及び１２－６の４枚である。このうち画像１２－１を複製して画像１２－２として表示（即ち２枚の同一の画像を表示）し、画像１２－５を複製して画像１２－３として表示（即ち２枚の同一の画像を表示）している。その結果、選択画像１２は、６枚の画像１２－１乃至１２－６となる。それに対して第２のグループから比較基準に基づき選択した複数の画像は、最初から６枚の画像１１－１乃至１１－６である。このように、選択された画像の枚数が相対的に少ないグループ（第１のグループ）において画像を複製して、各グループでの選択画像の枚数を同数（この例では６枚）にしている。このように画像を複製することにより、同数の画像を一対一に対応付けて並列に表示することが可能となる。なお各グループの選択された画像の枚数が最初から同一である場合には、画像の複製を行なうことなく、そのまま並列に表示すればよい。
　図１に示す表示画面１０の表示画面データを生成する方法は以下のようになる。まず、それぞれが複数の画像を含む複数グループの各々から比較基準に基づき複数の画像を選択する。例えば比較基準が累積日数である場合、まず比較基準の基準点を例えば累積日数９０日等と指定する。次にこの基準点に基づいて、例えば累積日数９０日の前後７日の範囲（即ち累積日数８３日から累積日数９７日まで）を、比較基準の範囲として決定してよい。或いは例えば、累積日数９０日の後１５日の範囲（即ち累積日数９０日から累積日数１０４日まで）を、比較基準の範囲として決定してよい。そして、複数グループ（この例では第１のグループ及び第２のグループ）の各々から比較基準の範囲にはいる複数の画像を選択する。即ち例えば累積日数８３日から累積日数９７日までが比較基準の範囲である場合、作付けから８３日目から９７日目の間に撮影された画像が各グループから選択される。なお図１において、選択画像１１中の画像１３は、基準点に対応する画像（例えば基準点である累積日数９０日における撮影画像）である。
　次に選択された画像の枚数が相対的に少ないグループ（図１の例では第１のグループ）において、画像を複製することにより、各グループでの選択画像の枚数を同数とする。即ち、図１の例では、画像１２－１及び１２－５を複製してそれぞれ画像１２－２及び１２－３とすることにより、第１のグループと第２のグループとで選択画像の枚数を同数の６枚とする。
　最後に、類似度が高い選択画像同士を複数グループ間で一対一に対応付け並列に表示する表示画面データを生成する。即ち、図１の例の場合、画像１１－ｎと画像１２－ｎとを一対として同一の水平位置に配置し、画面中の上の列と下の列とに並列に表示する表示画面データを生成する。
　図１に示す表示画面１０は、同期スライド操作ボタン１４、個別スライド操作ボタン１５及び１６、同期基準区間設定メニュー１７、同期条件設定メニュー１８、絞込条件設定メニュー１９を含む。同期スライド操作ボタン１４は、選択画像１１と選択画像１２とを同期させて、比較基準軸上でスライドする。例えば比較基準が累積日数である場合に同期スライド操作ボタン１４の左向きのボタンをクリックすると、最初に選択画像１１及び１２として表示されていた画像よりも、撮像日時の古い画像が選択画像１１及び１２として表示される。図１の例では、同期スライド操作ボタン１４の左向きのボタンをクリックする前には、累積日数８３日から累積日数９７日迄の画像が表示されている。それに対して、１回クリック後には、基準となる画像１３が画像１１－４に対して左に１つ移動して画像１１－３の累積日数を基準とした±７日の画像を表示しても良い。例えば、画像１１－３の累積日数が８８日だった場合には、画像１１には累積日数が８１日から９５日までの画像が表示されることになる。もし、画像１１－３と画像１１－４の累積日数が同じ場合には、基準画像１３の累積日数よりも小さくなる最初の画像（該当する画像の中で撮像日時が最も新しい画像）までジャンプする（遡る）。さらに、もし、このジャンプ後の累積日数の±７日に該当する画像がジャンプ前と変化しない場合には、変化があるまで先述したジャンプを繰り返す。また同期スライド操作ボタン１４の左向きのボタンをクリックした状態のままにすると、選択画像１１及び１２として表示される画像の撮像日時が次々と古くなっていってよい。また例えば比較基準が累積日数である場合に同期スライド操作ボタン１４の右向きのボタンをクリックすると、最初に選択画像１１及び１２として表示されていた画像よりも、撮像日時の新しい画像が選択画像１１及び１２として表示されてよい。
　同期スライド操作ボタン１４は、選択画像１１と選択画像１２とを同期させて、即ち上下の対応関係を保ったまま、表示画像をスライドさせる。この場合、各グループからの画像の選択及び複製動作は、表示対象の比較基準の範囲が変わる度に逐次実行されてよい。或いは表示範囲よりも広い比較基準の範囲において、各グループからの画像の選択、画像の複製、及び類似度に基づく対応付けを予め実行しておき、既に画像同士が対応付けられている広い比較基準の範囲内の画像から、表示範囲の画像を選択して表示してもよい。例えば３０日の累積日数の範囲内で各グループからの画像の選択、画像の複製、及び類似度に基づく対応付けを予め実行しておき、表示範囲として１５日の累積日数の範囲内の画像を選択して表示してよい。この場合、表示画像スライド時には、既に画像同士が対応付けられている広い比較基準の範囲内の画像から表示範囲の画像を選択して表示する際に、表示対象として選択する範囲を適宜移動させてよい。
　個別スライド操作ボタン１６は、選択画像１１のみを比較基準軸上でスライドする。例えば比較基準が累積日数である場合に個別スライド操作ボタン１６の左向きのボタンをクリックすると、最初に選択画像１１として表示されていた画像よりも、撮像日時の古い画像が選択画像１１として表示される。例えば個別スライド操作ボタン１６の左向きのボタンをクリックする前には、累積日数８３日から累積日数９７日迄の画像が表示されていたのが、１回クリック後には、画像表示が変更されてよい。この際、基準となる画像１３が画像１１－４に対して左に１つ移動して画像１１－３の累積日数を基準とした±７日の画像を表示してよい。例えば、画像１１－３の累積日数が８８日だった場合には、画像１１には累積日数が８１日から９５日までの画像が表示されることになる。もし、画像１１－３と画像１１－４の累積日数が同じ場合には、基準画像１３の累積日数よりも小さくなる最初の画像（該当する画像の中で撮像日時が最も新しい画像）までジャンプする（遡る）。さらに、もし、このジャンプ後の累積日数の±７日に該当する画像がジャンプ前と変化しない場合には、変化があるまで先述したジャンプを繰り返す。個別スライド操作ボタン１６の右向きのボタンをクリックする場合には、最初に選択画像１１として表示されていた画像よりも、撮像日時の新しい画像が選択画像１１として表示されてよい。個別スライド操作ボタン１６をクリックする場合、選択画像１２はスライドしない。
　個別スライド操作ボタン１５は、選択画像１２のみを比較基準軸上でスライドする。選択画像１１はスライドされない。例えば比較基準が累積日数である場合に個別スライド操作ボタン１５の左向きのボタンをクリックすると、最初に選択画像１２として表示されていた画像よりも、撮像日時の古い画像が選択画像１２として表示される。
　これにより、比較基準の範囲が互いに異なる選択画像１１と選択画像１２とを、比較することが可能となる。例えば累積日数が７０日から８４日の選択画像１１と、累積日数が８３日から９７日の選択画像１２とを比較することが可能となる。このような比較は、例えば、一方の圃場の作物の生育が悪いときに、他方の圃場の作物に比較して何日程度遅れているのか、を判断するために用いることができる。
　同期基準区間設定メニュー１７は、同期基準区間（各グループから画像を選択する比較基準の範囲）を設定するために用いられる。同期基準区間設定メニュー１７をクリックすることにより、例えば、±１日、±２日、±３日、・・・、±７日、・・・等の選択肢がプルダウンメニューとして表示され、所望の選択肢を選択することができる。同期条件設定メニュー１８は、同期条件（比較基準）を設定するために用いられる。同期条件設定メニュー１８をクリックすることにより、例えば、作付け日からの累積日数、作付け日からの累積温度、作付け日からの累積雨量、作付け日からの累積日照時間等の等の選択肢がプルダウンメニューとして表示され、所望の選択肢を選択することができる。絞込条件設定メニュー１９は、絞込条件を設定するために用いられる。絞込条件設定メニュー１９をクリックすることにより、例えば、圃場全景、土壌、作物等の選択肢がプルダウンメニューとして表示され、所望の選択肢を選択することができる。これらのメニュー１７乃至１９により各設定を行なうことにより、選択された同期条件（比較基準）を用いて、選択された同期基準区間において、選択された絞込条件の画像が表示されることになる。
　表示画面１０は、画像群の属性情報のラベル２０及び２１を表示する。これらのラベルにより、圃場名、圃場グループ、圃場ブロック、作付品目、作付品種、作付作型、管理担当等の情報を確認することができる。また表示画面１０は更に、画像属性情報のツールチップ２２を表示する。このツールチップ２２により、注目している画像を例えばカーソルにより選択することにより、当該注目画像の種々の画像属性情報を表示することができる。ここで画像属性情報としては、作付けからの累積日数、累積温度、累積降雨量、累積日照時間、コメント等がある。
　図２は、類似度に基づいて複製する画像を選択する手順を説明するための図である。図２において、Ｂ－３乃至Ｂ－５は、比較基準に基づいて選択された画像の枚数が相対的に少ない第1のグループのｎ枚（この例では３枚）の画像である。またＡ－７乃至Ａ－１０は、比較基準に基づいて選択された画像の枚数が相対的に多い第２のグループのｍ枚（この例では４枚）の画像である。枚数が相対的に多い方の画像が比較元として示され、枚数が相対的に少ない方の画像が比較先として示されている。
　図２に示すマトリクス表には、第1のグループの３枚の画像と第２のグループの４枚の画像との間での画像ペアの類似度が示される。例えば、画像Ｂ－３と画像Ａ－７とに対応する欄に示す類似度０．９８は、画像Ｂ－３と画像Ａ－７との間の画像の類似度が０．９８であることを示す。また例えば、画像Ｂ－４と画像Ａ－９とに対応する欄に示す類似度０．５４は、画像Ｂ－４と画像Ａ－９との間の画像の類似度が０．５４であることを示す。２つの画像の間の類似度が高いほど、これら２つの画像は互いに類似していてよい（似通っていてよい）。ここで類似度が高いということは、２つの画像が、互いに比較する対象として適切な画像であることを示している。
　図１に示すように、第１のグループの選択画像１２の枚数を第２のグループの選択画像１１の枚数と同数とするために、図２に示される類似度に基づいて複製する画像を選択して複製する。具体的には、画像枚数が相対的に少ない第1のグループのｎ枚の画像と画像枚数が相対的に多い第２のグループのｍ（＞ｎ）枚の画像との間で画像ペアの類似度を比較し、類似度が高い画像ペアから優先的に、画像が重複しないｎ個の画像ペアを選択する。図２の例の場合では、類似度が一番高い画像ペアはＢ－３とＡ－７であるので、この画像ペアをまず第１の画像ペアとして選択する。次に類似度が高い画像ペアはＢ－５とＡ－８であり、この画像ペアは既に選択済みの第１の画像ペアと画像が重複しないので、Ｂ－５とＡ－８を第２の画像ペアとして選択する。次に類似度が高い画像ペアはＢ－４とＡ－１０であり、この画像ペアは既に選択済みの第１及び第２の画像ペアと画像が重複しないので、Ｂ－４とＡ－１０を第３の画像ペアとして選択する。このようにして、画像が重複しないｎ（＝３）個の画像ペアを選択する。
　ここで仮に、説明の便宜上、画像ペアＢ－３とＡ－９の類似度が例えば０．８１であったとする。また画像ペアＢ－４とＡ－８の類似度が例えば０．７９であったとする。この場合、第２の画像ペアの次に類似度が高い画像ペアはＢ－３とＡ－９である。しかしこの画像ペアＢ－３とＡ－９は、第１の画像ペアと画像Ｂ－３が重複するので、第３の画像ペアとして選択されない。この次に類似度が高い画像ペアはＢ－４とＡ－８である。しかしこの画像ペアＢ－４とＡ－８は、第２の画像ペアと画像Ａ－８が重複するので、第３の画像ペアとして選択されない。その次に類似度が高い画像ペアはＢ－４とＡ－１０であり、この画像ペアは既に選択済みの第１及び第２の画像ペアと画像が重複しないので、Ｂ－４とＡ－１０を第３の画像ペアとして選択する。このようにして、画像が重複しないｎ（＝３）個の画像ペアを選択する。
　このようにして、画像枚数が相対的に少ない第1のグループの画像の枚数（この例では３枚）に等しい個数の画像ペア（上記の第１乃至第３の画像ペア）が選択される。次に、第２のグループのｍ（＝４）枚の画像のうち選択されたｎ（＝３）個の画像ペアに含まれないｍ－ｎ（＝１）個の残り画像に対して、ｍ－ｎ個の残り画像との類似度が最も高い第１のグループの画像を複製する。図２の例で言えば、第１乃至第３の画像ペアに含まれない１個の残り画像Ａ－９に対して、この１個の残り画像Ａ－９との類似度が最も高い第１のグループの画像Ｂ－３を選択して複製する。
　上記のようにして選択されたｎ個の画像ペア、及び、ｍ－ｎ個の残り画像と複製された画像との画像ペア、の合計ｍ個の画像ペアが、画像同士が隣り合うように並列に表示される。図２の例で言えば、３個の画像ペアＢ－３＆Ａ－７、Ｂ－５＆Ａ－８、及びＢ－４＆Ａ－１０、及び、１個の残り画像Ａ－９と複製された画像Ｂ－３との画像ペアＢ－３＆Ａ－９、の合計４個の画像ペアが、画像同士が隣り合うように並列に表示される。
　図３は、図２の類似度に基づいて複製する画像を選択して複製した場合の画像表示の様子を示す図である。図３に示すように、比較元の４枚の画像Ａ－７乃至Ａ－１０が例えば撮影日時順（例えば比較基準が累積日数の場合の順序）に表示され、それと並列に画像Ｂ－３、Ｂ－５、Ｂ－３、及びＢ－４が４枚の画像Ａ－７乃至Ａ－１０と一対一に対応して表示される。Ａ－７とＢ－３との類似度は０．９８、Ａ－８とＢ－５との類似度は０．８７、Ａ－９とＢ－３との類似度は０．７６、Ａ－１０とＢ－４との類似度は０．７７である。１同期単位区間（画像選択する比較基準の範囲）における第１のグループの画像の枚数が３枚であり、第２のグループの画像の枚数が４枚であるので、第１のグループにおいて画像Ｂ－３が複製され、合計４枚の第１のグループの画像が表示されている。
　なお上記の例では、２つのグループの画像を並列に表示する場合について説明したが、グループの数は３つ以上であってもよい。この場合、比較基準に基づいて選択された画像の枚数が一番多いグループを基準として用い、類似度が近い選択画像を基準グループと他の各々のグループとの間で一対一に対応付けて並列に表示してよい。即ち、基準グループの画像を比較基準に従った順序で表示し、他のグループの画像については基準グループの画像と一対一に対応付けられるように並列に表示してよい。
　また画像間の類似度が、例えば０から１の間で正規化されている場合、ある閾値（例えば０．８）以上の画像だけを表示対象とし、それ以外の画像は表示しないようにしてもよい。この場合、画像が表示されない位置には、ダミー画像等を表示したり、空欄としてもよい。
　図４は、画像表示方法を実行することにより表示画面データを生成する画像表示装置の機能構成の一例を示す図である。図４に示す画像表示装置は、画像分類処理部３１、表示制御処理部３２、画像記憶部３３、特徴量記憶部３４、学習パラメータ記憶部３５、分類結果記憶部３６、及び画像属性情報記憶部３７を含む。なお図４において、各ボックスで示される各機能ブロックと他の機能ブロックとの境界は、基本的には機能的な境界を示すものであり、物理的な位置の分離、電気的な信号の分離、制御論理的な分離等に対応するとは限らない。ハードウェアの場合、各機能ブロックは、他のブロックと物理的にある程度分離された１つのハードウェアモジュールであってもよいし、或いは他のブロックと物理的に一体となったハードウェアモジュール中の１つの機能を示したものであってもよい。ソフトウェアの場合、各機能ブロックは、他のブロックと論理的にある程度分離された１つのソフトウェアモジュールであってもよいし、或いは他のブロックと論理的に一体となったソフトモジュール中の１つの機能を示したものであってもよい。
　画像記憶部３３は、圃場の見回り作業時に撮影された見回り画像の画像データを記憶する。画像分類処理部３１は、画像特徴抽出部４１、識別器学習部４２、及び画像分類部４３を含む。画像分類処理部３１の画像特徴抽出部４１は、画像記憶部３３に格納された見回り画像の画像データに基づいて画像の特徴量を求める。求めた画像特徴量は特徴量記憶部３４に格納される。識別器学習部４２は、特徴量記憶部３４に格納された画像特徴量に基づいて、見回り画像を観点毎に分類するための学習パラメータを生成する。生成された学習パラメータは学習パラメータ記憶部３５に格納される。画像分類部４３は、学習パラメータ記憶部３５に格納された学習パラメータに基づいて、見回り画像の画像データを複数の異なる撮影観点に分類する。撮影観点としては、圃場全景、作物、土壌等がある。見回り画像データの分類結果は、分類結果記憶部３６に格納される。この分類結果は、例えば画像データのＩＤと、当該ＩＤの画像データの属する撮影観点（分類）とを対応付けて格納したデータであってよい。なお学習パラメータは、予め観点毎に分類された正解の画像データセットを学習データとして用いて求められるものであり、適切な画像分類が可能なように画像特徴量に対して設定された閾値データや特徴空間の境界データ等を含んでよい。
　表示制御処理部３２は、類似度計算部４４、表示制御部４５、及びユーザインターフェース部４６を含む。類似度計算部４４は、特徴量記憶部３４に格納された画像特徴量に基づいて、画像記憶部３３に格納された見回り画像の画像データ間の類似度を計算する。表示制御部４５は、類似度計算部４４により求められた類似度、分類結果記憶部３６に格納された分類結果、及び画像属性情報記憶部３７に格納された見回り画像の属性情報等に基づいて、見回り画像を表示する表示画面データを生成する。生成された表示画面データはユーザインターフェース部４６に供給される。画像表示装置は、コンピュータであってよく、生成された表示画面データをローカルな表示ディスプレイに表示してよい。また或いは画像表示装置は、サーバコンピュータであってよく、生成された表示画面データをインターネット等のネットワークを介してクライアントコンピュータに送信し、クライアントコンピュータの表示ディスプレイに表示させてよい。
　図５Ａ及び図５Ｂは、識別器学習部４２による学習パラメータの学習及び画像分類部４３による画像分類について説明するための図である。図５Ａ及び図５Ｂには、撮影観点毎に圃場全景の識別器５１、土壌の識別器５２、及び作物の識別器５３が示される。識別器５１乃至５３は画像分類部４３に含まれてよく、これら識別器５１乃至５３に対して、識別器学習部４２により正解データセットに基づく学習が行なわれる。
　図５Ａにおいて、圃場全景の識別器５１、土壌の識別器５２、及び作物の識別器５３のそれぞれに対応して、撮影観点毎の圃場全景の正解データセット５４、土壌の正解データセット５５、及び作物の正解データセット５６を正例とする。また、それ以外の識別器と正解データセットとの組み合わせを負例する。これらの正例と負例とのデータセットを用いて識別器５１乃至５３を学習することにより、学習パラメータを生成し、こうして得られる学習パラメータを画像分類部にて利用する。図５Ｂでは、学習パラメータを用いた圃場全景の識別器５１、土壌の識別器５２、及び作物の識別器５３により、未知の画像に対する分類結果を出力する。この時、各識別器５１乃至５３を図５Ｂに示すように直列に組み合わせてもよいし、並列に組み合わせてもよい。但し、直列に組み合わせた場合には、例えば識別能力（分類性能）が高い順に各識別器を組み合わせるなどする。一方、並列に組み合わせた場合には、各識別器ごとに出力する分類結果の確信度が高いほうの観点を採用するなどする。
　図５Ａにおいて、圃場全景の識別器５１の場合、圃場全景の画像のデータセットを正解データセット５４として供給する。圃場全景の識別器５１において、正解データセット５４が圃場全景として分類され、それ以外の画像が圃場全景以外として分類されるように、画像特徴量に対する閾値設定や特徴空間の区分け等がなされる。図５Ｂにおいて、学習が終了した後、撮影観点が未知の画像データを圃場全景の識別器５１に入力すると、入力画像データが圃場全景画像５７とそれ以外の画像とに分類される。この圃場全景の識別器５１においては、例えば、主に画像の構図に関する特徴量に着目して画像分類を実行してよい。
　図６は、画像の構図に関する特徴量を説明する図である。例えば、画像の構図に関する特徴量として、画像６１を縦横に分割して複数の部分画像領域に分け、マトリクス６２として示されるように各部分画像領域における明度の平均値を求める。画像６１を縦横４×４に分割したときには、明度平均値マトリクス６２は４×４の大きさとなる。画像６１として示すような圃場全景の画像の場合、一般的に、空がある画像上部は明度が高く、地面がある画像下部は明度が低い。従って、明度平均値マトリクス６２を求めると、画像上部に対応するマトリクス要素の値は高く、画像下部に対応するマトリクス要素の値は低くなる。圃場全景の画像を識別するためには、例えば、２次元マトリクス６２の上半分において所定の閾値以上であるマトリクス要素の割合が所定割合以上であり、下半分において所定の閾値以下であるマトリクス要素の割合が所定割合以上である、等の条件を設定すればよい。
　図７は、２次元マトリクス６２による画像識別の精度を上げるための計算例を示す図である。図６のように、画像６１を縦横に分割した各部分画像領域における明度の平均値を求めた場合、画像の傾きや空の部分が画像中に占める割合等が変動すると、圃場の水平線の位置が変動し、求められるマトリクスデータも大きく変動することになる。そこで図７に示すように、着目部分画像領域の明度平均値ｖｘに対して、周辺４近傍の明度平均値ｖ１～ｖ４に重みｗを掛け合わせた値を加算することが考えられる。なお着目部分画像領域が画像のエッジ部分に位置する場合、周辺４近傍ではなく周辺３近傍の明度平均値を用い、着目部分画像領域が画像のコーナー部分に位置する場合、周辺４近傍ではなく周辺２近傍の明度平均値を用いればよい。このような演算をすることにより、水平線位置の変動を吸収して、画像識別の精度を上げることが可能となる。
　図５Ａに戻り、土壌の識別器５２の場合、土壌の画像のデータセットを正解データセット５５として供給する。土壌の識別器５２において、正解データセット５５が土壌画像として分類され、それ以外の画像が土壌以外として分類されるように、画像特徴量に対する閾値設定や特徴空間の区分け等がなされる。図５Ｂにおいて、学習が終了した後、未知の画像データ（圃場全景以外と判定された画像データ）を土壌の識別器５２に入力すると、入力画像データが土壌画像５８とそれ以外の画像とに分類される。この土壌の識別器５２においては、例えば、主に画像の色に関する特徴量に着目して画像分類を実行してよい。具体的には、例えば画像から求めた色ヒストグラムに基づいて画像を分類してよい。
　図８は、色ヒストグラムを求めるための前処理について説明するための図である。図９は、色ヒストグラムについて説明するための図である。図８に示すように、まず画像６３に対してガウシアンフィルタ等のローパスフィルタをかけることにより平滑化処理を行ない、細かいノイズの影響を軽減した画像６４を生成する。次に、図9に示すように、平滑化処理後の画像６４の各画素の色データに基づいて、色ヒストグラム６５を生成する。その際の色ヒストグラムの生成にあたり、色相、彩度、及び明度の３つの成分に着目し、例えば、色相空間を１０分割し、彩度空間を３分割し、更に明度空間を５分割する。これにより、３つの成分により規定される空間が合計で１５０個の部分に分割されることになる。平滑化処理後の画像６４の各画素の色データが、これら１５０個の部分空間の何れに属するのかを判断し、各部分空間に属する画素数をカウントすることにより、色ヒストグラム６５が得られる。
　図５Ａにおいて、土壌の画像である正解データセット５５から求めた色ヒストグラム６５の分布は、１５０個の部分空間のうちの特定の１つ又は複数の隣接する部分空間に属する画素数の割合が大きな分布となる。即ち、特定の一部の部分空間に分布が偏った色ヒストグラム６５となる。これは土壌の色が画像中の大部分を占めるためである。従って、例えばこの特定の一部の部分空間を区分けする境界データを設定し、この境界データが示す部分区間内に分布が偏った色ヒストグラム６５を特定することで、土壌画像を特定することが可能となる。
　図５Ａおいて、作物の識別器５３の場合、作物の画像のデータセットを正解データセット５６として供給する。作物の識別器５３において、正解データセット５６が作物画像として分類され、それ以外の画像が作物以外として分類されるように、画像特徴量に対する閾値設定や特徴空間の区分け等がなされる。図５Ｂにおいて、学習が終了した後、未知の画像データ（圃場全景以外且つ土壌以外と判定された画像データ）を作物の識別器５３に入力すると、入力画像データが作物画像５９とそれ以外の画像とに分類される。この作物の識別器５３においては、例えば、主に画像の色に関する特徴量に着目して画像分類を実行してよい。具体的には、前述の土壌の識別器５２の場合と同様に、例えば画像から求めた色ヒストグラムに基づいて画像を分類してよい。
　図１０Ａ及び図１０Ｂは、表示制御処理部３２による類似度計算及び表示画面制御の処理の流れの一例を示すフローチャートである。まずステップＳ１において、比較対象の圃場の画像を検索条件を用いて絞込検査する。具体的には、栽培年度、作付けの日付、作物の種類等を検索条件として指定し、この検索条件を満たす圃場の画像を、例えば画像属性情報記憶部３７に格納される属性データに基づいて特定する。ステップＳ２で、基準画像とする日付を選択する。基準画像の日付を指定するデータをユーザがユーザインターフェース部４６を介して入力する。なおこの例では、画像表示装置の画像表示機能を最初に起動したときに、同期条件（比較基準）は、デフォルトとして累積日数に設定されるものとする。
　ステップＳ３で、起動初回において同期条件（比較基準）及び同期基準区間（表示する比較基準の範囲）をデフォルト値に設定する。例えば、作付け日からの累積日数を同期条件のデフォルトとして用いる場合、同期基準区間は±７日の区間がデフォルトとして設定される。これにより、ステップＳ２で指定された基準画像を中心として、当該基準画像の累積日数の±７日の区間に属した画像が表示対象として表示される。
　なおこの場合、同期基準区間として、±７日のように固定の長さの区間が設定されるのではなく、ステップＳ２で選択した基準画像の日付に応じて異なる長さの区間に設定されてよい。
　一般的に、作物には、作物の生育過程における所定の時期を区切りとして分割又は分類された期間である生育ステージがある。例えば、おおよその作物の生育ステージは、「播種期（種まき期）」、「育苗期」、「成長期」、及び「収穫期」等に分類される。但し、作物によっては「育苗期」が無かったり、「成長期」が細かく分類されたりする。この生育ステージを、同期基準区間を変化させる単位として利用することが考えられる。例えば基準画像の日付が生育ステージの萌芽期に該当するとき、作物の成長又は状態変化が早いので、比較的短い±７日の区間を設定してよい。また例えば基準画像の日付が収穫期に該当するとき、作物の成長又は状態変化が遅いので、比較的長い±１４日の区間を設定してよい。
　このように指定された基準画像の日付に応じて異なる区間を設定する動作は、画像表示装置（コンピュータ）が実行し、人手を介することなく自動的に区間を設定してよい。例えば、作付け日からの累積日数、累積温度、累積雨量、累積日照時間等の各比較基準が示す全体の範囲を、２つ又はそれ以上の部分に分け、それぞれの部分に対して適切な同期基準区間を設定したデータを予め作成し、登録しておいてよい。例えば上記の例の場合、作付け日からの累積日数が示す全体の範囲を、萌芽期と収穫期との２つの部分に分け、それぞれの部分に対して適切な同期基準区間±７日及び±１４日を設定したデータを予め作成し、登録しておいてよい。基準画像の日付、基準画像の温度、基準画像の雨量、基準画像の日照時間等が指定されると、この指定値に基づいて登録データを参照することにより、指定値に対応する適切な同期基準区間を選択することができる。
　ステップＳ４で、設定された同期条件及び同期基準区間に基づき、同期基準区間内の画像群を特定する。即ち、この例では、指定された基準画像の日付に該当する累積日数を中心として±７日の区間に入る累積日数を属性にもった全ての画像を、表示対象のグループの各々から選択する。ステップＳ５で、同期基準区間内で最も画像枚数が多い画像群（一番枚数が多いグループの画像群）を比較元画像群として設定する。ステップＳ６で、基準画像の日付を中心に同期条件に基づいた類似画像探索区間内の非比較元画像群を比較先画像群として設定する。即ち、ステップＳ５で設定された比較元画像群が属するグループ以外の他のグループの画像を、比較先画像群として設定する。この際、比較先画像群の画像は類似画像探索区間に属する画像であり、この類似画像探索区間は、同期基準区間と同一区間であってもよいし、或いは同期基準区間よりも広い区間であってもよい。
　ステップＳ７で、比較元画像群から比較先画像群に対する類似度を特徴量記憶部３４（図４参照）の特徴量を用いて算出する。なお特徴量記憶部３４に格納されている特徴量は、前述の画像分類の為に計算した画像特徴量であってよいし、或いは類似度計算用に別個に計算した画像特徴量であってもよい。
　図１１は、類似度計算の処理の流れの一例を示すフローチャートである。ステップＳ２１で、比較元画像群及び比較先画像群の画像特徴量を特徴量記憶部３４から取得する。ステップＳ２２で、画像毎に画像特徴量の距離（例：ユークリッド距離）を算出する。例えば図６に示す４×４のマトリクス６２の画像特徴量を用いる場合、比較元画像のマトリクス６２と比較先画像のマトリクス６２との間で１６個のマトリクス要素毎の差分を求め、１６個の差分の自乗和の平方根がユークリッド距離となる。次にステップＳ２３で、距離を元に類似度（例えばユークリッド距離の逆数）を算出する。更にステップＳ２４で、算出された類似度を例えば０～１の範囲で正規化する。
　図１２は、比較元画像群と比較先画像群との間で求められた類似度の一例を示す図である。表７１において、横方向の各欄（列）は画像ＩＤがＢ１乃至Ｂｍであるｍ枚の画像を含む第１のグループを示し、縦方向の各欄（行）は画像ＩＤがＡ１乃至Ａｎであるｎ枚の画像を含む第２のグループを示す。この例では、基準画像の日付として２０１０年４月１５日が指定され、その前後±７日の４月８日から４月２２日が同期基準区間Ｔとされている。これにより、基準となる日付に撮影された画像７２（画像ＩＤ＝Ａｉ＋２）、及びその前後に撮影されたＡｉ、Ａｉ＋１、Ａｉ＋３、Ａｉ＋４、Ａｉ＋５の画像ＩＤを有する各画像が、６枚の画像を含む比較元画像群として選択されている。また比較先画像を抽出する類似画像探索区間は、この例では同期基準区間と同一の区間Ｔに設定されており、Ｂｊ、Ｂｊ＋１、Ｂｊ＋２、Ｂｊ＋３の画像ＩＤを有する各画像が、４枚の画像を含む比較先画像群として選択されている。なお実際には、まず最初に第1のグループの同期基準区間Ｔ内の画像の枚数と第２のグループの同期基準区間Ｔ内の画像の枚数とを比較して、枚数が多い第1のグループの画像を、比較元画像群として設定している。
　更に図１２に示されるように、画像ＩＤがＡｉ乃至Ａｉ＋５の各画像と画像ＩＤがＢｊ乃至Ｂｊ＋３の各画像との間で、類似度が計算される。この類似度は、０～１の範囲で正規化したものとなっている。表７１において、画像ＩＤがＡｉ乃至Ａｉ＋５の各画像に対応する行と画像ＩＤがＢｊ乃至Ｂｊ＋３の各画像に対応する列との交差する欄に記載される類似度が、当該行に対応する画像と当該列に対応する画像との間の類似度である。例えば、画像ＩＤがＡｉの画像と画像ＩＤがＢｊ＋１の画像との間の類似度は０．１８である。
　図１０Ａに戻り、ステップＳ８で、比較先画像群に属するそれぞれの画像の最も類似度が高い比較元画像を比較ペアとして設定する。なお画像が重複した場合には表示時に複製してもよいし、前述のように重複しない画像ペアを類似度が高い画像ペアから優先的に選択してもよい。
　図１３は、比較先画像群に属するそれぞれの画像の最も類似度が高い比較元画像を比較ペアとして設定する処理を示す図である。図１３に示す類似度の数値例は、図１２に示す類似度の数値例と同一である。表の縦方向の各欄（各行）には、比較先画像群の各画像（画像ＩＤ＝Ｂｊ乃至Ｂｊ＋３）が示され、表の横方向の各欄（各列）には、各比較先画像に対する比較元画像との類似度が高い順に、各比較元画像の画像ＩＤが記載されている。例えば、画像ＩＤがＢｊ＋２の比較先画像に対しては、当該比較先画像と比較元画像との類似度が高い順に比較元画像の画像ＩＤを並べると、Ａｉ、Ａｉ＋４、Ａｉ＋１、Ａｉ＋５、Ａｉ＋２、Ａｉ＋３となる。各画像ＩＤの下には、括弧内に類似度の数値が示されている。図１３の例において、比較先画像Ｂｊ乃至Ｂｊ＋３に対して最も類似度が高い比較元画像を選択すると、Ａｉ＋５、Ａｉ＋３、Ａｉ、Ａｉ＋４となる。
　図１０Ｂに戻り、ステップＳ９で、比較元画像群に属する画像にて、比較ペアとして未選択の画像に関して、最も類似度が高い比較先画像を比較ペアとして選択する。この際、画像が重複した場合には表示時に画像を複製する。図１３に示されるように、画像枚数が少ない方の比較先画像の各々に対して比較元画像を割り当てて画像ペアを決定すると、画像枚数が多い方の比較元画像の幾つかは、画像ペアに含まれずに余ることになる。上記のステップＳ９では、このように画像ペアに含まれずに余った比較元画像に対して比較先画像を割り当てる処理が実行される。
　図１４は、画像ペアに含まれずに余った比較元画像に対して比較先画像を割り当てる処理を説明するための図である。図１４において、表の縦方向の各欄（各行）には、比較元画像群の各画像（画像ＩＤ＝Ａｉ乃至Ａｉ＋５）が示され、表の横方向の各欄（各列）には、各比較元画像に対する比較先画像との類似度が高い順に、各比較先画像の画像ＩＤが記載されている。表中、太線枠で囲まれたＢｊ＋２、Ｂｊ＋１、Ｂｊ＋３、Ｂｊは、前述のステップＳ８において図１３に示すように選択された画像ペア中の比較先画像である。
　この表に示すように、Ａｉ、Ａｉ＋３、Ａｉ＋４、Ａｉ＋５の各比較元画像にはペアとなる比較先画像が割り当てられているが、Ａｉ＋１及びＡｉ＋２の比較元画像には比較先画像が割り当てられていない。そこで、図１４に示される表において、Ａｉ＋１及びＡｉ＋２の比較元画像に対して、最も類似度の高い比較先画像、即ち、Ｂｊ＋２及びＢｊ＋１の比較先画像をそれぞれペアとして割り当てる。
　図１５は、Ａｉ＋１及びＡｉ＋２の比較元画像に対してそれぞれ割り当てたＢｊ＋２及びＢｊ＋１の比較先画像を太線枠で囲って示した図である。このようにして、６枚全ての比較元画像に対して比較先画像が割り当てられる。なおこの例の場合、Ｂｊ＋２及びＢｊ＋１については、画像が重複するので、画面表示の際に複写されることになる。
　図１０Ｂに戻り、ステップＳ１０で、比較元画像群を同期条件順でソートし、比較先画像群は比較元画像群のソート順を基準としてり比較ペアとなる画像でソートしてズーム表示する。この際、重複する比較先画像については適宜複製して表示する。
　図１６は、図１２乃至図１５に示した例に対応した画面表示の例を示す図である。図１６の下段には、６枚の比較元画像Ａｉ、Ａｉ＋１、Ａｉ＋２、Ａｉ＋３、Ａｉ＋４、Ａｉ＋５が、同期条件（作付け日からの累積日数）順に対応する撮影日時の順番に並べて表示されている。ここで画像８１（画像ＩＤ＝Ａｉ＋２）は、２０１０年４月１５日に撮影された画像であり、基準となる日付において撮影された画像である。図１６の上段には、６枚の比較先画像が、Ｂｊ＋２、Ｂｊ＋２、Ｂｊ＋１、Ｂｊ＋１、Ｂｊ＋３、Ｂｊの順番に画面に表示されている。矢印で対応付けられ画面上段と画面下段とで隣り合う画像同士は、前述の手順により類似度が高い画像同士をペアにしたものであり、比較対象として適切な画像同士となっている。これらの６組のペアの画像間の類似度は、それぞれ１．００、０．７２、０．９３、０．９６、０．３７、０．９５となっている。
　なお画面上段の比較先画像の並び順は、類似度に基づく比較元画像との対応関係に従った並び順となる。また画面上段の比較先画像においては、元から画像データとして存在する４枚の画像Ｂｊ、Ｂｊ＋１、Ｂｊ＋２、Ｂｊ＋３のうち、Ｂｊ＋１及びＢｊ＋２の２枚を複製して、合計６枚の画像として表示している。これにより、６枚の比較元画像に対して一対一に対応する形で、比較先画像を比較元画像と隣り合う位置に並列に並べて表示することが可能となる。
　図１７は、図１６に示す画面表示形態に対する比較例として、上段及び下段の画像を共に撮影日時の順に配置した場合の画面表示を示す図である。図１７の下段には、６枚の比較元画像Ａｉ、Ａｉ＋１、Ａｉ＋２、Ａｉ＋３、Ａｉ＋４、Ａｉ＋５が、比較基準（作付け日からの累積日数）に対応する撮影日時の順番に並べて表示されている。ここで画像８２（画像ＩＤ＝Ａｉ＋２）は、２０１０年４月１５日に撮影された画像であり、基準となる日付において撮影された画像である。図１７の上段には、４枚の比較先画像がＢｊ、Ｂｊ＋１、Ｂｊ＋２、Ｂｊ＋３の順番、即ち撮影日時の順番に画面に表示されている。画面上段と画面下段との間で点線の矢印により対応付けられた画像同士は、類似度が高い画像同士であり、比較対象として適切な画像同士である。点線の矢印が錯綜していることから分かるように、この画面表示を見たユーザは、適切な比較対象の画像同士を目視により特定して比較を行なうことになり、比較動作が容易ではない。また上段と下段とで表示枚数を合わせるとしても、図１７に示すようにダミー画像を表示するか、或いは並び順の最後の画像Ｂｊ＋３を複製して表示するくらいの処理しかできない。従って、比較対象として適切な画像を複製して表示することにならない。
　図１０Ｂに戻り、ステップＳ１１で同期スライド操作を行なうか否かを判定する。即ち例えば図１に示す同期スライド操作ボタン１４がクリックされたか否かを判定する。同期スライド操作を実行する場合には、ステップＳ１２において、同期スライド操作ボタン１４の左右のキー操作に応じて、基準画像を対応する方向に１つ移動させる。例えば図１６に示す例であれば、基準画像８１を画像Ａｉ＋２からＡｉ＋１又はＡｉ＋３に変更する。その後、処理は図１０ＡのステップＳ４に戻り、以降の処理を繰り返す。例えば、左に１回クリック後には、基準となる画像がＡｉ＋２からＡｉ＋１へと１つ移動して、Ａｉ＋１の累積日数を基準とした前後の画像を表示してよい。もし、画像Ａｉ＋２と画像Ａｉ＋１の累積日数が同じ場合には、基準画像Ａｉ＋２の累積日数よりも小さくなる最初の画像（該当する画像の中で撮像日時が最も新しい画像）までジャンプする（遡る）。さらに、もし、このジャンプ後の累積日数の前後の表示対象の画像がジャンプ前と変化しない場合には、変化があるまで先述したジャンプを繰り返す。
　また図１０ＢのステップＳ１３で、絞込条件を変更するか否かを判定する。即ち例えば図１に示す絞込条件設定メニュー１９から新たな絞込条件が選択されたか否かを判定する。新たな絞込条件が選択された場合には、ステップＳ１４において、指定した絞込条件に合致する画像群のみを表示対象とするように設定を変更する。その後、処理は図１０ＡのステップＳ４に戻り、以降の処理を繰り返す。
　更に図１０ＢのステップＳ１５で、同期条件を変更するか否かを判定する。即ち例えば図１に示す同期条件設定メニュー１８から新たな同期条件が選択されたか否かを判定する。新たな同期条件が選択された場合には、ステップＳ１６において、同期条件をユーザ選択に基づき設定し、同期基準区間をデフォルト値に設定する。例えば、比較基準として作付け日からの累積温度をデフォルトとして用いる場合、同期基準区間は±５０℃の区間がデフォルトとして設定される。これにより、ステップＳ２で指定された基準画像の日付の累積温度を中心として、±５０℃の区間において撮影された画像が表示対象として表示される。
　なおこの場合、同期基準区間として、±５０℃のように固定の長さの区間が設定されるのではなく、ステップＳ２で選択した基準日時に応じて異なる長さの区間に設定されてよい。上述したように、同期基準区間を変化させる単位として、生育ステージを利用することが考えられる。例えば基準画像の日付が生育ステージの定植期に該当するとき、比較的短い±５０℃の区間を設定してよい。また例えば基準画像の日付が収穫期に該当するとき、比較的長い±１００℃の区間を設定してよい。このように指定された基準画像の日付（又は累積温度）に応じて異なる区間を設定する動作は、画像表示装置（コンピュータ）が実行し、人手を介することなく自動的に区間を設定してよい。ステップＳ１６の後、処理は図１０ＡのステップＳ４に戻り、以降の処理を繰り返す。
　更に図１０ＢのステップＳ１７で、同期基準区間を変更するか否かを判定する。即ち例えば図１に示す同期基準区間設定メニュー１７から新たな同期基準区間が選択されたか否かを判定する。新たな同期基準区間が選択された場合には、ステップＳ１８において、同期基準区間をユーザ指定に基づき設定する。その後、処理は図１０ＡのステップＳ４に戻り、以降の処理を繰り返す。
　図１０Ａ及び１０Ｂに示すフローチャートでは、同期基準区間又は類似画像探索区間から選択された画像に対して類似度を計算している。それに対して、予め各グループの全ての画像の間で類似度を計算しておいてもよい。
　図１８は、２つのグループの全ての画像の間で類似度を計算する例を示す図である。図１８に示す表において、横方向の各欄（列）は画像ＩＤがＢ１乃至Ｂｍであるｍ枚の画像を含む第１のグループを示し、縦方向の各欄（行）は画像ＩＤがＡ１乃至Ａｎであるｎ枚の画像を含む第２のグループを示す。この例では、第1のグルーブのｍ枚の画像と第２のグループのｎ枚の画像との間で生成され得る全てのペアに対して、類似度を計算している。
　図１９は、予め計算された類似度のうち、同期基準区間又は類似画像探索区間から選択された画像に対する類似度を抽出する様子を示す図である。図１９に示す例では、基準画像の日付として２０１０年４月１５日が指定され、その前後±７日の４月８日から４月２２日が同期基準区間とされている。これにより、基準となる日付に撮影された画像を含みその前後に撮影された第２のグループの画像、即ちＡｉ、Ａｉ＋１、Ａｉ＋２、Ａｉ＋３、Ａｉ＋４、Ａｉ＋５の画像ＩＤを有する第２のグループの画像が選択されている。また同様に、同期基準区間に含まれるＢｊ、Ｂｊ＋１、Ｂｊ＋２、Ｂｊ＋３の画像ＩＤを有する第１のグループの画像が選択されている。これら画像ＩＤがＡｉ乃至Ａｉ＋５の各画像と画像ＩＤがＢｊ乃至Ｂｊ＋３の各画像との間で既に計算されている類似度８３を、０～１の範囲で正規化すれば、図１２に示すのと同様の類似度のデータが得られる。例えば図１０Ａ及び１０Ｂに示すフローチャートにおいて、ステップＳ１の開始前に、予め図１８に示すように全ての画像ペアに対して類似度を計算しておいてよい。そして、ステップＳ７では類似度を計算する代りに、既に計算されている類似度データから該当部分の類似度データを抽出し、抽出された類似度データを必要に応じて正規化すればよい。
　図２０は、画像表示方法を実行する装置の構成を示す図である。
　図２０に示されるように、画像表示方法を実行する装置は、例えばパーソナルコンピュータ、エンジニアリングワークステーション、サーバコンピュータ等のコンピュータにより実現される。図２０の装置は、コンピュータ５１０と、コンピュータ５１０に接続されるディスプレイ装置５２０、通信装置５２３、及び入力装置よりなる。入力装置は、例えばキーボード５２１及びマウス５２２を含む。コンピュータ５１０は、ＣＰＵ５１１、ＲＡＭ５１２、ＲＯＭ５１３、ハードディスク等の二次記憶装置５１４、可換媒体記憶装置５１５、及びインターフェース５１６を含む。
　キーボード５２１及びマウス５２２は、ユーザとのインターフェースを提供するものであり、コンピュータ５１０を操作するための各種コマンドや要求されたデータに対するユーザ応答等が入力される。ディスプレイ装置５２０は、コンピュータ５１０で処理された結果等を表示すると共に、コンピュータ５１０を操作する際にユーザとの対話を可能にするために様々なデータ表示を行う。通信装置５２３は、遠隔地との通信を行なうためのものであり、例えばモデムやネットワークインターフェース等よりなる。
　本発明による画像表示方法は、コンピュータ５１０が実行可能なコンピュータプログラムとして提供される。このコンピュータプログラムは、可換媒体記憶装置５１５に装着可能な記憶媒体Ｍに記憶されており、記憶媒体Ｍから可換媒体記憶装置５１５を介して、ＲＡＭ５１２或いは二次記憶装置５１４にロードされる。或いは、このコンピュータプログラムは、遠隔地にある記憶媒体（図示せず）に記憶されており、この記憶媒体から通信装置５２３及びインターフェース５１６を介して、ＲＡＭ５１２或いは二次記憶装置５１４にロードされる。
　キーボード５２１及び／又はマウス５２２を介してユーザからプログラム実行指示があると、ＣＰＵ５１１は、記憶媒体Ｍ、遠隔地記憶媒体、或いは二次記憶装置５１４からプログラムをＲＡＭ５１２にロードする。ＣＰＵ５１１は、ＲＡＭ５１２の空き記憶空間をワークエリアとして使用して、ＲＡＭ５１２にロードされたプログラムを実行し、適宜ユーザと対話しながら処理を進める。なおＲＯＭ５１３は、コンピュータ５１０の基本動作を制御するための制御プログラムが格納されている。
　上記コンピュータプログラムを実行することにより、コンピュータ５１０が、上記説明されたように画像表示方法を実行する。コンピュータ５１０は、画像表示方法により生成された表示画面データをローカルなディスプレイ装置５２０に表示してよい。また或いはコンピュータ５１０は、クライアントコンピュータに対して例えばクラウドサービスを提供するサーバコンピュータであってよい。この場合、コンピュータ５１０は、画像表示方法により生成された表示画面データを、通信装置５２３に接続されたインターネット等のネットワークを介してクライアントコンピュータに送信してよい。クライアントコンピュータは、ブラウザを介して、クライアントコンピュータの表示ディスプレイに受信した表示画面データを表示してよい。
　なお上記の実施例の説明では、圃場での見回り写真を対象とした画像表示方法について説明したが、本発明の画像表示方法の対象は見回り写真に限定されるものではない。開示の画像表示方法は、例えば背、胸部Ｘ線画像、ＣＴ画像、ＭＲＩ画像などの医用画像を対象とし、類似する症例の患者間や同じ患者の前年度と今年度で画像を比較する際に利用できる。この場合のユーザは、診断医や、研修医、研究者等である。同期基準は、投薬や施術からの経過日数や、累積の投薬量などが考えられる。類似画像探索区間は、同期基準が投薬からの経過日数であれば、投薬直後は細かく経過を比較したいので、区間は狭く、逆に投薬から時間が経過すれば大きな変化は無いので、区間は広く設定してよい。絞込条件は画像種別（Ｘ線、ＣＴ、ＭＲＩ、内視鏡等）であってよい。
　また開示の画像表示方法は、不正コピー検出分野において、動画を対象とし、原本映像内の各シーンの代表画像と不正コピーが疑われる映像内の各シーンの代表画像とを比較して、目視で不正コピーかどうかを判定する際に利用できる。この場合のユーザは、コンテンツホルダーや不正摘発の担当者等である。同期基準は、映像の開始からの経過時間や各シーンの優先度などが考えられる。類似画像探索区間は、例えば、同期基準を優先度とした場合、優先度が高いシーンについては網羅的に類似画像を探したいので、区間を広く設定し、優先度が低いシーンであれば、区間を狭く設定してよい。絞込条件はシーンの属性（発話シーン、音楽シーン、人物シーン等）であってよい。
　以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。
３１　画像分類処理部
３２　表示制御処理部
３３　画像記憶部
３４　特徴量記憶部
３５　学習パラメータ記憶部
３６　分類結果記憶部
３７　画像属性情報記憶部
４１　画像特徴抽出部
４２　識別器学習部
４３　画像分類部
４４　類似度計算部
４５　表示制御部
４６　ユーザインターフェース部

Claims (13)

  1. 　それぞれが複数の画像を含む複数グループの各々から比較基準に基づき複数の画像を選択し、
    　前記選択された画像の枚数が相対的に少ないグループにおいて画像を複製して各グループでの選択画像の枚数を同数とし、
    　類似度に基づいて前記選択画像同士を前記複数グループ間で一対一に対応付けた状態で、前記複数グループ同士を並列に表示する表示画面データを生成する
    各段階を含み、
    　前記各段階をコンピュータが実行することを特徴とする画像表示方法。
  2. 　前記複数グループのうちの第一のグループに含まれる１の画像と、前記複数グループのうちの第二のグループに含まれる１の画像との画像ペアについて前記類似度を求める段階を更に含み、
    　前記選択画像の枚数を同数とする段階は、前記類似度に基づいて複製する画像を選択して複製することを特徴とする請求項１記載の画像表示方法。
  3. 　前記複製する段階は、前記選択された画像の枚数が相対的に少ない第1のグループのｎ枚の画像と前記選択された画像の枚数が相対的に多い第２のグループのｍ（＞ｎ）枚の画像との間で画像ペアの前記類似度を比較し、前記類似度が高い画像ペアから優先的に画像が重複しないｎ個の画像ペアを選択し、前記第２のグループの前記ｍ枚の画像のうち前記選択されたｎ個の画像ペアに含まれないｍ－ｎ個の残り画像に対して、前記ｍ－ｎ個の残り画像との前記類似度が最も高い前記第１のグループの画像を複製することを特徴とする請求項２記載の画像表示方法。
  4. 　前記表示画面データを生成する段階は、前記選択されたｎ個の画像ペア、及び、前記ｍ－ｎ個の残り画像と前記複製された画像との画像ペア、の合計ｍ個の画像ペアを、ペアとなる画像同士が隣り合うように前記複数グループ同士を並列に配置するとともに、画像の表示順番を前記第２のグループの前記ｍ枚の画像が前記比較基準に従った順番にすることを特徴とする請求項３記載の画像表示方法。
  5. 　前記比較基準の基準点が指定されると、前記基準点に基づいて前記比較基準の範囲を決定する段階を更に含み、
    　前記複数の画像を選択する段階は、前記複数グループの各々から前記比較基準の前記範囲に入る複数の画像を選択することを特徴とする請求項１乃至４何れか一項記載の画像表示方法。
  6. 　前記比較基準の範囲を決定する段階は、前記比較基準が異なる場合には前記比較基準の範囲を異ならせることを特徴とする請求項５記載の画像表示方法。
  7. 　それぞれが複数の画像を含む複数グループの各々から比較基準に基づき複数の画像を選択し、
    　前記選択された画像の枚数が相対的に少ないグループにおいて画像を複製して各グループでの選択画像の枚数を同数とし、
    　類似度に基づいて前記選択画像同士を前記複数グループ間で一対一に対応付けた状態で、前記複数グループ同士を並列に表示する表示画面データを生成する
    各段階を含み、前記各段階をコンピュータに実行させることを特徴とする画像表示プログラム。
  8. 　前記複数グループのうちの第一のグループに含まれる１の画像と、前記複数グループのうちの第二のグループに含まれる１の画像との画像ペアについて前記類似度を求める段階を更に含み、
    　前記選択画像の枚数を同数とする段階は、前記類似度に基づいて複製する画像を選択して複製することを特徴とする請求項７記載の画像表示プログラム。
  9. 　前記複製する段階は、前記選択された画像の枚数が相対的に少ない第1のグループのｎ枚の画像と前記選択された枚数が相対的に多い第２のグループのｍ（＞ｎ）枚の画像との間で画像ペアの前記類似度を比較し、前記類似度が高い画像ペアから優先的に画像が重複しないｎ個の画像ペアを選択し、前記第２のグループの前記ｍ枚の画像のうち前記選択されたｎ個の画像ペアに含まれないｍ－ｎ個の残り画像に対して、前記ｍ－ｎ個の残り画像との前記類似度が最も高い前記第１のグループの画像を複製することを特徴とする請求項８記載の画像表示プログラム。
  10. 　前記表示する段階は、前記選択されたｎ個の画像ペア、及び、前記ｍ－ｎ個の残り画像と前記複製された画像との画像ペア、の合計ｍ個の画像ペアを、ペアとなる画像同士が隣り合うように前記複数グループ同士を並列に配置するとともに、画像の表示順番を前記第２のグループの前記ｍ枚の画像が前記比較基準に従った順番にすることを特徴とする請求項９記載の画像表示プログラム。
  11. 　前記比較基準の基準点が指定されると、前記基準点に基づいて前記比較基準の範囲を決定する段階を更に含み、
    　前記複数の画像を選択する段階は、前記複数グループの各々から前記比較基準の前記範囲に入る複数の画像を選択することを特徴とする請求項７乃至１０何れか一項記載の画像表示プログラム。
  12. 　前記比較基準の範囲を決定する段階は、前記比較基準が異なる場合には前記比較基準の範囲を異ならせることを特徴とする請求項１１記載の画像表示プログラム。
  13. 　処理ユニットと、
    　プログラム及び画像データを格納するメモリと
    を含み、前記メモリに格納された前記プログラムを前記処理ユニットが実行することにより、
    　それぞれが複数の画像を含む複数グループの各々から比較基準に基づき複数の画像を選択し、
    　前記選択された画像の枚数が相対的に少ないグループにおいて画像を複製して各グループでの選択画像の枚数を同数とし、
    　類似度に基づいて前記選択画像同士を前記複数グループ間で一対一に対応付けた状態で、前記複数グループ同士を並列に表示する表示画面データを生成する
    各段階を含み、
    各段階を実行することを特徴とする画像表示装置。
PCT/JP2011/072483 2011-09-29 2011-09-29 画像表示方法、画像表示プログラム、及び画像表示装置 WO2013046414A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013535757A JP5725193B2 (ja) 2011-09-29 2011-09-29 画像表示方法、画像表示プログラム、及び画像表示装置
CN201180070334.0A CN103493092B (zh) 2011-09-29 2011-09-29 图像显示方法、图像显示程序以及图像显示装置
PCT/JP2011/072483 WO2013046414A1 (ja) 2011-09-29 2011-09-29 画像表示方法、画像表示プログラム、及び画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/072483 WO2013046414A1 (ja) 2011-09-29 2011-09-29 画像表示方法、画像表示プログラム、及び画像表示装置

Publications (1)

Publication Number Publication Date
WO2013046414A1 true WO2013046414A1 (ja) 2013-04-04

Family

ID=47994521

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/072483 WO2013046414A1 (ja) 2011-09-29 2011-09-29 画像表示方法、画像表示プログラム、及び画像表示装置

Country Status (3)

Country Link
JP (1) JP5725193B2 (ja)
CN (1) CN103493092B (ja)
WO (1) WO2013046414A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019158555A (ja) * 2018-03-13 2019-09-19 株式会社Ｓｃｒｅｅｎホールディングス 欠陥確認装置、欠陥確認方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009230755A (ja) * 2008-02-28 2009-10-08 Fujifilm Corp 画像転送システム、サーバ、方法並びにプログラム
JP2009282606A (ja) * 2008-05-20 2009-12-03 Ricoh Co Ltd 画像閲覧装置およびプログラム
JP2010211749A (ja) * 2009-03-12 2010-09-24 Fujifilm Corp 症例画像検索装置、方法およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1762940A4 (en) * 2004-06-09 2010-10-06 Panasonic Corp COPY CONTROL DEVICE INFORMATION DECISION

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009230755A (ja) * 2008-02-28 2009-10-08 Fujifilm Corp 画像転送システム、サーバ、方法並びにプログラム
JP2009282606A (ja) * 2008-05-20 2009-12-03 Ricoh Co Ltd 画像閲覧装置およびプログラム
JP2010211749A (ja) * 2009-03-12 2010-09-24 Fujifilm Corp 症例画像検索装置、方法およびプログラム

Also Published As

Publication number Publication date
CN103493092A (zh) 2014-01-01
JP5725193B2 (ja) 2015-05-27
JPWO2013046414A1 (ja) 2015-03-26
CN103493092B (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
US11250048B2 (en) Control method and non-transitory computer-readable recording medium for comparing medical images
JP6907381B2 (ja) 制御方法及びプログラム
US10726295B2 (en) Control method and recording medium
US20200342998A1 (en) Method for controlling information terminal, and recording medium
CN1680939B (zh) 数字文件和数据的快速可视分类方法
CN102741882B (zh) 图像分类装置、图像分类方法、集成电路、模型制作装置
JP7286392B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5618787B2 (ja) レポート作成支援装置及びその作成支援方法、並びにプログラム
WO2010041377A1 (ja) 代表画像表示装置及び代表画像選択方法
Girgensohn et al. Leveraging face recognition technology to find and organize photos
WO2010035380A1 (ja) データ検索装置およびその制御方法、データ検索システム
US20170039748A1 (en) Image processing apparatus and image processing method
JP2016157436A (ja) 情報端末の制御方法及びプログラム
CN106445424A (zh) 信息处理方法及信息处理装置
JP7336211B2 (ja) 画像処理装置、制御方法、及びプログラム
JP2009527063A (ja) 仮想環境において見本及びデータを使用及び統合するシステム及びその方法
JPWO2019230275A1 (ja) 画像処理装置，画像処理方法，画像処理プログラムおよびそのプログラムを格納した記録媒体
JP6606374B2 (ja) 画像処理装置および方法およびプログラム
JP2002342743A (ja) 画像処理装置及び画像処理方法
JP2020140555A (ja) 画像処理装置、制御方法、及びプログラム
JP5725193B2 (ja) 画像表示方法、画像表示プログラム、及び画像表示装置
JP2019020820A (ja) 映像認識システム
CN111580715A (zh) 基于用户偏好在结构水平上的偏好视图生成
US20230113131A1 (en) Self-Supervised Learning of Photo Quality Using Implicitly Preferred Photos in Temporal Clusters
JP5863916B2 (ja) レポート作成支援装置及びその作成支援方法、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11872926

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013535757

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11872926

Country of ref document: EP

Kind code of ref document: A1