WO2019054235A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2019054235A1
WO2019054235A1 PCT/JP2018/032750 JP2018032750W WO2019054235A1 WO 2019054235 A1 WO2019054235 A1 WO 2019054235A1 JP 2018032750 W JP2018032750 W JP 2018032750W WO 2019054235 A1 WO2019054235 A1 WO 2019054235A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
deformation
target image
display
information
Prior art date
Application number
PCT/JP2018/032750
Other languages
English (en)
French (fr)
Inventor
康平 岩渕
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018156331A external-priority patent/JP2019053050A/ja
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2019054235A1 publication Critical patent/WO2019054235A1/ja
Priority to US16/799,486 priority Critical patent/US11430107B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Definitions

  • the present invention relates to a technology used for inspection work of an object using an image.
  • the site In the inspection work for inspecting an object such as a structure, the site is visited to photograph the structure. After that, it returns to the office etc., and the photographed image is observed in detail to judge the deformation such as cracking, floating or peeling of the surface of the concrete, and the check slip is created.
  • the determination of the anomaly refers to an act of specifying the type and the degree of the anomaly appearing in the image. For example, with respect to a certain deformation, the action of specifying that the deformation is a type of “crack” and that the degree of the deformation is “a width of a crack of 0.2 (mm)” is abnormal. It corresponds to the judgment of
  • Patent Document 1 compares a reference image to be referred to as an object to be compared with an inspection image in the inspection of an electronic component for the problems related to the determination of an abnormal part by observation of an image and the consistency maintenance of judgment criteria in diagnosis. Methods are disclosed. In addition, in Patent Document 1, it is also possible to easily compare the two by acquiring a parameter for adjusting the appearance from the reference image and performing imaging so that the appearance with the reference image is matched at the time of capturing the inspection image. It is disclosed. Further, Patent Document 2 holds as a preset a parameter for adjusting the appearance of a lesion from a CT (computed tomography) image as a preset, and adjusts the appearance of a designated region of interest by applying the preset. A technology is disclosed that makes it easy to make a decision.
  • CT computed tomography
  • Patent Document 1 it is time-consuming because it is necessary to prepare a reference image for each type and degree of abnormal part. Also, in the technique disclosed in Patent Document 2, it is necessary to prepare parameter presets in advance, which takes time and effort.
  • an object of the present invention is to make it possible to reduce time and effort prior to inspection work.
  • a display means for comparably displaying an object image obtained by photographing an object and a reference image to be used as a reference for determining the deformation of the object, among the object images displayed comparably
  • a generation unit configured to generate a new reference image based on the designated partial region from among the target images.
  • FIG. 5 is a flowchart of an image adjustment process according to a user operation on a target image. It is a functional block diagram of structure inspection processing of a third embodiment. It is a figure which shows the table which stores the reference information of 3rd embodiment. It is a figure explaining the screen composition of a third embodiment. It is a flowchart of the image adjustment process of 3rd embodiment. It is a figure showing the example of the transition of a display state. It is a figure showing the example of the transition of a display state. It is a figure showing the example of the transition of a display state. It is a figure showing the example of the transition of a display state. It is a figure showing the example of the transition of a display state. It is a figure showing the example of the transition of a display state. It is a figure showing the example of the transition of a display state. It is a figure showing the example of the transition of a display state. It is a figure showing the example of the transition of a display state. It is a figure
  • FIG. 1 is a schematic hardware configuration diagram of the information processing apparatus according to the first embodiment.
  • the CPU 101 is a central processing unit that controls the computer system.
  • the CPU 101 executes calculation and processing of information, control of each hardware, and the like based on a control program and a processing program according to the present embodiment, thereby performing various processing including structure inspection processing to be described later. Realize the configuration.
  • the RAM 102 is a random access memory, and functions as a main memory of the CPU 101 as a work memory necessary for loading an execution program and executing a program.
  • the ROM 103 is a read only memory that stores a control program that defines the operation processing procedure of the CPU 101 and a processing program according to the present embodiment.
  • the ROM 103 includes a program ROM storing basic software (OS), which is a system program for controlling devices of the computer system, and a data ROM storing information necessary for operating the system. In place of the ROM 103, an HDD 107 described later may be used.
  • the NETIF 104 is a network interface and performs input / output control of data such as an image transmitted and received via the network. The program according to the present embodiment may be downloaded via the NETIF 104 and recorded in the HDD 107 or the like.
  • the display device 105 is, for example, a CRT display or a liquid crystal display.
  • the input device 106 is an operation input unit for receiving an operation instruction from a user, and is, for example, a touch panel, a keyboard, a mouse or the like.
  • the HDD 107 is a hard disk drive and a storage device.
  • the HDD 107 is used for storing application programs and data such as images.
  • the bus 108 is an input / output bus (address bus, data bus, and control bus) for connecting the units described above.
  • FIG. 2 is a diagram showing a functional block for realizing a structure inspection process at the time of inspecting the structure using the photographed image of the structure which is an object of inspection in the information processing apparatus of the present embodiment It is.
  • the structure inspection process by each functional block shown in FIG. 2 is realized, for example, by the CPU 101 of FIG. 1 executing a program according to the present embodiment and controlling each part.
  • the functional blocks shown in FIG. 2 may be realized by a hardware configuration or a software configuration, or may be realized by a combination of the hardware configuration and the software configuration. The same applies to the functional blocks of each embodiment described later.
  • the target image input unit 201 acquires, from the NETIF 104 or the HDD 107, an image (hereinafter referred to as a target image) obtained by capturing a structure to be inspected.
  • the target image display unit 202 displays the partial area of the target image input to the target image input unit 201 in a predetermined display area of the screen of the display device 105.
  • the partial area is determined by the user performing area specification in the target image by scrolling, zooming in, zooming out, etc. via the input device 106.
  • the deformation designation unit 203 designates the deformation in the partial area of the target image displayed by the target image display unit 202 based on the input from the user via the input device 106.
  • the deformation is, for example, cracking, floating, peeling, efflorescence, cold joint, junca (bean plate), surface air bubbles, sand streaks, rust, etc. generated on the surface of the structure.
  • the designation of the deformation is performed by the user surrounding the area which is considered to be deformed in the target image through the input device 106 with a rectangle or an ellipse, tracing the outline thereof, or the like.
  • the deformation is linear like a crack, the deformation may be designated by tracing on the linear deformation.
  • the deformation designating unit 203 sends, to the target image display unit 202, information representing the deformation designated in such a manner as a rectangle surrounding the deformation, a contour of the deformation, or a polyline tracing the deformation itself.
  • the target image display unit 202 displays a rectangle, a contour of a contour, a polyline, and the like surrounding the deformation on the target image. Since the polyline tends to have a large amount of data, the deformation designation unit 203 may calculate a circumscribed rectangle of the polyline and send information representing the deformation region as a rectangle to the target image display unit 202.
  • the deformation designated by the rectangle in this way is represented, for example, by the upper left coordinates and the size (width and height) of the rectangle, whereby the position and the range can be uniquely identified in the target image. It becomes.
  • the deformation is designated by enclosing the deformation in a rectangle.
  • a specific display example of a partial area of the target image, a rectangle for specifying a deformation in the target image, and the like will be described later.
  • the deformation determining unit 204 acquires the result of the deformation determination input by the user via the input device 106 with respect to the partial region of the target image for which the deformation specifying unit 203 has specified the deformation.
  • the result of the deformation determination input by the user includes, for example, the type of the deformation and the degree of the deformation. A specific example of the user's determination of a change and the determination result will be described later.
  • the reference information display unit 207 displays, on the display device 105, reference information managed by a reference information holding unit 206 described later.
  • the reference information is information in which information indicating at least the type of deformation of the reference image and the degree of the deformation is associated with the reference image to be a reference when performing the deformation determination of the target image.
  • the reference image includes a partial image including the deformation designated by the deformation designation unit 203 in the target image.
  • the reference information includes information indicating the result of the deformation determination determined by the deformation determination unit 204 in the partial region.
  • the information associated with the reference image includes the display parameter acquired from the reference information storage unit 206 by the display parameter acquisition unit 205 described later, and the display parameter acquired from the partial area specified by the deformation specification unit 203.
  • a plurality of reference information is held, for example, in an external recording apparatus via the HDD 107 or the NETIF 104, and the reference information holding unit 206 manages the held plurality of reference information. .
  • the reference information selection unit 209 causes a list of a plurality of reference information managed by the reference information holding unit 206 to be displayed in a predetermined display area of the display device 105, and allows the user to select one of them.
  • a reference image may be acquired based on reference information, and thumbnail images created by applying appropriate trimming or reduction processing to the reference image may be displayed side by side, or the reference image may be uniquely identified. Strings may be displayed side by side. A specific display example of the list of reference information will be described later.
  • the reference information when displaying a list of reference information, the reference information may be grouped, sorted, or filtered and displayed according to the type and degree of the variation included in each reference information.
  • the reference information selection unit 209 groups the plurality of pieces of reference information on the basis of the type and degree of each reference information, the sort function for sorting on the basis of the type and degree of reference information, and the reference information It has a filtering function that filters based on type and degree.
  • the reference information display unit 207 acquires a reference image based on the selected reference information, and the display device 105. Is displayed in a predetermined display area of A specific example of the display of the reference image will be described later.
  • the user can visually compare the partial area of the target image described above with the reference image when the deformation specification and the deformation determination are performed on the partial area of the target image. It displays on the display device 105 as follows.
  • the information processing apparatus according to the present embodiment performs adjustment such that the display image (the display method) of the target image and the reference image matches when the partial region of the target image and the reference image are displayed comparably.
  • an adjustment process is realized to match the appearance of the target image on the display of the reference image by matching the display method of the target image to the display method of the reference image. .
  • the display parameter acquisition unit 205 acquires a display parameter from the reference image based on the reference information selected by the reference information selection unit 209.
  • the display parameter acquisition unit 205 acquires the display parameter included in the selected reference information from the reference information storage unit 206.
  • the display parameter is a parameter used to align the display methods of images having different appearances and to match the appearance on the display.
  • the zoom magnifications of both are matched.
  • the reference image since the reference image includes the partial image of the target image for which deformation has already been determined, the zoom magnification of the target image and the zoom magnification of the reference image are matched.
  • the display parameter acquisition unit 205 sends the acquired display parameter to the display parameter application unit 208.
  • the display parameter application unit 208 applies the display parameter to the partial area of the target image to obtain an image (reference image) from which the display parameter is acquired and an image (target image) to which the display parameter is applied. Adjust the image to match the appearance. Specific examples of application of display parameters will be described later.
  • the reference information holding unit 206 determines the deformation determination result (the type and degree of the deformation, etc.) for the partial region. Information associated with) is generated and managed as new reference information. Then, the reference information holding unit 206 holds the newly generated reference information in, for example, the HDD 107 or an external recording apparatus via the NETIF 104 or the like. That is, in the present embodiment, the reference information on the partial region in the target image for which the user has made the determination of the deformation can be used as reference information when the deformation determination on the target image is subsequently performed. .
  • FIG. 3 is a diagram exemplifying a reference information table used by the reference information holding unit 206 to manage the held reference information.
  • a reference ID for uniquely identifying the reference information stored in the reference information table is described.
  • the coordinate item 302 relative coordinates of a rectangle representing a deformed area are described in the target image.
  • the relative coordinates of the upper left of the rectangle in the target image are used as the coordinates described in the coordinate item 302, but the present invention is not limited to this and is the central coordinates of the rectangle and the lower right coordinates. May be
  • the size item 303 describes the size of a rectangle representing a deformed area.
  • the size of the rectangle consists of the width and height of the rectangle.
  • the type item 304 describes a character string representing the type of deformation.
  • the degree item 305 describes a value representing the degree of abnormality. In the example of the present embodiment, an example is described in which the width of the crack is described as a value indicating the degree of deformation.
  • the display parameter item 306 describes display parameters. The display parameter is used to match the appearance of another image (in the case of this embodiment, the partial area) to the reference image specified by the coordinates of the coordinate item 302 and the size of the size item 303 as described above. Be done. In the present embodiment, as an example of the display parameter, a case where a zoom magnification is adopted will be described as an example.
  • FIG. 4A and FIG. 4B are diagrams for explaining an example of display on the display device 105 when the structure inspection process is performed in the information processing apparatus of the present embodiment.
  • the difference between FIG. 4A and FIG. 4B is that the method of expressing the reference information list is different.
  • the target image read button 401 is a button operated by the user when the target image is read by the target image input unit 201.
  • the target image display area 402 is a display area in which a target image is displayed by the target image display unit 202. After acquiring one target image, the user moves the partial area displayed in the display area 402 by scrolling or zooming in / out, and performs an operation to determine the deformation, and checks the necessary range of the target image. can do.
  • the scroll bar 409 and the scroll bar 410 can be used for an operation of moving a partial area.
  • an interface for changing display parameters such as zoom magnification, lightness adjustment value, hue adjustment value, and gamma value in accordance with predetermined operation (for example, right click, double tap, etc.) on the target image display area 402 is provided. You may display it.
  • the reference image display area 403 is a display area in which a reference image is displayed by the reference information display unit 207.
  • the deformation area designation rectangle 404 is a rectangle representing the deformation area designated by the deformation designation unit 203.
  • the deformation determination button 405 is a button operated when the user inputs the type and degree of the deformation by the deformation determination unit 204 for the deformation indicated by the deformation area designation rectangle 404. Although illustration is omitted, the information processing apparatus displays on the screen a dialog window or the like for inputting the type and degree of the deformation at the timing when the deformation determination button 405 is pressed, and displays them to the user. Prompt for input.
  • the reference information list area 406 in FIG. 4A is an area in which a list of reference information managed by the reference information storage unit 206 is displayed. Thereby, the user can select reference information from the list.
  • the reference thumbnail image 407 is a thumbnail image representing a reference image, and is created by appropriately trimming, reducing or enlarging the reference image acquired based on the reference information.
  • the partial image corresponding to the deformation area designation rectangle 404 designated by the deformation designation unit 203 is trimmed, and the reduced thumbnail image is displayed in the reference information list area 406. Is displayed.
  • FIG. 4A shows an example in which the reference thumbnail images 407 are grouped and displayed as a list in the reference information list area 406 based on the type and degree of deformation (the crack width in this example) included in the reference information. It shows.
  • the reference information list area 408 in FIG. 4B is an area in which a list of reference information managed by the reference information storage unit 206 is displayed. Although thumbnail images representing reference images are listed and displayed in the reference information list area 406 illustrated in FIG. 4A, in the reference information list area 408 in FIG. 4B, character strings that can uniquely identify the reference image are displayed in a list It is done. As a character string that can uniquely identify this reference image, for example, a character string such as “deformation (ref ID)” can be mentioned.
  • FIG. 4B shows an example in which character strings that can uniquely identify a reference image are grouped and displayed as a list in the reference information list area 408 based on the type and degree (crack width of a crack) included in the reference information. It shows.
  • FIGS. 4A and 4B show an example in which the target image display area 402 and the reference image display area 403 are displayed side by side and displayed in a comparable manner.
  • FIG. 5 is a table in which the target image display area 402 and the reference image display area 403 are arranged in the same area on the screen (the same display area) by superimposing them on one another and comparing them by switching their visible states.
  • An example is shown.
  • the inspection / reference image display area 501 is a display area for switching and displaying the target image display area 402 and the reference image display area 403.
  • the switching display of the target image display area 402 and the reference image display area 403 in the inspection / reference image display area 501 is performed, for example, in response to the switching operation of the toggle button such as the inspection / reference image switching button 502.
  • the target image reading button 401, the deformation determination button 405, the reference information list area 406, and the reference thumbnail image 407 are the same as those in FIG. 4A.
  • processing for aligning the display methods of the target image and the reference image (processing for adjusting the appearance) will be described with reference to FIG. Further, processing of generating new reference information based on the result of the user's deformation determination will be described using FIG. 7.
  • FIG. 6 is a flow chart for explaining processing executed when reference information is selected from the reference information list in the information processing apparatus of this embodiment.
  • the reference information is generated based on the deformation in the target image displayed by the target image display unit 202, as described later with reference to FIG.
  • the processes shown in the flowcharts of FIG. 6 and FIG. 7 below are realized by the CPU 101 of FIG. 1 executing a program according to the present embodiment.
  • steps S601 to S604, S701, and S702 are abbreviated as S601 to S604, S701, and S702, respectively. The same applies to the other flowcharts described later.
  • the reference information selection unit 209 selects the reference information corresponding to the selection from the reference information storage unit 206. Get from
  • step S602 the display parameter acquisition unit 205 acquires display parameters from the reference information acquired in step S601.
  • the zoom magnification described above is acquired as an example of the display parameter.
  • the reference information display unit 207 causes the reference image display area 403 to display a reference image based on the reference information acquired in step S601.
  • the reference information display unit 207 first acquires the upper left coordinates and the size of the rectangle surrounding the variation from the selected reference information.
  • the reference information display unit 207 cuts out a rectangular image from the image which is the generation source of the reference information (that is, the target image displayed by the target image display unit 202) based on the upper left coordinates and the size of the rectangle.
  • the reference information display unit 207 applies the zoom magnification acquired by the display parameter acquisition unit 205 in S602 to the cut out rectangular image, and displays the display of the deformation determination time point when the reference information is generated. Reproduce the way.
  • Reproduction of the display method can be realized by applying a scale conversion matrix created based on the zoom factor to the extracted rectangular image. Then, the reference information display unit 207 displays a rectangular image in which the display method is reproduced in the reference image display area 403 as a reference image.
  • the reference image displayed in the reference image display area 403 covers the entire target image display area 402 when the deformation is determined among the target images. It will be the part that was displayed. However, it is not limited to this. For example, it may be displayed so that the rectangle surrounding the deformation when the reference information is generated is positioned at the center of the reference image display area 403. If the rectangle surrounding the deformation is smaller than the reference image display area 403, the outside of the rectangle may be left blank.
  • step S604 the display parameter application unit 208 applies the zoom magnification acquired by the display parameter acquisition unit 205 in step S602 to the target image displayed by the target image display unit 202 for reference. Reproduce the same display method as the image. As a result, the adjustment of the image to match the appearance (display parameter) of the target image and the reference image is realized. Also in this case, the scale conversion matrix created based on the zoom factor may be applied to the target image as described above.
  • the selected reference image is a partial image of the target image
  • the deformation of the same width reflected in each of the target image and the reference image is displayed The width of the appearance above is also consistent.
  • Zoom magnification can be changed. For example, after confirming that a transformation having a width similar to that of the referred transformation is included in the target image by being displayed at the same zoom magnification as the reference image, the transformation is performed by arbitrarily zooming out. You can also check the length of the letter. Then, when the determination of the abnormal state is performed in a state where the zoom is arbitrarily performed, the zoom magnification finely adjusted by the zoom out is held as reference information of the reference image newly generated along with the determination. Ru. In the first embodiment, when the display parameter of the target image is changed by the user, the change does not affect the reference image.
  • display parameters other than the zoom magnification may be used.
  • display parameters in this case for example, a lightness adjustment value, a hue adjustment value, a gamma value, etc. can be considered.
  • the display parameter to be used may be not only one of the zoom magnification, the lightness adjustment value, the hue adjustment value, and the gamma value, but also a combination thereof.
  • the display parameter acquisition unit 205 acquires the lightness from the reference image and generates the lightness adjustment value. Then, in S604, the display parameter application unit 208 may adjust the lightness of the target image using the lightness adjustment value. Further, for example, in the case where the HSV color space is used, the maximum among the RGB is the lightness adjustment value V. In this case, the display parameter application unit 208 targets the lightness adjustment value Vr of the reference image. The lightness adjustment value Vi of the image is adjusted.
  • the target image and the environment for displaying the display image are aligned, and the deformation already specified in the reference image is compared with the candidate for change before determination included in the target image. It can be easy to do.
  • the above-described processing is performed each time reference information is selected from the reference information list.
  • FIG. 7 is a flowchart illustrating generation processing of new reference information, which is executed when the deformation determination button 405 is pressed in the information processing apparatus of the present embodiment.
  • the deformation determination unit 204 makes a new reference to the partial region of the target image determined as deformed at that time and information indicating the type and degree of the deformation. It is generated as information and stored in the reference information holding unit 206.
  • reference information is described in each item of the reference information table in FIG. 3 described above in the reference information holding unit 206.
  • the reference information at this time includes the zoom magnification of the current target image acquired by the display parameter acquisition unit 205.
  • the lightness adjustment value may be calculated at the time of generation of the reference information and may be stored as part of the reference information.
  • the brightness adjustment value may be calculated.
  • the reference information display unit 207 additionally displays the display element generated based on the reference information generated in S701, for example, in the reference information list area 406 in FIG. 4A. Specifically, the reference information display unit 207 resizes the deformed portion of the reference image generated based on the new reference information to, for example, the size of the thumbnail image, and additionally displays the resized portion in the reference information list area 406. Alternatively, the reference information display unit 207 may generate an appropriate character string based on the reference ID indicating the reference information, and additionally display the character string in the reference information list area 408 of FIG. 4B, for example.
  • the flowchart in FIG. 7 may be activated not only at the timing at which the deformation determination button 405 is pressed but also at any timing such as the timing at which the user has specified a deformation.
  • FIGS. 14A to D show, in time series, changes in display state caused by the user performing a structure inspection operation using the screen shown in FIG. 4A.
  • the user sets the deformation designated area 404 in the target image display area 402.
  • the thumbnail image 1400 is selected as the reference image, and as a result, a reference image based on the thumbnail image 1400 is displayed in the reference image display area 403.
  • the outer frame of the thumbnail image 1400 in the selected state is clearly bordered so that other thumbnail images can be identified. Further, in FIG.
  • the determination button 405 is operated by the user, and the inside of the deformation area designation rectangle 404 is registered as a crack having a width of 5.0 mm.
  • the thumbnail image 1401 is added to the reference information list area 406.
  • FIG. 14B shows a state in which the user selects a thumbnail image 1402 grouped as a deformation of 0.2 mm in width from the reference information list area 406 as the user further proceeds with work.
  • the thick outline of the outer frame of the thumbnail image 1402 in the selected state makes it possible to clearly identify other thumbnail images.
  • a reference image based on the selected thumbnail image 1402 is displayed.
  • the area cut out as the thumbnail image 1402 is a portion corresponding to the lower right.
  • the zoom magnification of the target image is changed, and is enlarged more than the state of FIG. 14A. What is displayed as the target image in FIG.
  • the thumbnail image 1402 is selected as shown in FIG. 14B.
  • the information processing apparatus zooms in the target image in response to the thumbnail image 1402 being selected. As a result, the user can easily compare the fine deformation newly focused on in the target image with the deformation of width 0.2 mm at the same zoom magnification.
  • FIG. 14C shows a state in which the user newly sets a deformation designation area 1403 in the target image display area 402, presses the determination button 405, and registers a deformation of 0.2 mm in width.
  • the thumbnail image 1403 is added to the grouping of width 0.2 mm in the reference information list area 406.
  • the thumbnail image 1404 is a reduced image by cutting out a portion surrounded by the deformation designation area 1403 in the target image.
  • the display parameter for example, the zoom factor
  • reference information is generated each time a new deformation is determined in the target image. At that time, in the display state, a character string that can uniquely identify reference information is added to the reference information list area 406.
  • FIG. 14B and FIG. 14C the operation of determining the deformation of width 0.2 mm in the target image is illustrated with reference to the deformed reference image of width 0.2 mm. It is not necessary to refer to it. For example, when compared with the deformed reference image of width 0.5 mm, it may be confirmed that the deformation of the target image is thinner than the deformation of the reference image, and as a result, the deformation of 0.2 mm width may be determined. obtain. That is, when a new thumbnail image is added to the reference information list, it is not necessarily added to the same group as the thumbnail image in the selected state.
  • FIG. 14D shows a state in which the thumbnail image 1401 newly added in FIG. 14A is selected.
  • the reference image display area 403 a partial image of the target image displayed when the deformation determination on the deformation designated area 404 in FIG. 14A is performed is displayed as a reference image.
  • the target image display area 402 the target image is displayed at the zoom magnification of the target image that was displayed when the deformation determination on the deformation designated area 404 was performed in FIG. 14A.
  • FIGS. 14A and 14D the appearances of the images displayed in the target image display area 402 and the reference image display area 403 are exactly the same.
  • the present embodiment is not limited to this.
  • a reference image whose center is the area cut out by the selected thumbnail image 1401 may be displayed.
  • alignment of a portion to be displayed may be performed with the partial image being displayed immediately before the zoom magnification being changed.
  • a new reference image can be generated from the target image based on the result of the user's deformation determination.
  • the condition (environment) of the appearance of the target image and the deformed image (reference image) determined in the past can be made uniform.
  • the respective display parameters are matched.
  • conditions for the appearance of the target image are aligned based on the reference information selected by the user.
  • the influence does not affect the reference image.
  • the display method of the target image is changed by the user operation such as the change of the zoom magnification to the target image display area 402, the change is made The operation in the case of reflection will be described. That is, in the second embodiment, processing for adjusting display parameters is performed in order to align the conditions (environment) of how the reference image looks based on the target image.
  • FIG. 8 is a diagram showing functional blocks for realizing the structure inspection process in the information processing apparatus of the second embodiment.
  • the target image input unit 201 to the deformation determination unit 204, and the reference information holding unit 206 to the reference information selection unit 209 are the same as the corresponding units in FIG.
  • the display parameter acquisition unit 801 in the second embodiment acquires display parameters from the target image or target image display unit 202.
  • FIG. 9A and 9B are flowcharts showing two types of processing executed when the method of displaying the target image is changed by the user operation in the structure inspection processing in the information processing apparatus of the second embodiment. is there.
  • the processes in the flowcharts of FIG. 9A and FIG. 9B below are started when the parameter of the target image display area 402 is changed by the user.
  • the flowchart of FIG. 9A represents processing of matching the appearance of both by applying the display parameter changed in the target image as the display parameter of one selected reference image.
  • the display parameter acquisition unit 801 acquires the current display parameter set in the target image display unit 202.
  • the display parameters are, for example, zoom magnification, lightness adjustment value, hue adjustment value, gamma value, and the like.
  • the display parameter application unit 208 changes the zoom magnification of the reference image displayed on the reference information display unit 207 to the zoom magnification acquired in S901.
  • FIGS. 15A and 15B show, in time series, changes in the display state caused by execution of the process of the flowchart of FIG. 9A when the user performs a structure inspection operation in the second embodiment.
  • FIG. 15A shows the same state as FIG. 14B.
  • the reference image display area 403 In the reference image display area 403, a reference image based on the thumbnail image 1402 in the selected state is displayed.
  • the zoom magnification change button 1501 is displayed in the target image display area 402.
  • the zoom magnification change button 1501 is an example of a display parameter operation interface that can be called up according to a predetermined operation such as click or double tap in the target image display area 402, for example. The user can arbitrarily change the zoom magnification of the target image by operating the zoom magnification change button 1501.
  • FIG. 15B shows a state in which the inside of the target image display area 402 is further zoomed in according to the user operation.
  • the same change in display parameter as that of the target image is reflected in the reference image display area 403 as well.
  • the reference image is also zoomed in.
  • the partial region to be displayed must include the already determined deformation so that the deformation in the reference image is not lost. To align.
  • the deformation extracted in the thumbnail image 1402 is enlarged and displayed.
  • the flowchart in FIG. 9B represents processing for applying the display parameter changed in the target image not only to the selected reference image but also to all reference information included in the display information list as a display parameter of reflection.
  • the reference information list is made up of thumbnail images obtained by reducing or enlarging the reference image obtained based on each reference information without trimming.
  • step S 903 the reference information selection unit 209 determines whether the processing in steps S 904 and S 905 has been completed for all pieces of reference information stored in the reference information holding unit 206. If the reference information selection unit 209 determines that the process is completed in S903, the process of the flowchart in FIG. 9B ends. On the other hand, when the reference information selection unit 209 determines that the process is not completed in S903, the process proceeds to S904.
  • step S904 the reference information selection unit 209 acquires, from the reference information storage unit 206, one piece of reference information for which the processing in steps S904 and S905 in the subsequent stage has not been completed.
  • the reference information selection unit 209 obtains a reference image by the method described in step S603 based on the reference information acquired in step S904. Then, the reference information selection unit 209 applies, to the reference image, the scale conversion matrix created based on the zoom magnification acquired in S901, and then resizes the thumbnail image to the size.
  • the resizing process must be performed twice, which increases the amount of calculation. Therefore, the resizing process may be performed once by combining the zoom magnification acquired in S901 and the scaling factor for thumbnailing obtained from the size ratio of the reference image and the thumbnail image.
  • FIGS. 15C to 15D show, in time series, changes in the display state caused by execution of the process of the flowchart of FIG. 9A when the user performs a structure inspection operation in the second embodiment.
  • the state of the target image display area 402 is the same as that of FIG. 15A.
  • the reference image display area 403 a reference image based on the thumbnail image 1503 in the selected state is displayed.
  • the reference image corresponding to the thumbnail image 1503 is the same as the thumbnail image 1402 in FIG. 15A.
  • the thumbnail image displayed in the reference information list area 406 is a reduction of the reference image itself.
  • the user can arbitrarily change the zoom magnification of the target image by operating the zoom magnification change button 1501.
  • FIG. 15D shows a state in which the inside of the target image display area 402 is further zoomed in according to the user operation.
  • each of the thumbnail images displayed in the reference information list area 406 is zoomed in in response to the user operation on the target image.
  • the reference image is also zoomed in by performing the process of FIG. 9A.
  • the information processing apparatus of the second embodiment it is possible to always align the appearance of the reference image so as to match the target image based on the user operation on the target image. It is possible to determine the anomaly.
  • the reference image is generated from the target image being displayed.
  • the reference information generated in the past is read (including reading from the outside).
  • the resolution of the reference image based on the read reference information may differ from the resolution of the captured target image.
  • FIG. 10 is a functional block diagram for realizing the structure inspection process in the information processing apparatus of the third embodiment.
  • the target image display unit 202 to the reference information selection unit 209 are the same as the corresponding units in FIG. 2, and thus the description thereof will be omitted.
  • a target image input unit 1001 acquires a target image from the HDD 107 or the NETIF 104. At this time, the target image input unit 1001 obtains the resolution (in units of pixels / mm) of the target image to be input from the user. The resolution of the target image input by the user is held as temporary data (for example, held in a predetermined area of the RAM 102) while the target image is displayed on the target image display unit 202.
  • the reference information input unit 1002 acquires reference information from the HDD 107 or the NETIF 104.
  • the reference information in this case may be stored as a file or may be stored in a database.
  • the plurality of pieces of reference information may be structured so as to be searchable in order to input appropriate reference information for the target image to be checked from now.
  • the reference information input unit 1002 has a search function of searching according to, for example, the type and degree of reference information.
  • the type and the material of the structure in which the abnormality appears, the position where the abnormality appears, the person who made the determination, and the like can be used.
  • the reference information acquired by the reference information input unit 1002 is temporarily held by the reference information holding unit 206, for example.
  • the reference information output unit 1003 outputs the reference information newly generated in the information processing apparatus of the third embodiment to the HDD 107 or the NETIF 104.
  • the output reference information may be stored as a file or may be stored in a database.
  • FIG. 11 is a diagram illustrating a reference information table managed by the reference information holding unit 206 in the third embodiment. Since the reference ID item 301 to the display parameter item 306 are the same as the corresponding items in FIG. 3, the description thereof will be omitted.
  • an image path item 1101 and a resolution item 1102 are prepared.
  • the image path item 1101 describes a path indicating an image in which the reference deformation is reflected.
  • the resolution item 1102 describes the resolution of the image indicated by the path of the image path item 1101 (the image in which the deformation referred to).
  • FIG. 12 is a diagram for explaining an example of a display screen in the information processing apparatus of the third embodiment.
  • the target image reading button 401 to the reference thumbnail image 407 are the same as the corresponding display elements in FIG. 4, and thus the description thereof is omitted.
  • the reference information input button 1201 is a button operated by the user when the reference information input unit 1002 inputs reference information.
  • the reference information output button 1202 is a button operated by the user when the reference information output unit 1003 outputs reference information.
  • FIG. 13 is a flow chart for explaining the processing executed when reference information is selected from among the reference information list generated in the past in the structure inspection processing realized by the information processing apparatus of the present embodiment. .
  • S601 is the same as the corresponding step in FIG. In the case of the flowchart of FIG. 13, after S601, the process proceeds to S1301.
  • step S1301 the reference information selection unit 209 acquires, from the reference information selected by the user, the path and resolution of the image in which the deformation is reflected, and the zoom factor at the time of the deformation determination.
  • the target image display unit 202 acquires the resolution of the displayed target image. It is assumed that the resolution of the target image is held as temporary data attached to the target image being displayed on the target image display unit 202.
  • the target image display unit 202 displays the displayed target image, and the image for which the pass, resolution, and zoom factor have been acquired in S1301 (a reference image specified from among the images in which the deformation is reflected) ) And how it looks on the display (apparent resolution). Specifically, the target image display unit 202 applies the scale coefficient obtained by the equation (1) described later to one of the two images having a higher resolution.
  • the image with the lower resolution is appropriately It may be scaled to match the apparent resolution on the display with the other image. In that case, it may be applied to scale factor S 2, which is obtained by the following formula (2) to the resolution is lower images.
  • step S1304 the display parameter application unit 208 causes the target image display unit 202 to display the zoom magnification acquired in step S1301 after matching the visual appearance (apparent resolution) of the both in step S1303. Apply to the target image.
  • the third embodiment it is possible to divert reference information created when another user performs an inspection operation using the information processing apparatus of the present embodiment.
  • reference information generated by a user (expert) who is skilled in inspection work can be used by an unskilled beginner user (beginner), and even a beginner can be skilled It becomes possible to perform judgment according to the judgment criteria of the person.
  • the display method of the target image is aligned with the reference image, but of course, the display method of the reference image may be aligned with the target image.
  • the processing in this case is basically as described in the flowchart of FIG. 9A or FIG. 9B, but it is necessary to align the visual resolutions of both in advance as in S1303.
  • the reference information generated in the past is listed and selected, but the reference information displayed in the list is the reference information generated in the past and the reference information of the above embodiment. Thus, both of the reference information newly generated from the target image may be included.
  • the present invention supplies a program that implements one or more functions of the aforementioned embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
  • a circuit eg, an ASIC

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

対象物を撮影した対象画像に基づいて前記対象物の変状を特定するユーザの作業を支援する情報処理装置であって、前記ユーザの指示に基づいて、前記対象物の変状を特定するユーザの作業において参照される１以上の参照画像からいずれかを選択する選択手段と、前記対象画像と、前記選択された参照画像とを、所定の表示デバイスにおいて比較可能に表示させる表示手段と、前記表示手段によって表示された前記対象画像内の変状を指定する前記ユーザの操作を受け付ける指定手段と、前記対象画像のうち前記指定された変状を含む部分領域に基づいて、新たな参照画像を生成する生成手段と、を備え、前記生成手段によって生成された新たな参照画像は、前記選択手段によって選択され得る前記１以上の参照画像に加えられる。

Description

情報処理装置、情報処理方法、及びプログラム
　本発明は、画像を用いた対象物の点検業務等に用いられる技術に関する。
　構造物等の対象物を点検する点検業務では、現地へ赴き構造物の撮影が行われる。その後、事務所等に戻り、撮影した画像を仔細に観察してコンクリート表面のひび割れや浮き、剥離等の変状を判定して、点検帳票が作成される。ここで変状の判定とは、画像に写っている変状について、その種類と程度を特定する行為を指す。例えば、ある変状について、その変状が「ひび割れ」という種類であることと、その変状の程度が「ひび割れの幅が０．２（ｍｍ）」であることなどを特定する行為が変状の判定にあたる。
　変状を判定する際には、同じ種類で同程度の変状であっても、被写体の材質や撮影環境などによって大きく見え方が変わるため、点検者は判定に関して一定の基準を持つことが難しい。また、点検対象である構造物が大きい場合、点検者が確認しなければならない画像の量は膨大になりがちである。以上のような理由のため、構造物の点検業務において、一貫した変状判定を続けることは難しく、判定結果にはばらつきが発生しやすい。
　このような画像の観察による異常部の判定や診断における判断基準の一貫性維持にまつわる課題に対し、特許文献１には、電子部品の検査において、比較対象として参照する基準画像と検査画像とを比較する方法が開示されている。それに加えて、特許文献１では、基準画像から見え方を調節するパラメータを取得し、検査画像の撮影時に基準画像との見え方を合わせるように撮影を行うことで両者を比較しやすくすることも開示されている。また、特許文献２は、ＣＴ（コンピュータ断層撮影）画像から病変の見え方を調節するパラメータをプリセットとして保持し、そのプリセットを適用することで指定された関心領域の見え方を調節して、一貫した判断を行いやすくする技術が開示されている。
特開２０１６－６５８７５号公報 特開２００２－１６５７８６号公報
　しかしながら、特許文献１に開示された技術では、異常部の種類や程度ごとに基準画像を用意しなければならないため手間が掛かる。また、特許文献２に開示された技術においても予めパラメータのプリセットを用意しておかなければならないため手間が掛かる。
　そこで、本発明は、点検業務に先立つ手間を少なくすることを可能にすることを目的とする。
　本発明は、対象物を撮影した対象画像と、対象物の変状の判定の参考となる参照画像とを、比較可能に表示する表示手段と、前記比較可能に表示された前記対象画像のなかの部分領域を、ユーザに指定させる指定手段と、前記対象画像のなかから前記指定された部分領域に基づいて、新たな参照画像を生成する生成手段と、を有することを特徴とする。
　本発明によれば、点検業務に先立つ手間を少なくすることが可能となる。
実施形態の情報処理装置の全体構成を示す図である。 第一の実施形態の構造物点検処理の機能ブロック図である。 第一の実施形態の参照情報を格納するテーブルを示す図である。 第一の実施形態の画面構成を説明する図である。 第一の実施形態の画面構成を説明する図である。 第一の実施形態の画面構成の代替例を説明する図である。 参照情報選択に応じた画像調整処理のフローチャートである。 参照情報生成処理を説明するフローチャートである。 第二の実施形態の構造物点検処理の機能ブロック図である。 対象画像へのユーザ操作に応じた画像調整処理のフローチャートである。 対象画像へのユーザ操作に応じた画像調整処理のフローチャートである。 第三の実施形態の構造物点検処理の機能ブロック図である。 第三の実施形態の参照情報を格納するテーブルを示す図である。 第三の実施形態の画面構成を説明する図である。 第三の実施形態の画像調整処理のフローチャートである。 表示状態の遷移の例を表す図である。 表示状態の遷移の例を表す図である。 表示状態の遷移の例を表す図である。 表示状態の遷移の例を表す図である。 表示状態の遷移の例を表す図である。 表示状態の遷移の例を表す図である。 表示状態の遷移の例を表す図である。 表示状態の遷移の例を表す図である。
　以下、添付の図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明はそれらの構成に限定されるものではない。本実施形態では、例えば建築物などの構造物を点検の対象物として撮影した画像を用い、その構造物における変状を点検する構造物点検業務を例に挙げて説明する。
　＜第一の実施形態＞
　図１は、第一の実施形態にかかる情報処理装置の概略的なハードウェア構成図である。ＣＰＵ１０１は、コンピュータシステムの制御を司る中央演算装置である。ＣＰＵ１０１が、制御プログラムや本実施形態にかかる処理プログラムに基づいて、情報の演算や加工、各ハードウェアの制御等を実行することにより、後述する構造物点検処理を含む各種処理、各機能ブロックの構成を実現する。ＲＡＭ１０２は、ランダムアクセスメモリであり、ＣＰＵ１０１の主メモリとして、実行プログラムのロードやプログラム実行に必要なワークメモリとして機能する。ＲＯＭ１０３は、ＣＰＵ１０１の動作処理手順を規定する制御プログラムや本実施形態にかかる処理プログラムを記録しているリードオンリーメモリである。ＲＯＭ１０３には、コンピュータシステムの機器制御を行うシステムプログラムである基本ソフト（ＯＳ）を記録したプログラムＲＯＭとシステムを稼動するために必要な情報などが記録されたデータＲＯＭとが含まれる。ＲＯＭ１０３の代わりに後述のＨＤＤ１０７を用いる場合もある。ＮＥＴＩＦ１０４は、ネットワークインターフェースであり、ネットワークを介して送受信される画像などのデータの入出力制御を行う。本実施形態にかかるプログラムは、ＮＥＴＩＦ１０４を介してダウンロードされてＨＤＤ１０７等に記録されてもよい。表示デバイス１０５は、例えばＣＲＴディスプレイや液晶ディスプレイ等である。入力デバイス１０６は、ユーザからの操作指示を受け付けるための操作入力部であり、例えば、タッチパネル、キーボード、マウスなどである。ＨＤＤ１０７は、ハードディスクドライブであり、記憶装置である。ＨＤＤ１０７は、アプリケーションプログラムや、画像などのデータ保存用に用いられる。バス１０８は、上述した各ユニット間の接続するための入出力バス（アドレスバス、データバス、及び制御バス）である。
　図２は、本実施形態の情報処理装置において、点検の対象物である構造物の撮影画像を用いて、その構造物の点検を行う際の構造物点検処理を実現する機能ブロックを示した図である。本実施形態では、この図２の機能ブロックによる構造物点検処理を実行することで、構造物における変状の判定基準のばらつきを抑制しつつ、点検業務に先立つ手間を少なくすることをも可能としている。図２に示す各機能ブロックによる構造物点検処理は、例えば図１のＣＰＵ１０１が本実施形態にかかるプログラムを実行および各部を制御することにより実現される。なお、図２に示す機能ブロックは、ハードウェア構成により実現されてもよいし、ソフトウェア構成により実現されてもよく、またハードウェア構成とソフトウェア構成の組み合わせにより実現されてもよい。このことは後述する各実施形態の機能ブロックにおいても同様である。
　対象画像入力部２０１は、ＮＥＴＩＦ１０４またはＨＤＤ１０７から、点検対象の構造物を撮影した画像（以下、対象画像と記す）を取得する。
　対象画像表示部２０２は、対象画像入力部２０１に入力された対象画像の部分領域を、表示デバイス１０５の画面の所定の表示領域に表示させる。部分領域は、ユーザが入力デバイス１０６を介してスクロールやズームイン・ズームアウト等により対象画像のなかで領域指定を行うことにより決定される。
　変状指定部２０３では、対象画像表示部２０２にて表示された対象画像の部分領域内の変状を、入力デバイス１０６を介したユーザからの入力に基づいて指定する。本実施形態において、変状とは、構造物の表面に発生する、例えば、ひび割れ、浮き、剥離、エフロレッセンス、コールドジョイント、ジャンカ（豆板）、表面気泡、砂筋、錆汁などである。本実施形態において、変状の指定は、対象画像内で変状と思われる領域について、ユーザが入力デバイス１０６を介して矩形や楕円形で囲むこと、その輪郭をなぞることなどにより行われる。変状がひび割れのように線状である場合、その線状の変状の上をなぞることで変状が指定されてもよい。変状指定部２０３は、そのようにして指定された変状を、変状を囲う矩形や、変状の輪郭、変状自体をなぞったポリラインとして表す情報を、対象画像表示部２０２に送る。これにより、対象画像表示部２０２は、それら変状を囲う矩形、変状の輪郭、ポリラインなどを対象画像上に表示する。なお、ポリラインはデータ量が多くなりがちであるため、変状指定部２０３は、ポリラインの外接矩形を算出し、変状領域を矩形として表す情報を、対象画像表示部２０２に送ってもよい。このようにして矩形により指定された変状は、例えば、その矩形の左上の座標とサイズ（幅と高さ）により表され、これにより、当該対象画像内において一意に位置と範囲の特定が可能となる。本実施形態においては、前述のように矩形で変状を囲むことによって変状を指定することとする。対象画像の部分領域や、その対象画像内で変状を指定する矩形についての具体的な表示例等は後述する。
　変状判定部２０４は、変状指定部２０３により変状の指定がなされた対象画像の部分領域に対して、ユーザが入力デバイス１０６を介して入力した変状判定の結果を取得する。本実施形態において、ユーザが入力する変状判定の結果には、例えば、変状の種類とその変状の程度が含まれる。ユーザによる変状判定と、その判定結果の具体例については後述する。
　参照情報表示部２０７は、後述する参照情報保持部２０６が管理している参照情報を、表示デバイス１０５に表示する。参照情報とは、対象画像の変状判定を行う際に参考となる参照画像に対して、その参照画像の少なくとも変状の種類およびその変状の程度を表す情報を関連付けた情報である。本実施形態において参照画像には、対象画像のうち、変状指定部２０３によって指定された変状を含む部分画像を含む。参照情報には、部分領域において変状判定部２０４によって判定された変状判定の結果を示す情報が含まれる。また参照画像に関連付けられる情報には、後述の表示パラメータ取得部２０５によって、参照情報保持部２０６から取得された表示パラメータや、変状指定部２０３で指定された部分領域から取得された表示パラメータが含まれていてもよい。本実施形態の場合、複数の参照情報が、例えばＨＤＤ１０７やＮＥＴＩＦ１０４を介した外部の記録装置等に保持されており、参照情報保持部２０６は、それら保持された複数の参照情報を管理している。
　参照情報選択部２０９は、参照情報保持部２０６が管理している複数の参照情報の一覧を、表示デバイス１０５の所定の表示領域に表示させ、ユーザに対し、その中の一つを選択させる。一覧表示では、参照情報に基づいて参照画像を取得し、その参照画像に適切なトリミング、あるいは縮小処理を施して作成したサムネイル画像を並べて表示してもよいし、参照画像を一意に特定可能な文字列を並べて表示してもよい。参照情報の一覧の具体的表示例については後述する。
　また、参照情報の一覧表示の際には、各参照情報に含まれる変状の種類や程度によって、それぞれ参照情報をグルーピングしたり、ソートしたり、フィルタリングしたりして表示してもよい。この場合、参照情報選択部２０９は、複数の参照情報を、各々の参照情報の種類や程度を基にグルーピングするグループ化機能、参照情報の種類や程度を基にソートするソート機能、参照情報の種類や程度を基にフィルタリングするフィルタ処理機能を有する。
　そして、一覧表示のなかから、入力デバイス１０６を介してユーザにより一つの参照情報が選択されると、参照情報表示部２０７は、選択された参照情報に基づいて参照画像を取得し、表示デバイス１０５の所定の表示領域に表示させる。参照画像の表示の具体例については後述する。
　ここで、本実施形態の情報処理装置は、対象画像の部分領域について変状指定と変状判定が行われる場合、前述した対象画像の部分領域と参照画像とを、ユーザが目視で比較可能となるように表示デバイス１０５に表示する。本実施形態の情報処理装置は、これら対象画像の部分領域と参照画像とを比較可能に表示する際に、対象画像と参照画像の表示上の見え方（表示の仕方）を一致させるような調整処理を行う。第一の実施形態では、対象画像の表示の仕方を、参照画像の表示の仕方に合わせることにより、対象画像と参照画像の表示上での見え方を一致させるような調整処理を実現している。
　このため、表示パラメータ取得部２０５は、参照情報選択部２０９によって選択された参照情報に基づく参照画像から表示パラメータを取得する。また、選択された参照情報に既に表示パラメータが含まれている場合、表示パラメータ取得部２０５は、参照情報保持部２０６から、その選択された参照情報に含まれている表示パラメータを取得する。本実施形態において、表示パラメータとは、見え方が異なる画像同士の表示の仕方を揃え、表示上での見え方を合わせるために使用されるパラメータのことである。
　本実施形態は、対象画像と参照画像を比較可能に表示することで、参照画像において既に特定されている変状と、対象画像に含まれる判定前の変状の候補との比較が容易となり、対象画像における変状を判定する作業が支援されるものである。従って、本実施形態において「表示上での見え方を合わせる」とは、対象画像と参照画像をより比較しやすいように、それぞれの表示上の環境を同等に揃えることである。例えば、両者のズーム倍率を一致させる。本実施形態では、参照画像には対象画像のうち既に変状が判定されている部分画像を含むので、対象画像のズーム倍率と参照画像のズーム倍率を一致させることで、対象画像と参照画像のそれぞれに同じ幅の変状が写っていた場合、それら表示上も同じ幅に見える。表示パラメータの詳細については、図６において具体例を用いて後述する。そして、表示パラメータ取得部２０５は、取得した表示パラメータを表示パラメータ適用部２０８に送る。
　表示パラメータ適用部２０８は、表示パラメータを対象画像の部分領域に対して適用することにより、表示パラメータの取得元である画像（参照画像）と表示パラメータの適用先である画像（対象画像）との見え方を一致させるような画像の調整を行う。表示パラメータの適用の具体例については後述する。
　また本実施形態の参照情報保持部２０６は、対象画像の部分領域の変状指定と変状判定が行われた場合、その部分領域に対し、その変状判定結果（変状の種類および程度等）を関連付けた情報を、新たな参照情報として生成および管理する。そして、参照情報保持部２０６は、その新たに生成した参照情報を、例えばＨＤＤ１０７やＮＥＴＩＦ１０４を介した外部の記録装置等に保持させる。すなわち、本実施形態では、ユーザによる変状の判定がなされた対象画像内の部分領域に関する参照情報は、その後さらに、この対象画像の変状判定が行われる際の参照情報として使用可能となされる。
　図３は、参照情報保持部２０６が、保持している参照情報を管理するのに用いる参照情報テーブルを例示した図である。以下では、構造物点検で扱う変状のうち、特にひび割れを対象とした例を挙げて説明を行う。図３において、参照情報テーブルの参照ＩＤ項目３０１には、参照情報テーブルに格納された参照情報を一意に識別するための参照ＩＤが記述される。座標項目３０２には、対象画像内において、変状の領域を表す矩形の相対座標が記述される。本実施形態において座標項目３０２に記述される座標としては、対象画像内の矩形の左上の相対座標を用いることを想定しているが、これに限らず矩形の中心座標や右下の座標であってもよい。
　サイズ項目３０３には、変状の領域を表す矩形のサイズが記述される。ここで、矩形のサイズは、矩形の幅と高さからなる。種類項目３０４には、変状の種類を表す文字列が記述される。程度項目３０５には、変状の程度を表す値が記述される。本実施形態の例においては、変状の程度を表す値として、ひび割れの幅が記述されている例を挙げている。表示パラメータ項目３０６には、表示パラメータが記述される。表示パラメータは、座標項目３０２の座標及びサイズ項目３０３のサイズで特定される参照画像に対して、前述したように他の画像（本実施形態の場合は部分領域）の見え方を合わせるために使用される。本実施形態では、表示パラメータの一例として、ズーム倍率を採用した場合を例に挙げて説明する。
　図４Ａおよび図４Ｂは、本実施形態の情報処理装置において構造物点検処理を実行している際の表示デバイス１０５における表示の一例を説明する図である。なお、図４Ａと図４Ｂの差異は参照情報一覧の表現方法が異なっていることである。対象画像読込ボタン４０１は、対象画像入力部２０１によって対象画像を読み込む際にユーザにより操作されるボタンである。対象画像表示領域４０２は、対象画像表示部２０２によって対象画像が表示される表示領域である。ユーザは、１つの対象画像を取得したあと、スクロールやズームイン・ズームアウトにより、表示領域４０２に表示される部分領域を動かしながら、変状を判定する作業を行い、対象画像の必要な範囲を点検することができる。例えば、スクロールバー４０９およびスクロールバー４１０は、部分領域を動かす操作に利用できる。このほか、対象画像表示領域４０２上での所定操作（例えば右クリック、ダブルタップ等）に応じて、ズーム倍率、明度調整値、色相調整値、ガンマ値などの表示パラメータを変化させるためのインタフェースを表示してもよい。
　参照画像表示領域４０３は、参照情報表示部２０７によって参照画像が表示される表示領域である。変状領域指示矩形４０４は、変状指定部２０３によって指定された変状の領域を表した矩形である。変状判定ボタン４０５は、変状領域指示矩形４０４で示されている変状について、変状判定部２０４によって変状の種類および程度をユーザが入力する際に操作されるボタンである。図示は省略しているが、変状判定ボタン４０５が押されたタイミングで、情報処理装置は、変状の種類と程度を入力するためのダイアログウィンドウ等を画面上に表示して、ユーザにそれらの入力を促す。
　図４Ａの参照情報一覧領域４０６は、参照情報保持部２０６が管理している参照情報の一覧が表示される領域である。これにより、ユーザは、一覧から参照情報を選択することができる。
　参照サムネイル画像４０７は、参照画像を表すサムネイル画像であり、参照情報に基づいて取得した参照画像を適切にトリミング、あるいは縮小あるいは拡大することで作成されている。図４Ａの例は、変状が判定された時に、変状指定部２０３によって指定されていた変状領域指示矩形４０４に相当する部分画像をトリミングし、縮小したサムネイル画像が参照情報一覧領域４０６に表示される。
　図４Ａには、参照情報に含まれる変状の種類と程度（この例ではひび割れのひび幅）に基づいて、参照サムネイル画像４０７がグルーピングされて、参照情報一覧領域４０６に一覧表示された例を示している。
　図４Ｂの参照情報一覧領域４０８は、参照情報保持部２０６が管理している参照情報の一覧が表示される領域である。図４Ａに例示した参照情報一覧領域４０６には参照画像を表すサムネイル画像が一覧表示されているが、図４Ｂの参照情報一覧領域４０８には、参照画像を一意に特定可能な文字列が一覧表示されている。この参照画像を一意に特定可能な文字列としては、例えば「変状＿（参照ＩＤ）」のような文字列を挙げることができる。
　図４Ｂには、参照情報に含まれる種類と程度（ひび割れのひび幅）に基づいて、参照画像を一意に特定可能な文字列がグルーピングされて、参照情報一覧領域４０８に一覧表示された例を示している。
　図４Ａと図４Ｂでは、対象画像表示領域４０２と参照画像表示領域４０３をサイドバイサイドに並んで表示させることで両者を比較可能に表示した例を挙げたが、例えば図５のような表示がなされてもよい。図５は、対象画像表示領域４０２と参照画像表示領域４０３を、画面上の同一領域に（同じ表示領域）に両者を重畳させて配置し、両者の可視状態を切り替えることによって比較可能とした表示例を示している。図５の例において、点検・参照画像表示領域５０１は、対象画像表示領域４０２と参照画像表示領域４０３を切り替えて表示するための表示領域である。点検・参照画像表示領域５０１における対象画像表示領域４０２と参照画像表示領域４０３の切り替え表示は、例えば、点検・参照画像切替ボタン５０２のようなトグルボタンの切り替え操作に応じて行われる。なお、図５において、対象画像読込ボタン４０１、変状判定ボタン４０５、参照情報一覧領域４０６、参照サムネイル画像４０７は、図４Ａと同様のものである。
　以下、図６を用いて、対象画像と参照画像の表示の仕方を揃える処理（見え方を合わせる処理）について説明する。また、図７を用いて、ユーザによる変状判定結果に基づいて、新たな参照情報を生成する処理について説明する。
　図６は、本実施形態の情報処理装置において、参照情報一覧の中から参照情報が選択された場合に実行される処理を説明するフローチャートである。本実施形態において参照情報は、後述の図７で説明するように、対象画像表示部２０２にて表示された対象画像内の変状に基づいて生成されたものであるとする。以下の図６や図７のフローチャートに示す処理は、図１のＣＰＵ１０１が本実施形態にかかるプログラムを実行することにより実現されるとする。また、以下の説明では、ステップＳ６０１～ステップＳ６０４、ステップＳ７０１、ステップＳ７０２をそれぞれＳ６０１～Ｓ６０４、Ｓ７０１、Ｓ７０２のように略記する。これらことについては後述する他のフローチャートにおいても同様とする。
　Ｓ６０１において、参照情報選択部２０９は、前述のような参照情報一覧領域（４０６または４０８）のなかからユーザによって何れかが選択されると、その選択に応じた参照情報を、参照情報保持部２０６から取得する。
　次にＳ６０２において、表示パラメータ取得部２０５は、Ｓ６０１で取得された参照情報から表示パラメータを取得する。ここでは表示パラメータの一例として、前述のズーム倍率が取得される。
　次にＳ６０３において、参照情報表示部２０７は、Ｓ６０１で取得された参照情報に基づいて、参照画像表示領域４０３に参照画像を表示させる。このとき、参照情報表示部２０７は、先ず、選択された参照情報から変状を囲う矩形の左上の座標、サイズを取得する。そして、参照情報表示部２０７は、参照情報の生成元である画像（つまり対象画像表示部２０２によって表示されている対象画像）から、矩形の左上の座標とサイズを基に矩形画像を切り出す。さらに、参照情報表示部２０７は、切り出した矩形画像に対し、Ｓ６０２で表示パラメータ取得部２０５により取得されたズーム倍率を適用して、参照情報が生成された際の変状判定の時点の表示の仕方を再現する。表示の仕方を再現は、その切り出された矩形画像に対し、ズーム倍率に基づいて作成したスケール変換行列を適用することで実現できる。そして、参照情報表示部２０７は、その表示の仕方を再現した矩形画像を、参照画像として参照画像表示領域４０３に表示する。
　なお本実施形態では、参照情報が生成された際の変状を囲う矩形（変状領域指示矩形４０４の内部）の表示の仕方を再現した矩形画像が、参照画像表示領域４０３よりも小さい場合は、変状を囲う矩形の周囲も含めて表示する。その結果として、参照サムネイル画像４０７が選択された場合に、参照画像表示領域４０３に表示される参照画像は、対象画像のうち、その変状が判定された時に、対象画像表示領域４０２の全体に表示されていた部分となる。ただし、これに限らない。例えば、参照情報が生成された際の変状を囲う矩形が参照画像表示領域４０３の中心に位置するように表示してもよい。また、変状を囲う矩形が参照画像表示領域４０３よりも小さい場合は、矩形の外側を空白としても構わない。
　次にＳ６０４において、表示パラメータ適用部２０８は、対象画像表示部２０２にて表示されている対象画像に対して、Ｓ６０２で表示パラメータ取得部２０５にて取得されたズーム倍率を適用することで、参照画像と同様の表示の仕方を再現する。これにより、対象画像と参照画像の見え方（表示パラメータ）を一致させる画像の調整が実現されることになる。この場合も前述同様、対象画像に対して、ズーム倍率に基づいて作成したスケール変換行列を適用すればよい。選択された参照画像が対象画像の部分画像である場合、対象画像のズーム倍率と参照画像のズーム倍率を一致させることで、対象画像と参照画像のそれぞれに写る同じ幅の変状は、表示装置上での見た目の幅も一致する。ただし、本実施形態では、参照画像を選択し、対象画像の表示パラメータが情報処理装置によって変更された後であっても、ユーザは、スクロールやズームイン・ズームアウトにより、表示される部分領域を動かし、ズーム倍率を変更することが可能である。例えば、参照画像と同じズーム倍率で表示されることで、参照した変状と同程度の幅を持つ変状が対象画像に含まれることを確認した後、任意にズームアウトすることで、その変状の長さを確認することもできる。そして、任意にズームアウトをした状態で変状の判定が行われた場合、その判定に伴って新たに生成される参照画像の参照情報としては、ズームアウトにより微調整されたズーム倍率が保持される。第１の実施形態では、対象画像の表示パラメータがユーザによって変更された場合、その変更は参照画像に影響しない。
　なお、本実施形態においては、対象画像と参照画像についてズーム倍率を揃えることによって両者の見え方を合わせる例を挙げたが、ズーム倍率以外の表示パラメータを利用してもよい。この場合の表示パラメータとしては、例えば、明度調整値、色相調整値、ガンマ値などが考えられる。また、用いられる表示パラメータは、それらズーム倍率、明度調整値、色相調整値、ガンマ値のいずれか一つだけでなく、それらの組み合わせであってもよい。
　例えば、表示パラメータとして明度調整値を用いる場合、Ｓ６０２において、表示パラメータ取得部２０５は参照画像から明度を取得して明度調整値を生成する。そして、Ｓ６０４において、表示パラメータ適用部２０８は、その明度調整値を用いて、対象画像の明度を調整すればよい。また、例えばＨＳＶ色空間が使われているような場合、ＲＧＢの内、最大のものが明度調整値Ｖとなり、この場合の表示パラメータ適用部２０８は、参照画像の明度調整値Ｖｒに対し、対象画像の明度調整値Ｖｉを合わせるようにする。なおこのとき、対象画像の明度調整値Ｖｉの変化に従って、Ｖｉ以外の値（例えばＲがＶｉならば、ＧおよびＢ）も変化前のＲＧＢの比率を崩さないように変化させる必要がある。いずれの表示パラメータが採用される場合も、対象画像と表示画像を表示する環境を揃え、参照画像において既に特定されている変状と、対象画像に含まれる判定前の変更の候補とをより比較しやすくすることができる。
　本実施形態では、参照情報一覧から参照情報が選択されるたびに以上のような処理が行われる。
　図７は、本実施形態の情報処理装置において、変状判定ボタン４０５が押されたときに実行される、新たな参照情報の生成処理を説明するフローチャートである。Ｓ７０１において、変状判定部２０４は、変状判定ボタン４０５が押された場合、その時に変状判定された対象画像の部分領域と、変状の種類及び程度を示す情報とを、新たな参照情報として生成して、参照情報保持部２０６に格納する。この場合、参照情報保持部２０６には、前述した図３の参照情報テーブルの各項目に参照情報を記述する。また、この時の参照情報には、表示パラメータ取得部２０５によって取得された、現時点の対象画像のズーム倍率が含まれる。
　なお、表示パラメータの種類によっては、必ずしもこのタイミングで表示パラメータの取得・保存を行わなくてもよい。例えば、前述の表示パラメータの一例として説明した明度調整値の場合、参照情報の生成時に明度調整値を算出し、参照情報の一部として保存してもよいが、参照画像が選択されたタイミングで明度調整値を算出してもよい。
　次にＳ７０２において、参照情報表示部２０７は、Ｓ７０１で生成された参照情報に基づいて生成した表示要素を、例えば図４Ａの参照情報一覧領域４０６に追加表示する。具体的には、参照情報表示部２０７は、新たな参照情報に基づいて生成された参照画像のうち変状部分を例えばサムネイル画像のサイズまでリサイズし、参照情報一覧領域４０６に追加表示する。または、参照情報表示部２０７は、参照情報を示す参照ＩＤに基づく適当な文字列を生成し、例えば図４Ｂの参照情報一覧領域４０８に追加表示してもよい。
　なお、図７のフローチャートは、変状判定ボタン４０５が押されたタイミングだけでなく、ユーザが変状を指定したタイミングなど任意のタイミングで起動してもよい。
　ここで、図１４を参照して、本実施形態の情報処理装置において構造物点検処理が実行される際の、表示デバイス１０５における表示状態の遷移の例を説明する。図１４Ａ～Ｄは、図４Ａに示した画面を使って、ユーザが構造物点検の作業を行うことで生じる表示状態の変化を時系列に表している。図１４Ａでは、図４Ａで示したように、ユーザが対象画像表示領域４０２の中に、変状指定領域４０４を設定している。ここで、参照画像としてはサムネイル画像１４００が選択された状態にあり、その結果、参照画像表示領域４０３には、サムネイル画像１４００に基づく参照画像が表示されている。図１４Ａでは、選択された状態にあるサムネイル画像１４００の外枠が太く縁どられることで、他のサムネイル画像を識別可能に明示されている。さらに図１４Ａでは、ユーザにより判定ボタン４０５が操作され、変状領域指示矩形４０４の内側が幅５．０ｍｍのひびとして登録されたとする。その結果、サムネイル画像１４０１が、参照情報一覧領域４０６に加わる。
　図１４Ｂは、さらにユーザが作業を進めるにあたり、参照情報一覧領域４０６から幅０．２ｍｍの変状としてグルーピングされているサムネイル画像１４０２を選択した状態を表す。選択された状態にあるサムネイル画像１４０２の外枠が太く縁どられることで、他のサムネイル画像を識別可能に明示されている。参照画像表示領域４０３には、選択されたサムネイル画像１４０２に基づく参照画像が表示されている。ここで、参照画像表示領域４０３に表示された参照画像全体のうち、サムネイル画像１４０２として切り出されている領域は、右下に当たる部分である。参照画像が変わったことに応じて、対象画像表示領域４０２では、対象画像のズーム倍率が変更され、図１４Ａの状態よりもより拡大されている。図１４Ｂで対象画像として表示されているのは、図１４Ａで表示されていた対象画像のうち変状指定領域４０４で選択されている部分の下側にあたる。ユーザは、例えば、図１４Ａの状態（幅０．５ｍｍの変状が参照されていた）に比べて、より細い幅の変状に着目して作業を行いたい場合に、幅０．２ｍｍの変状と比較するために、図１４Ｂのようにサムネイル画像１４０２を選択する。情報処理装置は、サムネイル画像１４０２が選択されたことに応じて、対象画像をズームインする。この結果、ユーザは、対象画像のうち新たに着目した細かい変状と幅０．２ｍｍの変状とを同じズーム倍率で容易に比較可能となる。
　図１４Ｃは、ユーザが、対象画像表示領域４０２の中に、新たに変状指定領域１４０３を設定し、判定ボタン４０５を押し、幅０．２ｍｍの変状を登録した状態である。これにより、参照情報一覧領域４０６のうち幅０．２ｍｍのグルーピングの中に、サムネイル画像１４０３が加わる。サムネイル画像１４０４は、対象画像のうち変状指定領域１４０３で囲われた部分が切り出され、縮小された画像となっている。このように本実施形態では、参照情報一覧領域４０６から、サムネイル画像が選択されるたびに、対象画像表示領域４０２内の表示パラメータ（例えばズーム倍率）が変更される。また、対象画像において新たに変状が判定されるたびに、参照情報が生成される。その際、表示状態においては、参照情報一覧領域４０６に参照情報を一意に特定可能な文字列が追加される。
　なお、図１４Ｂおよび図１４Ｃでは、幅０．２ｍｍの変状の参照画像を参照しながら、対象画像において幅０．２ｍｍの変状を判定する作業を例示したが、必ずしも同じ幅の変状を参照していることは必要ない。例えば幅０．５ｍｍの変状の参照画像と比較したとき、対象画像の変状が参照画像の変状より細いことを確認し、結果として幅０．２ｍｍの変状を判定するといったこともあり得る。つまり、参照情報一覧に、新しくサムネイル画像が追加される時、必ずしも選択された状態にあるサムネイル画像と同じグループに追加されるとは限らない。
　本実施形態において新たに生成された参照情報は、その後に行われる変状判定の作業において、参照するために選択することができる。例えば、図１４Ｄは、図１４Ａにおいて新たに追加されたサムネイル画像１４０１が選択された状態を表す。参照画像表示領域４０３には、図１４Ａにおいて変状指定領域４０４に対する変状判定が行われた時に表示されていた対象画像の部分画像が、参照画像として表示されている。またこのとき、対象画像表示領域４０２では、図１４Ａにおいて変状指定領域４０４に対する変状判定が行われた時に表示されていた対象画像のズーム倍率で対象画像が表示される。その結果、図１４Ａ及び図１４Ｄでは、対象画像表示領域４０２と参照画像表示領域４０３に表示される画像の見た目が全く同じになっている。ただし、本実施形態ではこれに限らない。例えば、参照画像表示領域４０３では、選択されているサムネイル画像１４０１で切り出されている領域が中心となるような参照画像が表示されてもよい。また例えば、対象画像表示領域４０２では、ズーム倍率が変更される直前に表示されていた部分画像を中心とするように表示される部分の位置合わせが行われてもよい。
　このように、第一の本実施形態においては、ユーザの変状判定結果に基づいて、対象画像から新たな参照画像を生成することができる。これにより、第一の実施形態によれば、変状の種類や程度ごとにあらかじめ参照画像を用意しておく手間を省くことが可能となる。また、第一の実施形態においては、対象画像と、過去に判定した変状画像（参照画像）との見え方の条件（環境）を揃えることができる。具体的には、対象画像と、対象画像の一部である参照画像を、より比較しやすい状態で表示するために、それぞれの表示パラメータを一致させる。これにより、第一の実施形態によれば、過去に判定した変状画像（参照画像）における変状を参考にして新たな変状を判定できるようになり、変状判定に一貫性を持たせることが可能となる。
　＜第二の実施形態＞
　前述の第一の実施形態では、ユーザによって選択された参照情報に基づいて、対象画像の見え方の条件が揃えられている。また、対象画像に対してユーザが見え方を変更する操作を加えた場合、その影響は参照画像に及ばなかった。これに対し、以下の第二の実施形態では、対象画像表示領域４０２に対するズーム倍率の変更等のユーザ操作により、対象画像の表示の仕方が変化した場合に、参照画像の表示態様にその変化を反映する場合の動作について説明する。つまり、第二の実施形態では、対象画像に基づいて参照画像の見え方の条件（環境）を揃えるために、表示パラメータを調整する処理が行われる。
　図８は、第二の実施形態の情報処理装置において構造物点検処理を実現する機能ブロックを示した図である。対象画像入力部２０１～変状判定部２０４、参照情報保持部２０６～参照情報選択部２０９は、図２の対応した各部と同様であるため、それらの説明は省略する。第二の実施形態における表示パラメータ取得部８０１は、対象画像または対象画像表示部２０２から表示パラメータを取得する。
　また、図９Ａと図９Ｂは、第二の実施形態の情報処理装置における構造物点検処理において、ユーザ操作により対象画像の表示の仕方が変化した場合に実行される２種類の処理を表すフローチャートである。以下の図９Ａと図９Ｂのフローチャートの処理は、ユーザによって対象画像表示領域４０２のパラメータが変更されたことをきっかけに開始される。
　図９Ａのフローチャートは、対象画像において変更された表示パラメータを、選択されている１つの参照画像の表示パラメータとして適用することで両者の見え方を合わせる処理を表す。
　Ｓ９０１において、表示パラメータ取得部８０１は、対象画像表示部２０２に設定された現在の表示パラメータを取得する。第２の実施形態でも、表示パラメータは、例えばズーム倍率、明度調整値、色相調整値、ガンマ値等である。次にＳ９０２において、表示パラメータ適用部２０８は、参照情報表示部２０７に表示された参照画像のズーム倍率を、Ｓ９０１で取得したズーム倍率に変更する。
　ここで、図１５を参照して、図９Ａのフローチャートの処理が実行される際の、表示デバイス１０５における表示状態の遷移の例を説明する。図１５Ａ～Ｂは、第２の実施形態において、ユーザが構造物点検の作業を行う場合に図９Ａのフローチャートの処理が実行されることで生じる表示状態の変化を時系列に表している。図１５Ａは、図１４Ｂと同じ状態を表す。参照画像表示領域４０３には、選択状態にあるサムネイル画像１４０２に基づいた参照画像が表示される。また、図１５Ａでは、対象画像表示領域４０２の中に、ズーム倍率変更ボタン１５０１が表示されている。ズーム倍率変更ボタン１５０１は、例えば、対象画像表示領域４０２内でのクリックやダブルタップなどの所定の操作に応じて呼び出し可能な、表示パラメータの操作用インタフェースの一例である。ユーザは、ズーム倍率変更ボタン１５０１を操作することで、対象画像のズーム倍率を任意に変更することができる。
　図１５Ｂは、対象画像表示領域４０２の内部がユーザ操作に応じてさらにズームインされた状態を表す。本実施形態では、対象画像に対するユーザ操作があったことに応じて、参照画像表示領域４０３においても、対象画像と同じ表示パラメータの変化が反映される。図１５Ｂの場合、参照画像もズームインされている。本実施形態では、特に参照画像にズームイン（拡大）の処理を加える場合は、参照画像中の変状を見失うことがないように、表示される部分領域に必ず既に判定された変状が含まれるように位置合わせする。その結果、図１５Ｂの参照画像表示領域４０３には、サムネイル画像１４０２に切り出されている変状が拡大されて表示されている。
　図９Ｂのフローチャートは、対象画像において変更された表示パラメータを、選択されている参照画像だけでなく、表示情報一覧に含まれる全ての参照情報に反映の表示パラメータとして適用する処理を表す。ただし、図９Ｂの説明において、参照情報一覧は、各参照情報に基づいて得られる参照画像を、トリミングせずに縮小あるいは拡大したサムネイル画像から成ることとする。
　図９ＢのＳ９０１の処理は、図９ＡのＳ９０１の処理と同様であるため説明は省略する。
　次にＳ９０３において、参照情報選択部２０９は、参照情報保持部２０６に格納されているすべての参照情報について、後段のＳ９０４、Ｓ９０５の処理が完了したかを判定する。参照情報選択部２０９は、Ｓ９０３において処理が完了していると判定した場合には図９Ｂのフローチャートの処理を終了する。一方、参照情報選択部２０９は、Ｓ９０３において処理が完了していないと判定した場合にはＳ９０４に処理を進める。
　Ｓ９０４に進むと、参照情報選択部２０９は、参照情報保持部２０６から、後段のＳ９０４、Ｓ９０５の処理が完了していない参照情報を一件取得する。
　次に、Ｓ９０５において、参照情報選択部２０９は、Ｓ９０４で取得した参照情報を基に、Ｓ６０３で説明したような方法で参照画像を得る。そして、参照情報選択部２０９は、その参照画像に対して、Ｓ９０１で取得したズーム倍率に基づいて作成したスケール変換行列を適用し、その後、サムネイル画像のサイズまでリサイズする。ただし、この方法の場合、二度のリサイズ処理を行わなければならず、計算量が増加する。このため、Ｓ９０１で取得したズーム倍率と、参照画像とサムネイル画像のサイズ比から求めたサムネイル化のためのスケール係数を合わせて、一度のリサイズ処理で済むようにしてもよい。
　なお、図９Ｂのフローチャートの処理の完了後に、参照情報一覧の中からサムネイル画像が選択されると、図９Ａのフローチャートの処理が実行されるようにしてもよい。
　ここで、図１５Ｃ及び図１５Ｄを参照して、図９Ｂのフローチャートの処理が実行される際の、表示デバイス１０５における表示状態の遷移の例を説明する。図１５Ｃ～Ｄは、第２の実施形態において、ユーザが構造物点検の作業を行う場合に図９Ａのフローチャートの処理が実行されることで生じる表示状態の変化を時系列に表している。図１５Ｃにおいて、対象画像表示領域４０２の状態は図１５Ａと同じである。参照画像表示領域４０３には、選択状態にあるサムネイル画像１５０３に基づいた参照画像が表示されている。ここで、サムネイル画像１５０３に対応する参照画像は、図１５Ａにおけるサムネイル画像１４０２と同じである。ただし、図１５Ｃでは、参照情報一覧領域４０６に表示されているサムネイル画像が、参照画像そのものを縮小したものになっている。ユーザは、この場合にも、ズーム倍率変更ボタン１５０１を操作することで、対象画像のズーム倍率を任意に変更することができる。
　図１５Ｄは、対象画像表示領域４０２の内部がユーザ操作に応じてさらにズームインされた状態を表す。本実施形態では、対象画像に対するユーザ操作があったことに応じて、参照情報一覧領域４０６に表示されているサムネイル画像のそれぞれがズームインされる。図１５Ｄの場合、さらに図９Ａの処理を施すことで、参照画像もズームインされている。
　このように、第二の実施形態の情報処理装置によれば、対象画像に対するユーザ操作に基づいて、参照画像の見え方を常に対象画像と合うように揃えることができ、これによりユーザは迅速に変状を判定することが可能となる。
　＜第三の実施形態＞
　前述の第一の実施形態では、表示中の対象画像から参照画像を生成していた。これに対して、第三の実施形態においては、過去に生成された参照情報を読み込む（外部からの読込も含む）構成とする。ここで、本来、変状部分の撮影にあたっては、所定の解像度で撮影することが推奨されるが、撮影現場の状況によっては必ずしもこれが満たされるとは限らない。第三の実施形態のように過去に生成された参照情報を読み込むようにした場合、その読み込んだ参照情報に基づく参照画像の解像度と、撮影された対象画像の解像度とが異なることが起こり得る。このように対象画像と参照画像の解像度が異なっていると、前述のように単純にズーム倍率を合わせても両者の表示の仕方を揃えることが難しい。
　図１０は、第三の実施形態の情報処理装置における構造物点検処理を実現する機能ブロック図である。対象画像表示部２０２～参照情報選択部２０９は、図２の対応した各部と同様であるため、それらの説明は省略する。
　図１０において、対象画像入力部１００１は、ＨＤＤ１０７やＮＥＴＩＦ１０４から対象画像を取得する。その際、対象画像入力部１００１は、入力しようとする対象画像の解像度（単位はピクセル／ｍｍ）をユーザに求めることとする。ユーザによって入力された対象画像の解像度は、その対象画像が対象画像表示部２０２に表示されている間、一時データとして保持（例えばＲＡＭ１０２の所定の領域に保持）される。
　参照情報入力部１００２は、ＨＤＤ１０７やＮＥＴＩＦ１０４から参照情報を取得する。この場合の参照情報は、ファイルとして保存されていてもよいし、データベースに格納されていてもよい。なお、これから点検しようとする対象画像に対して、適切な参照情報を入力するために、複数の参照情報は、検索可能なように構造化されていてもよい。この場合、参照情報入力部１００２は、例えば参照情報の種類や程度によって検索する検索機能を有している。また、この場合の検索キーとしては、変状が現れた構造物の種類やその材質、変状が現れた位置、判定を行った人物などが利用できる。参照情報入力部１００２によって取得された参照情報は、例えば参照情報保持部２０６により一時的に保持される。
　参照情報出力部１００３は、第三の実施形態の情報処理装置において新たに生成された参照情報を、ＨＤＤ１０７やＮＥＴＩＦ１０４へ出力する。なお、出力された参照情報は、ファイルとして保存されてもよいし、データベースに格納されてもよい。
　図１１は、第三の実施形態において、参照情報保持部２０６が管理する参照情報テーブルを例示する図である。参照ＩＤ項目３０１～表示パラメータ項目３０６は図３の対応する各項目と同様であるため、それらの説明を省略する。図１１の参照情報テーブルには、画像パス項目１１０１と、解像度項目１１０２が用意されている。画像パス項目１１０１には、参照される変状が写り込んでいる画像を示すパスが記述される。解像度項目１１０２には、画像パス項目１１０１のパスが示す画像（参照される変状が写りこんでいる画像）の解像度が記述される。
　図１２は、第三の実施形態の情報処理装置における表示画面の一例を説明する図である。対象画像読込ボタン４０１～参照サムネイル画像４０７は、図４の対応する各表示要素と同様であるため、それらの説明は省略する。
　参照情報入力ボタン１２０１は、参照情報入力部１００２によって参照情報を入力する際にユーザにより操作されるボタンである。
　参照情報出力ボタン１２０２は、参照情報出力部１００３によって参照情報を出力する際にユーザにより操作されるボタンである。
　図１３は、本実施形態の情報処理装置で実現される構造物点検処理において、過去に生成された参照情報一覧のなかから参照情報が選択された場合に実行される処理を説明するフローチャートである。Ｓ６０１は、図６の対応するステップと同様であるため、その説明は省略する。図１３のフローチャートの場合、Ｓ６０１の後、Ｓ１３０１の処理に進む。
　Ｓ１３０１において、参照情報選択部２０９は、ユーザにより選択された参照情報から、変状が写り込んでいる画像のパスと解像度、変状判定時のズーム倍率を取得する。
　次にＳ１３０２において、対象画像表示部２０２は、表示されている対象画像の解像度を取得する。対象画像の解像度は、対象画像表示部２０２に表示中の対象画像に付随する一時データとして保持されているとする。
　次にＳ１３０３において、対象画像表示部２０２は、表示している対象画像と、Ｓ１３０１でパスと解像度、ズーム倍率が取得された画像（変状が写りこんでいる画像のなかから特定された参照画像）との、表示上での見え方（見た目の解像度）を合わせる。具体的には、対象画像表示部２０２は、後述する式（１）で求められるスケール係数を、それら二枚の画像のうち解像度が高い方に適用する。
　ここで、画像サイズのスケール係数Ｓ１は、Ｓ１３０１で取得した解像度をｒｅｓａとし、Ｓ１３０２で取得した解像度をｒｅｓｂとすると、式（１）のように求められる。
Figure JPOXMLDOC01-appb-M000001
　なお、ここでは、解像度が高い方の画像を適切にスケールすることで、もう一方の画像と表示上での見え方（見た目の解像度）を合わせているが、解像度が低い方の画像を適切にスケールさせてもう一方の画像と表示上における見た目の解像度を合わせてもよい。その場合、下記の式（２）で求められるスケール係数Ｓ２を解像度が低い方の画像に適用すればよい。
Figure JPOXMLDOC01-appb-M000002
　次にＳ１３０４において、表示パラメータ適用部２０８は、Ｓ１３０３で両者の表示上での見え方（見た目の解像度）を合わせた後に、Ｓ１３０１で取得したズーム倍率を、対象画像表示部２０２にて表示されている対象画像に適用する。
　このように、第三の実施形態においては、他ユーザが本実施形態の情報処理装置を用いて点検作業を行った際に作成された参照情報を流用することができる。これにより、第三の実施形態によれば、点検作業に熟練したユーザ（熟練者）によって生成された参照情報を、熟練していない初級のユーザ（初級者）が利用可能となり、初級者でも熟練者の判定基準に合わせた判定を行うことが可能となる。
　なお、第三の本実施形態では、対象画像の表示の仕方を参照画像に対して揃えているが、もちろん、参照画像の表示の仕方を対象画像に対して揃えてもよい。この場合の処理は、基本的には図９Ａあるいは図９Ｂのフローチャートで説明した通りであるが、Ｓ１３０３のように予め両者の見た目の解像度を揃えておく必要がある。また、第三の実施形態では、過去に生成された参照情報を一覧表示して選択する例を挙げたが、一覧表示される参照情報には過去に生成された参照情報と前述の実施形態のように対象画像から新たに生成した参照情報の両者が含まれていてもよい。
　以上説明したように、本発明にかかる前述した各実施形態によれば、ユーザの変状判定結果に基づいて、変状判定の際に参照する参照画像を自動的に生成することが可能となる。また、各実施形態によれば、点検対象の画像と変状判定の参照画像との見え方を合わせることで、両者の比較をしやすくすることが可能となっている。
　＜その他の実施形態＞
　本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１７年９月１３日提出の日本国特許出願特願２０１７－１７５８０６と２０１８年８月２３日提出の日本国特許出願特願２０１８－１５６３３１を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (20)

  1. 　対象物を撮影した対象画像に基づいて前記対象物の変状を特定するユーザの作業を支援する情報処理装置であって、
    　前記ユーザの指示に基づいて、前記対象物の変状を特定するユーザの作業において参照される１以上の参照画像からいずれかを選択する選択手段と、
    　前記対象画像と、前記選択された参照画像とを、所定の表示デバイスにおいて比較可能に表示させる表示手段と、
    　前記表示手段によって表示された前記対象画像内の変状を指定する前記ユーザの操作を受け付ける指定手段と、
    　前記対象画像のうち前記指定された変状を含む部分領域に基づいて、新たな参照画像を生成する生成手段と、を備え、
    　前記生成手段によって生成された新たな参照画像は、前記選択手段によって選択され得る前記１以上の参照画像に加えられることを特徴とする情報処理装置。
  2. 　前記選択手段によって選択された前記参照画像の前記表示デバイスにおける表現に関する表示パラメータを取得する取得手段と、
    　前記取得手段によって取得された表示パラメータに基づいて、前記対象画像の前記表示デバイスにおける表現に関する表示パラメータを調整する調整手段をさらに備え、
    　前記表示手段は、前記調整手段によって調整された表示パラメータを反映した状態で、前記対象画像と前記参照画像とを前記比較可能に表示することを特徴とする請求項１に記載の情報処理装置。
  3. 　前記対象画像の前記表示デバイスにおける表現に関する表示パラメータを取得する取得手段と、
    　前記取得手段によって取得された表示パラメータに基づいて、前記参照画像の前記表示デバイスにおける表現に関する表示パラメータを調整する調整手段をさらに備え、
    　前記表示手段は、前記調整手段によって調整された表示パラメータを反映した状態で、前記対象画像と前記参照画像とを前記比較可能に表示することを特徴とする請求項１に記載の情報処理装置。
  4. 　前記表示パラメータは、ズーム倍率、明度調整値、色相調整値、ガンマ値、画像の解像度の、少なくともいずれかを含むことを特徴とする請求項２または３に記載の情報処理装置。
  5. 　表示デバイスに表示される前記対象画像とは、作業の対象物である構造物を撮影した写真のうちの少なくとも一部の領域であって、前記ユーザによるスクロール、ズームイン、ズームアウトの少なくとも１つの操作によって前記対象画像として表示される領域は変更されることが可能であって、
    　前記生成手段は、前記指定手段によって前記対象画像として表示される領域に含まれる変状が指定された時点での前記対象画像として表示される領域のズーム倍率を、前記新たな参照画像に関する表示パラメータとして前記参照画像に関連付けることを特徴とする請求項２または３に記載の情報処理装置。
  6. 　前記参照画像は、参照情報に基づいて前記対象画像のなかで特定される部分領域であり、
    　前記参照情報は、前記変状の位置およびサイズを表す情報と、前記変状の種類を表す情報と、前記変状の程度を表す情報とを含み、前記対象画像のなかに含まれる変状を表した情報であることを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
  7. 　前記参照画像は、当該参照画像に含まれる変状を指定する前記ユーザの操作が前記指定手段によって受け付けられたときに、前記対象画像として前記表示デバイスに表示されていた画像に相当することを特徴とする請求項６に記載の情報処理装置。
  8. 　前記参照画像は、参照情報の生成元である画像から当該参照情報に基づいて特定される領域であり、
    　前記参照情報は、当該参照情報の生成元である画像を表すパスと、前記変状の位置およびサイズを表す情報と、前記変状の種類を表す情報と、前記変状の程度を表す情報とを含み、前記参照情報の生成元である画像のなかに含まれる変状を表した情報であることを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
  9. 　前記指定手段は、前記ユーザが入力する前記指定された変状の種類及び前記指定された変状の程度を表す情報を取得し、
    　前記生成手段は、前記指定手段によって取得された変状の種類及び変状の程度を表す情報に基づいて、前記参照情報を生成することを特徴とする請求項７に記載の情報処理装置。
  10. 　前記選択手段は、前記表示デバイスに一覧として表示される前記参照情報を表すサムネイル画像のいずれかを選択するユーザの指示に基づいて、前記参照画像を選択することを特徴とする請求項７または８に記載の情報処理装置。
  11. 　前記表示デバイスに一覧として表示される前記サムネイル画像のそれぞれは、前記参照画像のうち変状が指定された部分をトリミングした画像を縮小した画像に相当することを特徴とする請求項１０に記載の情報処理装置。
  12. 　前記選択手段は、前記表示デバイスに一覧として表示される前記参照情報を表す文字列のいずれかを選択するユーザの指示に基づいて、前記参照画像を選択することを特徴とする請求項７または８に記載の情報処理装置。
  13. 　前記一覧として表示される前記参照情報を、前記変状の種類と程度の少なくともいずれかに基づいて、ソートするソート手段を有することを特徴とする請求項１０から１２のいずれか１項に記載の情報処理装置。
  14. 　前記一覧として表示される前記参照情報を、前記変状の種類と程度の少なくともいずれかに基づいて、グルーピングするグループ化手段を有することを特徴とする請求項１０から１２のいずれか１項に記載の情報処理装置。
  15. 　前記生成手段によって新たに生成された参照画像を特定する参照情報は、
    　前記一覧において、前記グループ化手段によってグルーピングされたグループのいずれかの最後に追加されることを特徴とする請求項１４に記載の情報処理装置。
  16. 　前記表示手段は、前記対象画像と前記参照画像を、前記表示デバイスにおいてサイドバイサイドに表示することによって、前記対象画像と前記参照画像を比較可能に表示することを特徴とする請求項１から１３のいずれか１項に記載の情報処理装置。
  17. 　前記表示手段は、前記表示デバイスの同一領域において前記対象画像と前記参照画像を所定時間毎に切り替えながら表示することによって、前記対象画像と前記参照画像を比較可能に表示することを特徴とする請求項１から１３のいずれか１項に記載の情報処理装置。
  18. 　前記変状は、前記対象物の表面に発生する、ひび割れ、浮き、剥離、エフロレッセンス、コールドジョイント、ジャンカ、表面気泡、砂筋、錆汁の、少なくともいずれかを含むことを特徴とする請求項１から１５のいずれか１項に記載の情報処理装置。
  19. 　対象物を撮影した対象画像に基づいて前記対象物の変状を特定するユーザの作業を支援する情報処理装置が実行する情報処理方法であって、
    　前記ユーザの指示に基づいて、前記対象物の変状を特定するユーザの作業において参照される１以上の参照画像からいずれかを選択する工程と、
    　前記対象画像と、前記選択された参照画像とを、所定の表示デバイスにおいて比較可能に表示させる工程と、
    　表示された前記対象画像内の変状を指定する前記ユーザの操作を受け付ける工程と、
    　前記対象画像のうち前記指定された変状を含む部分領域に基づいて、新たな参照画像を生成する工程と、
    　前記生成された新たな参照画像を、前記選択する工程によって選択され得る前記１以上の参照画像に加える工程と、
    　を有することを特徴とする情報処理方法。
  20. 　コンピュータを、請求項１から１８のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
PCT/JP2018/032750 2017-09-13 2018-09-04 情報処理装置、情報処理方法、及びプログラム WO2019054235A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/799,486 US11430107B2 (en) 2017-09-13 2020-02-24 Information processing apparatus, information processing method, and non-transitory computer readable medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017-175806 2017-09-13
JP2017175806 2017-09-13
JP2018-156331 2018-08-23
JP2018156331A JP2019053050A (ja) 2017-09-13 2018-08-23 情報処理装置、情報処理方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/799,486 Continuation US11430107B2 (en) 2017-09-13 2020-02-24 Information processing apparatus, information processing method, and non-transitory computer readable medium

Publications (1)

Publication Number Publication Date
WO2019054235A1 true WO2019054235A1 (ja) 2019-03-21

Family

ID=65722630

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/032750 WO2019054235A1 (ja) 2017-09-13 2018-09-04 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
JP (2) JP2023054012A (ja)
WO (1) WO2019054235A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112229836A (zh) * 2020-09-15 2021-01-15 华南农业大学 水稻实粒与空粒检测装置及检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000097871A (ja) * 1998-09-25 2000-04-07 Hitachi Ltd レビュー装置
WO2001041068A1 (fr) * 1999-11-29 2001-06-07 Olympus Optical Co., Ltd. Systeme de detection de defaut
JP2001156135A (ja) * 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
JP2003317082A (ja) * 2002-04-25 2003-11-07 Dainippon Screen Mfg Co Ltd 分類支援装置、分類装置およびプログラム
JP2004080517A (ja) * 2002-08-20 2004-03-11 Olympus Corp 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム
JP2004078690A (ja) * 2002-08-20 2004-03-11 Olympus Corp 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム
JP2015200554A (ja) * 2014-04-08 2015-11-12 三菱電機株式会社 目視検査方法及び目視検査支援装置
WO2016189764A1 (ja) * 2015-05-26 2016-12-01 三菱電機株式会社 検出装置および検出方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004215041A (ja) * 2003-01-06 2004-07-29 Olympus Corp 画像処理装置、画像処理プログラム、記録媒体、および画像処理方法
JP2005084089A (ja) * 2003-09-04 2005-03-31 Fuji Photo Film Co Ltd 画像比較表示方法及びその装置並びに画像比較表示プログラム
JP4753711B2 (ja) * 2005-12-22 2011-08-24 株式会社キーエンス ３次元画像表示装置、３次元画像表示装置の操作方法、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2017086807A (ja) * 2015-11-17 2017-05-25 キヤノン株式会社 画像取得装置及びその駆動方法、並びに、プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000097871A (ja) * 1998-09-25 2000-04-07 Hitachi Ltd レビュー装置
WO2001041068A1 (fr) * 1999-11-29 2001-06-07 Olympus Optical Co., Ltd. Systeme de detection de defaut
JP2001156135A (ja) * 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
JP2003317082A (ja) * 2002-04-25 2003-11-07 Dainippon Screen Mfg Co Ltd 分類支援装置、分類装置およびプログラム
JP2004080517A (ja) * 2002-08-20 2004-03-11 Olympus Corp 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム
JP2004078690A (ja) * 2002-08-20 2004-03-11 Olympus Corp 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム
JP2015200554A (ja) * 2014-04-08 2015-11-12 三菱電機株式会社 目視検査方法及び目視検査支援装置
WO2016189764A1 (ja) * 2015-05-26 2016-12-01 三菱電機株式会社 検出装置および検出方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112229836A (zh) * 2020-09-15 2021-01-15 华南农业大学 水稻实粒与空粒检测装置及检测方法
CN112229836B (zh) * 2020-09-15 2022-02-15 华南农业大学 水稻实粒与空粒检测装置及检测方法

Also Published As

Publication number Publication date
JP2024040370A (ja) 2024-03-25
JP2023054012A (ja) 2023-04-13

Similar Documents

Publication Publication Date Title
US20210372939A1 (en) Information processing apparatus, information processing method and program
US11430107B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP6767490B2 (ja) 欠陥検査装置、欠陥検査方法、およびプログラム
US6990255B2 (en) Image defect display system
US11836961B2 (en) Information processing apparatus, information processing method, and storage medium for determining whether a captured image of a subject is suitable for recognition processing
CN103988069A (zh) 图像检查装置的检查区域设定方法
JP2024040370A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2013174581A (ja) 画像データ生成装置および画像データ生成方法
JPH11132961A (ja) 構造物用検査装置
JP2020129439A (ja) 情報処理システムおよび情報処理方法
JP2019207535A (ja) 情報処理装置、情報処理方法及びプログラム
JP6004902B2 (ja) 画像表示装置及び方法並びにプログラム
JP2024019350A (ja) 情報処理装置、情報処理方法、及びプログラム
JP7479528B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2023063324A5 (ja)
CN111586328A (zh) 信息处理装置、信息处理方法和记录介质
JP2004021578A (ja) 画像処理方法
JP7194348B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2008032555A (ja) 実装部品検査装置
JP7477956B2 (ja) 画像処理装置およびその制御方法、情報処理システム
CN111435969B (zh) 图像处理装置及其控制方法、记录介质和信息处理系统
Conklin Tutorial for Collecting and Processing Images of Composite Structures to Determine the Fiber Volume Fraction
JP2020003272A (ja) クラック計測システム
JP2006025006A (ja) プリント画像選択装置及びプリント画像選択方法
WO2020031222A1 (ja) データ作成支援装置、データ作成支援方法およびデータ作成支援プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18857267

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18857267

Country of ref document: EP

Kind code of ref document: A1