WO2022181746A1 - 画像表示装置、画像表示方法及びプログラム - Google Patents

画像表示装置、画像表示方法及びプログラム Download PDF

Info

Publication number
WO2022181746A1
WO2022181746A1 PCT/JP2022/007786 JP2022007786W WO2022181746A1 WO 2022181746 A1 WO2022181746 A1 WO 2022181746A1 JP 2022007786 W JP2022007786 W JP 2022007786W WO 2022181746 A1 WO2022181746 A1 WO 2022181746A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
judged
defect
value
images
Prior art date
Application number
PCT/JP2022/007786
Other languages
English (en)
French (fr)
Inventor
遼 池田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN202280017009.6A priority Critical patent/CN116897282A/zh
Priority to JP2023502523A priority patent/JPWO2022181746A1/ja
Priority to EP22759780.4A priority patent/EP4300084A4/en
Publication of WO2022181746A1 publication Critical patent/WO2022181746A1/ja
Priority to US18/454,751 priority patent/US20230401696A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/18—Investigating the presence of flaws defects or foreign matter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the present invention relates to an image display device, an image display method and a program, and more particularly to a technique for judging defects of an inspection object from an image of the inspection object.
  • Patent Document 1 There is known a device that, when displaying a reference image and a comparative image, corrects the position and magnification of the reference image to be the same as those of the comparative image, and causes the display means to display the comparative image so that the reference image can be compared with the comparative image.
  • the technique described in Japanese Patent Application Laid-Open No. 2002-200002 is a technique aimed at determining the forgery of printed matter, and compares an image to be inspected of printed matter and a reference image of printed matter photographed under the same photographing conditions on a one-to-one basis. It was effective when judging whether the However, the specifications required for the purpose of determining the presence or absence of defects and the degree of defects are different, and the technology described in Patent Document 1 cannot be applied.
  • One aspect of an image display device for achieving the above object comprises at least one processor and at least one memory for storing instructions to be executed by the at least one processor, the at least one processor comprising: A plurality of determined images obtained by acquiring an inspection object image in which a first inspection object is photographed, and by photographing a plurality of second inspection objects different from the first inspection object, extracting a judged image from a database storing a plurality of judged images to which judgment results of defects of the second object to be inspected are stored; The above judged images are displayed on a display, and at least two or more judged images are a first judged image in which a defect of a second inspection object is visually recognized in a first appearance, and a first appearance.
  • the image display device includes a second judged image in which the defect of the second inspection object is visually recognized in a second appearance different from the first judged image, and the judgment result is the same as the first judged image. . According to this aspect, regardless of how the defect appears, it is possible to easily determine the defect in the image to be inspected.
  • the at least one processor preferably extracts the first determined image and the second determined image from the database.
  • the at least one processor preferably extracts the first determined image from the database and generates a second determined image based on the first determined image.
  • the at least one processor preferably generates a first determined image and a second determined image based on the extracted determined image.
  • the database stores only a plurality of judged images obtained by photographing the second inspection object having defects.
  • the database stores a plurality of judged images to which judgment results regarding the presence/absence of defects in the second inspection object have been added, and the first judged image and the second judged image each have a defect. It is preferable that the judgment result that has is given.
  • the database stores a plurality of judged images to which judgment results of the types or degrees of defects of the second inspection object are assigned, and the first judged image and the second judged image are It is preferable that the determination result of the defect type or degree is the same.
  • At least one processor receives a region of interest of the image to be inspected and extracts at least two or more determined images including regions related to the received region of interest.
  • the at least one processor preferably accepts a region of interest input by a user or obtained from image analysis results of an image to be inspected.
  • At least one processor can receive at least one of textual information and numerical information and extract at least two or more determined images related to at least one of the received textual information and numerical information. preferable.
  • At least one processor receives at least one of character information and numerical information input by a user, or at least one of character information and numerical information obtained from image analysis results of an image to be inspected. is preferred.
  • the first judged image is: having a first value that is relatively smaller than a first reference value for a display parameter of at least one item, the first value at which the defect is visible in the first appearance, and a second determination;
  • the image has a second value for the display parameter of at least one item that is relatively greater than the first reference value, the second value making the defect visible in the second appearance.
  • At least one processor arranges at least three or more judged images based on the extracted judged images in ascending or descending order of display parameter values of at least one item and displays them on the display.
  • the first determined image has the second reference value for the grade of difficulty of defect determination. It has a third value that is relatively lower than the reference value and that the defect is visually recognized in the first appearance, and the second judged image is the degree of difficulty of judgment of the defect. It is preferred to have a fourth value for grade that is relatively higher than the third reference value, the fourth value being visible in the second appearance of the defect.
  • the at least one processor preferably identifies the second reference value, the third value, and the fourth value based on the brightness contrast value between the defect candidate area and the background area other than the defect candidate area.
  • the at least one processor preferably identifies the second reference value, the third value, and the fourth value based on at least one of pixel values, shape, and area of the defect candidate region.
  • At least one processor sets the second reference value, the third value, and the fourth value based on at least one of how the defect candidate regions overlap and the texture of the peripheral region of the defect candidate region. It is preferred to specify.
  • At least one processor calculates a second reference value based on at least one of the skill of the judge, the reliability of the judge, the presence or absence of variations in judgment results by a plurality of judges, and the time required for judgment; Preferably, a third value and a fourth value are specified.
  • the judged image stored in the database is given a difficulty grade value in advance.
  • At least one processor extracts from the database three or more judged images having different grade values for the degree of difficulty, arranges the three or more judged images in ascending or descending order of the grade values, and displays them on the display. is preferred.
  • One aspect of the image processing method for achieving the above object is an inspection object image acquiring step of acquiring an inspection object image in which a first inspection object is photographed; from a database storing a plurality of judged images each of which is a plurality of judged images obtained by respectively photographing the second inspection objects of and to which judgment results of defects of the plurality of second inspection objects are respectively given; a judged image extracting step of extracting a judged image; and a display control step of displaying on a display at least two judged images based on the image to be inspected and the extracted judged image, wherein at least two The judged image includes a first judged image in which a defect of a second inspection object is visually recognized in a first appearance, and a second inspection object in a second appearance different from the first appearance.
  • One aspect of the program for achieving the above object is a program for causing a computer to execute the image display method described above.
  • a computer-readable non-transitory storage medium in which this program is recorded may also be included in this embodiment.
  • the present invention it is possible to easily determine a defect in an image to be inspected regardless of how the defect looks.
  • FIG. 1 is a block diagram showing a defect inspection system.
  • FIG. 2 is a block diagram showing an example of an imaging system.
  • FIG. 3 is a flow chart showing the steps of the image display method.
  • FIG. 4 is a diagram showing an example of a display screen on which an image to be inspected is displayed.
  • FIG. 5 is a diagram showing an example of input of a region of interest by the user.
  • FIG. 6 is a diagram showing an example of a display screen on which a judged image is displayed.
  • FIG. 7 is a diagram showing an example of a display screen for allowing the user to select items displayed in stages.
  • FIG. 8 is a diagram showing an example of a display screen on which a judged image is displayed.
  • FIG. 9 is a diagram showing an example of a screen display on a display for the user to input character information.
  • FIG. 10 is a diagram showing an example of a display screen for the user to input numerical information.
  • a defect inspection system is a system in which a user judges a defect of an inspection object from an image of an industrial product that is an inspection object.
  • an example will be described in which an image of an inspection object photographed by the user is displayed, and an image that is referred to for determining defects in the inspection object is displayed.
  • the inspection target image of the inspection target is a radiographic image of an industrial product will be described, but it may be another target object and another interpretation target image.
  • the industrial product to be inspected is not particularly limited in material such as metal or resin, and may be pre-processed or post-processed, and may be a part or an assembly.
  • FIG. 1 is a block diagram showing a defect inspection system 10 according to this embodiment.
  • the defect inspection system 10 includes an imaging system 12, a display 14, an image display device 16, an input device 18, and an image database 20.
  • FIG. 1 is a block diagram showing a defect inspection system 10 according to this embodiment.
  • the defect inspection system 10 includes an imaging system 12, a display 14, an image display device 16, an input device 18, and an image database 20.
  • FIG. 1 is a block diagram showing a defect inspection system 10 according to this embodiment.
  • the defect inspection system 10 includes an imaging system 12, a display 14, an image display device 16, an input device 18, and an image database 20.
  • the imaging system 12 is a system that captures an image of the inspection object OBJ, which is the first inspection object. Details of the imaging system 12 will be described later.
  • the display 14 is a display device for allowing the user to visually recognize an image of an object to be inspected in which the object to be inspected OBJ is photographed.
  • the display 14 displays screens required for operations on the input device 18 and functions as a part that implements a GUI (Graphical User Interface).
  • GUI Graphic User Interface
  • the image display device 16 is a control device for displaying the image of the inspection object OBJ captured by the imaging system 12 on the screen of the display 14 .
  • the image display device 16 has a processor 16A and a memory 16B.
  • the processor 16A executes instructions stored in the memory 16B.
  • a plurality of processors 16A may be provided.
  • the hardware structure of the processor 16A is various processors as shown below.
  • Various processors include a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) and acts as various functional units, a GPU (Graphics Processing Unit), which is a processor specialized for image processing, A circuit specially designed to execute specific processing such as PLD (Programmable Logic Device), which is a processor whose circuit configuration can be changed after manufacturing such as FPGA (Field Programmable Gate Array), ASIC (Application Specific Integrated Circuit), etc. Also included are dedicated electrical circuits, which are processors with configuration, and the like.
  • One processing unit may be composed of one of these various processors, or two or more processors of the same or different type (for example, a plurality of FPGAs, a combination of CPU and FPGA, or a combination of CPU and GPU).
  • a plurality of functional units may be configured by one processor.
  • a single processor is configured by combining one or more CPUs and software.
  • a processor acts as a plurality of functional units.
  • SoC System On Chip
  • various functional units are configured using one or more of the above various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electrical circuit that combines circuit elements such as semiconductor elements.
  • the memory 16B stores instructions to be executed by the processor 16A.
  • the memory 16B includes RAM (Random Access Memory) and ROM (Read Only Memory) (not shown).
  • the processor 16A uses the RAM as a work area, executes software using various programs and parameters including an image display program stored in the ROM, and uses the parameters stored in the ROM or the like to perform image display. Various operations of device 16 are performed.
  • the input device 18 is an interface that receives operation input from the user.
  • the input device 18 includes a keyboard for character input, a pointer displayed on the screen of the display 14, and a pointing device for operating icons and the like.
  • Input device 18 may be a touch panel display integrated with display 14 .
  • the image database 20 is composed of a large-capacity storage device.
  • the image database 20 stores a plurality of determined images obtained by photographing a plurality of different second inspection objects in the past. Each determined image is associated with a defect determination result of the second inspection object.
  • the second inspection object is an article different from the inspection object OBJ, and the plurality of second inspection objects are articles different from each other.
  • the second object to be inspected may be, for example, the same standard product as the object to be inspected OBJ, or may be an object having a shape different from that of the object to be inspected OBJ.
  • the judgment result of the defect of the second inspection object stored in the image database 20 may be the judgment result of the presence or absence of the defect, or the judgment result of the type or degree of the defect of the second inspection object. Further, the image database 20 may store only a plurality of determined images obtained by photographing the second inspection object having defects. In this case, it can be understood that the judged image stored in the image database 20 is associated with the judgment result that it has a defect.
  • the imaging system 12, the image display device 16, and the image database 20 are communicably connected via the network NW.
  • the network NW is, for example, LAN (Local Area Network), WAN (Wide Area Network), or Internet connection.
  • the imaging system 12, the image display device 16, and the image database 20 may be communicably connected by a USB (Universal Serial Bus) cable or the like, or may be communicably connected by short-range wireless communication using infrared rays or the like. good too.
  • the photographing system 12, the image display device 16, and the image database 20 may exchange data including images using removable and readable storage media.
  • FIG. 2 is a block diagram showing an example of the imaging system 12.
  • the imaging system 12 includes an imaging room 22 , an imaging control section 24 , an imaging operation section 26 , an image recording section 28 , a radiation detector 30 and a radiation source 34 .
  • the imaging room 22 is X-ray protected by X-ray protective materials (for example, lead, concrete, etc.) at the partition walls and entrances to the outside. Inside the imaging room 22, in addition to the radiation detector 30 and the radiation source 34, an object to be inspected OBJ to be imaged is arranged.
  • X-ray protective materials for example, lead, concrete, etc.
  • the shooting control section 24 includes a CPU that controls the operation of each section of the shooting system 12 .
  • the photographing control unit 24 receives operation input from the photographer via the photographing operation unit 26, transmits control signals corresponding to the received operation input to each unit of the photographing system 12, and controls the operation of each unit.
  • the shooting operation unit 26 is an input device that receives operation inputs from the photographer. Via the imaging operation unit 26, the operator inputs information about the object to be inspected OBJ and inputs instructions to the radiation detector 30 to perform imaging (imaging conditions such as exposure time, focal length, aperture, imaging angle, imaging location, etc.). etc.), input of radiation irradiation instructions to the radiation source 34 (including settings such as irradiation start time, irradiation duration, irradiation angle, irradiation intensity, etc.), and record the acquired image in the image recording unit 28 Instructions can be entered.
  • the image recording unit 28 records an image (light receiving image data) of the inspection object OBJ captured by the radiation detector 30 .
  • Information for identifying the inspection object OBJ is recorded in the image recording unit 28 in association with the image.
  • the radiation source 34 is, for example, an X-ray source.
  • the radiation source 34 irradiates the object to be inspected OBJ in the imaging room 22 with radiation according to the instruction from the imaging control unit 24 . In the case of irradiating the inspection object OBJ with visible light for imaging, it is not necessary to use the protected imaging room 22 .
  • the radiation detector 30 receives the radiation emitted from the radiation source 34 to the object to be inspected OBJ and transmitted through the object to be inspected OBJ, and images the object to be inspected OBJ in accordance with the instruction to execute imaging from the imaging control unit 24 .
  • the inspection object OBJ is held in the imaging room 22 by a holding member (for example, a manipulator, a mounting table, a movable mounting table) (not shown).
  • the distance and angle to the are adjustable.
  • the operator can control the relative positions of the object to be inspected OBJ, the radiation detector 30, and the radiation source 34 via the imaging control unit 24, so that a desired portion of the object to be inspected OBJ can be imaged.
  • the radiation source 34 finishes irradiating the inspection object OBJ with radiation in synchronization with the end of the execution of imaging by the radiation detector 30 .
  • the radiation detector 30 is arranged inside the imaging room 22. However, if the radiation detector 30 is capable of imaging the object to be inspected OBJ in the imaging room 22, It may be arranged outside the chamber 22 .
  • one radiation detector 30 and one radiation source 34 are provided, but the number of radiation detectors and radiation sources is not limited to this. For example, there may be multiple radiation detectors and multiple radiation sources.
  • Image display method An image display method using the image display device 16 will be described.
  • the image display method is implemented by the processor 16A executing an image display program stored in the memory 16B.
  • the image display program may be provided by a computer-readable non-transitory storage medium.
  • the image display device 16 may read the image display program from the non-temporary storage medium and store it in the memory 16B.
  • FIG. 3 is a flow chart showing the steps of the image display method.
  • an image obtained by photographing the inspection object OBJ is referred to for determining defects in the inspection object OBJ. display the image to be displayed.
  • the processor 16A of the image display device 16 acquires an inspection target image in which the first inspection target is photographed (step S1: an example of an inspection target image acquisition process).
  • the processor 16A acquires the inspection object image 100 (see FIG. 4) in which the inspection object OBJ is photographed from the image database 20 via the network NW.
  • An inspection object image 100 is an image of an inspection object OBJ captured by the imaging system 12 .
  • FIG. 4 is a diagram showing an example of the screen of the display 14 on which the image 100 to be inspected is displayed. The user can judge defects in the inspection object OBJ while looking at this screen.
  • the processor 16A receives the region of interest of the image to be inspected input by the user (step S3).
  • the user uses the input device 18 to input an arbitrary area of the inspection target image 100 displayed on the display 14 as an attention area.
  • FIG. 5 is a diagram showing an example of input of a region of interest by the user.
  • the user inputs the attention area AX included in the range 104 by specifying the range 104 with the cursor 102 by dragging the pointing device (not shown).
  • the input of the attention area by the user is not limited to the drag operation of the pointing device, and may be the touch operation of the touch panel, or the coordinate input operation using the keyboard or the like.
  • the attention area received in step S3 may be the attention area obtained from the image analysis result of the inspection target image 100 .
  • the processor 16A performs image analysis on the inspection object image 100, extracts the defect candidate area of the inspection object OBJ, and sets the defect candidate area as the attention area. If a plurality of defect candidate areas are extracted by image analysis, the processor 16A may allow the user to select which defect candidate area to use as the attention area.
  • the processor 16A may extract the defect candidate area by a trained model that outputs the defect candidate area when the image to be inspected is given as an input. This trained model can apply a convolution neural network (CNN).
  • CNN convolution neural network
  • the processor 16A extracts at least two judged images from the database (step S4: an example of the judged image extraction step).
  • the processor 16A extracts from the image database 20 at least two or more determined images including the area related to the attention area AX received in step S3.
  • the area related to the attention area AX is, for example, an area in which at least one of defect type, defect size, and defect density is similar to the defect candidate included in the attention area AX.
  • At least two or more judged images are the first judged image in which the first defect of the second judged inspection object is visually recognized in the first appearance, and the first appearance is A second determined image is included in which the second defect of the second determined inspection object is viewed in a different second appearance.
  • the inspection object OBJ, the second determined inspection object of the first determined image, and the second determined inspection object of the second determined image may each have the same shape, or Different shapes are possible.
  • the judgment result given to the first judged image and the judgment result given to the second judged image are the same.
  • the processor 16A selects the first judged image and the second judged image as Regardless of which image is extracted, the judgment result given to the first judged image and the judgment result given to the second judged image are the same.
  • the processor 16A stores the first judged image and the second judged image. As the judged image, the image of the judgment result of the existence of defect or the judgment result of no defect is extracted.
  • the processor 16A stores the first judged image, As the second judged image and the second judged image, images having the same defect type or degree judgment result are extracted.
  • the processor 16A acquires the determined images 106A, 106B, 106C, and 106D (see FIG. 6) of the four determined inspection objects OBJA, OBJB, OBJC, and OBJD.
  • the determined images 106A, 106B, 106C, and 106D respectively include defects DA, DB, DC, and DD (see FIG. 6), which are areas related to the attention area AX received in step S3.
  • the processor 16A causes the display 14 to display the image 100 to be inspected acquired in step S1 and the judged images 106A, 106B, 106C, and 106D, which are at least two or more judged images extracted in step S4 ( Step S5: an example of a display control process).
  • Step S5 an example of a display control process
  • FIG. 6 is a diagram showing an example of the screen of the display 14 on which the determined images 106A, 106B, 106C, and 106D are displayed.
  • the display 14 displays an image 100 to be inspected as well as determined images 106A, 106B, 106C, and 106D.
  • the user can appropriately determine defects in the attention area AX by comparing the attention area AX of the image to be inspected with the defects DA, DB, DC, and DD on this screen.
  • the at least two judged images displayed on the display 14 are at least one of contrast, sharpness, brightness, background brightness, and unique items set by the user.
  • display parameter values are different.
  • the value of the display parameter of the graded display item of the image to be inspected 100 is set as the first reference value.
  • the defect DA of the determined inspection object OBJA shown in the determined image 106A shown in FIG. 6 is a defect visually recognized in the first appearance.
  • the judged image 106A has a first value that is relatively smaller than the first reference value for the display parameter of the graded display item and that the defect DA is visually recognized in the first appearance.
  • the defect DB of the judged inspection object OBJB shown in the judged image 106B is a defect visually recognized in the second appearance.
  • the judged image 106B has a second value that is relatively larger than the reference value for the display parameter of the graded display item and that the defect DB is visually recognized in the second appearance.
  • the defect DC of the judged inspection object OBJC shown in the judged image 106C is a defect visually recognized in the third appearance.
  • the judged image 106C has a fifth value that is relatively larger than the second value for the display parameter of the graded display item, and that the defect DC is visually recognized in the third appearance.
  • the defect DD of the judged inspection object OBJD shown in the judged image 106D is a defect visually recognized in the fourth appearance.
  • the judged image 106D has a sixth value of the display parameter of the graded display item, which is relatively larger than the fifth value, and the defect DD is visually recognized in the fourth appearance.
  • the processor 16A causes the display 14 to display three or more determined images 106A, 106B, 106C, and 106D, which are three or more determined images having different values for the display parameters of the graded display items. ing.
  • the processor 16A acquires the first reference value of the display parameter of the graded display item of the image to be inspected 100, and at least one of the plurality of determined images to be displayed has the first reference value for the display parameter of the graded display item. and at least one of which has a value relatively greater than the first reference value is displayed on the display 14 .
  • the processor 16A arranges the three or more determined images in ascending or descending order of the display parameter values of the graded display items and causes the display 14 to display them.
  • judged images 106A, 106B, 106C, and 106D are arranged in ascending order from left to right on the screen.
  • the processor 16A has explained an example in which all of the at least two or more determined images to be displayed on the display 14 are extracted from the image database 20, but the determined images to be displayed on the display 14 are extracted from the image database 20. Any image may be used as long as it is based on the determined image.
  • the processor 16A extracts the judged image 106B from the image database 20, and based on the judged image 106B, judges the judged image 106A, the judged image 106C, and the judged image having different values of the display parameters of the graded display items. 106D may be generated. Further, the processor 16A generates a judged image 106A, a judged image 106B, a judged image 106C, and a judged image 106D having different values of the display parameters of the graded display items based on the judged images extracted from the image database 20. may be generated. The judged image generated in this way has the same defect judgment result as the judged image extracted from the image database 20 as a basis.
  • the graded display items may be configured to be selectable by the user.
  • FIG. 7 is a diagram showing an example of a screen of the display 14 for allowing the user to select an item for sorting reference images, that is, an item for stepwise display of judged images. 1000 in FIG. 7 indicates the screen before selection by the user.
  • buttons 108 for "contrast”, “brightness”, “difficulty of judgment”, “sharpness”, “background brightness”, and "custom setting” are displayed so as to be selectable.
  • the user selects at least one button 108 out of these items using a pointing device (not shown) to select “contrast”, “brightness”, “difficulty of judgment”, “sharpness”, “background At least one of "brightness” and “custom setting” can be a graded display item.
  • the "difficulty of judgment” and “custom settings” are examples of "unique items set by the user”. When the user selects "custom setting”, the user can set desired items. The “difficulty of judgment” will be described later.
  • FIG. 7 shows the screen after the user selects the step display item.
  • an example in which "brightness” is selected is shown, and the button 108 of the selected "brightness” item is highlighted.
  • the processor 16A obtains a first reference value, which is the value of the brightness display parameter of the image to be inspected, and causes at least one of the plurality of judged images to be displayed to be displayed in accordance with the first reference value for brightness.
  • a determined image having a value relatively less than the value and at least one determined image having a value relatively greater than the first reference value.
  • FIG. 8 is a diagram showing an example of the screen of the display 14 on which the judged image selected in this way is displayed.
  • the display 14 displays an inspection object image 100 as well as judged images 110A, 110B, and 110C of three judged inspection objects OBJE, OBJF, and OBJG.
  • Determined images 110A, 110B, and 110C include defects DE, DF, and DG, respectively, which are areas associated with the area of interest AX.
  • the judged image 110A has a first value that is relatively smaller than the first reference value for the brightness display parameter, and that the defect DE is visually recognized in the first appearance.
  • the judged image 110B has a second value that is relatively larger than the first reference value for the brightness display parameter, and that the defect DF is visually recognized in the second appearance.
  • the judged image 110C has a seventh value that is relatively larger than the second value for the brightness display parameter and that the defect DG is visually recognized in the third appearance.
  • the processor 16A acquires a second reference value which is a grade value of the difficulty of judging defects in the image to be inspected, and displays the second reference value. At least one of the judged images has a third value relatively lower than the second reference value for the grade of difficulty of defect judgment, and the defect is visually recognized in the first appearance a judged image having a value of 3 and at least one fourth value for the difficulty grade of defect judgment that is relatively higher than the second reference value, wherein the defect is present in the second appearance; Let the judged image have a fourth value that is visible.
  • the processor 16A identifies the second reference value, the third value, and the fourth value based on the brightness contrast value between the defect candidate area and the background area other than the defect candidate area.
  • the defect candidate area includes a defect area determined to be defective.
  • the processor 16A identifies the second reference value, the third value, and the fourth value based on at least one of the pixel value, shape, and area of the defect candidate region. For example, the relatively smaller the pixel value of the defect candidate region (the lower the luminance), the narrower the shape of the defect candidate region, and the relatively smaller the area of the defect candidate region, A relatively high grade is given.
  • the processor 16A determines the second reference value, the third value, and the fourth value based on at least one of the overlapping manner of the defect candidate regions and the texture of the peripheral region of the defect candidate region. may be specified. For example, a relatively higher grade is assigned to a defect candidate area when the defect candidate areas overlap each other or when the texture of the peripheral area of the defect candidate area is relatively similar to the defect candidate area.
  • the processor 16A sets a second reference value based on at least one of the skill of the judge, the reliability of the judge, the presence or absence of variations in judgment results by a plurality of judges, and the time required for judgment; A third value and a fourth value may be specified. For example, defects with relatively large variations in the judgment results of multiple judges are considered to be more difficult to judge than defects with relatively small variations in the judgment results, so they are given relatively high grades. be.
  • the processor 16A evaluates the variation in the judgment results of a plurality of judges, the judgment results are weighted according to the skill of each judge and the reliability of each judge, thereby giving a more appropriate grade. can.
  • the skill of the judge and the reliability of the judge may be stored in advance in the memory 16B.
  • the processor 16A can give a more appropriate grade by weighting the time according to the skill and reliability of each judge.
  • the judged image stored in the image database 20 may be pre-assigned a grade value indicating the degree of difficulty of defect judgment.
  • the processor 16A may extract three or more judged images each having a different value for the grade of difficulty of defect judgment from the database, arrange them in ascending or descending order of the grade value, and display them on the display 14. good.
  • the processor 16A has received a region of interest of an image to be inspected and extracted at least two or more determined images including a region related to the received region of interest. Information may be received, and at least two or more determined images related to at least one of the received character information and numerical information may be extracted.
  • the processor 16A accepts at least one of character information and numerical information input by the user.
  • a user can input character information and numerical information using a pointing device (not shown).
  • the character information and numerical information are, for example, information including at least one of defect type, defect shape, defect size, and other defect-related keywords. Further, the character information and the numerical information may be defect occurrence position information indicating whether or not the defect occurs in the vicinity of a boundary such as an edge of a part. In this case, the user can specify the texture around the defect, that is, the feature amount such as contrast. Further, the character information and numerical information may be information indicating whether other defects have occurred around the defect, that is, whether the defect is isolated or one of a group.
  • FIG. 9 is a diagram showing an example of a screen display of the display 14 for the user to input character information. Here, an example of selecting and inputting the type of defect is shown. As shown in FIG. 9, multiple check boxes 112 and text boxes 114 are displayed on the display 14 .
  • the user checks the "free word” check box 112, and By inputting characters into the text box 114 using a keyboard (not shown), it is possible to perform a free word search for defect types that do not exist in the options.
  • FIG. 10 is a diagram showing an example of a screen display of the display 14 for the user to input numerical information.
  • display 14 includes text boxes 116 and 118, slider bar 120, and arrows 122.
  • FIG. 10 shows that display 14 includes text boxes 116 and 118, slider bar 120, and arrows 122.
  • the text box 116 is for specifying the minimum defect area
  • the text box 118 is for specifying the maximum defect area.
  • 10px is entered in the text box 116
  • 70px is entered in the text box 118 .
  • px indicates pixels. That is, numerical information of 10 pixels or more and 70 pixels or less is input here.
  • the unit of area is not limited to pixels, and may be square millimeters or the like.
  • a slider bar 120 is displayed above the text boxes 116 and 118 .
  • the slider bar 120 is interlocked with the values entered in the text boxes 116 and 118, and the brightness in the range corresponding to the entered values is displayed dark.
  • An arrow 122 for narrowing down the range of defect area is displayed above the slider bar 120, and the range indicated by the slider bar 120 can be changed by moving the arrow 122 left and right with a pointing device. .
  • the values displayed in text boxes 116 and 118 are changed according to the changed range.
  • the user can input at least one of character information and numerical information.
  • the processor 16A may receive at least one of character information and numerical information obtained from the image analysis result of the image to be inspected.
  • Image recording part 30 Radiation detector 34 Radiation source 100 Inspection target image 102 Cursor 104 Area 106A Determined image 106B Determined image 106C Determined image 106D Determined image 108 Button 110A Determined image 110B Determined image 110C Determined image 112 Check box 114 Text box 116 Text box 118 Text box 120 Slider bar 122 Arrow AX Attention area DA Defect DB Defect DC Defect DD Defect DE Defect DF Defect DG Defect NW Network OBJ Inspection object OBJA Judged inspection object OBJB Judged inspection object OBJB Judged inspection object OBJC Judged inspection object OBJD Judged inspection object OBJF ... Judgmented inspection object OBJG ... Judgmented inspection object S1 to S5 ... Steps of the image display method

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

欠陥の見え方にかかわらず検査対象画像の欠陥の判断を容易にする画像表示装置、画像表示方法及びプログラムを提供する。第２の検査対象物が撮影され、欠陥の判断結果が付与された判断済画像をデータベースから抽出し、第１の検査対象物が撮影された検査対象画像、及び抽出された判断済画像に基づく少なくとも２以上の判断済画像をディスプレイに表示させる。少なくとも２以上の判断済画像は、第１の見え方で第２の検査対象物の欠陥が視認される第１の判断済画像、及び第１の見え方とは異なる第２の見え方で第２の検査対象物の欠陥が視認され、かつ判断結果が第１の判断済画像と同一である第２の判断済画像を含む。

Description

画像表示装置、画像表示方法及びプログラム
　本発明は画像表示装置、画像表示方法及びプログラムに係り、特に検査対象物の画像から検査対象物の欠陥を判断する技術に関する。
　参照画像と比較画像を表示する際に、参照画像の位置および倍率が比較画像と同じになるように補正して比較画像と比較可能に表示手段に表示させる装置が知られている（特許文献１）。
特開２００４－７８６９０号公報
　特許文献１に記載の技術は、印刷物の偽造等の判断を目的とする技術であり、それぞれ同一の撮影条件で撮影された印刷物の検査対象画像と印刷物の参照画像とを１対１で対比して一致しているか否かを判断する際には有効であった。しかしながら、欠陥の有無、欠陥の程度を判断する目的では求められる仕様が異なり、特許文献１に記載の技術を適用することはできない。
　非破壊検査、及びインフラ点検等において欠陥の有無、欠陥の程度を判断するために検査対象物の画像と参照画像とを比較したい場面では、必ずしも両画像を同一の撮影条件で同一の対象物、同一の位置を撮影できるとは限らない。そして、撮影条件、対象物、および撮影位置等が異なると、本来は同程度の欠陥と判断すべきであっても、欠陥の程度が異なって見えてしまうことがあり、判断が困難となる場合があった。
　本発明はこのような事情に鑑みてなされたもので、欠陥の見え方にかかわらず検査対象画像の欠陥の判断を容易にする画像表示装置、画像表示方法及びプログラムを提供することを目的とする。
　上記目的を達成するための画像表示装置の一の態様は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサに実行させるための命令を記憶する少なくとも１つのメモリと、を備え、少なくとも１つのプロセッサは、第１の検査対象物が撮影された検査対象画像を取得し、第１の検査対象物とはそれぞれ異なる複数の第２の検査対象物がそれぞれ撮影された複数の判断済画像であって、複数の第２の検査対象物の欠陥の判断結果がそれぞれ付与された複数の判断済画像が記憶されたデータベースから判断済画像を抽出し、検査対象画像、及び抽出された判断済画像に基づく少なくとも２以上の判断済画像をディスプレイに表示させ、少なくとも２以上の判断済画像は、第１の見え方で第２の検査対象物の欠陥が視認される第１の判断済画像、及び第１の見え方とは異なる第２の見え方で第２の検査対象物の欠陥が視認され、かつ判断結果が第１の判断済画像と同一である第２の判断済画像を含む、画像表示装置である。本態様によれば、欠陥の見え方にかかわらず検査対象画像の欠陥の判断を容易にすることができる。
　少なくとも１つのプロセッサは、データベースから第１の判断済画像、及び第２の判断済画像を抽出することが好ましい。
　少なくとも１つのプロセッサは、データベースから第１の判断済画像を抽出し、第１の判断済画像に基づいて第２の判断済画像を生成することが好ましい。
　少なくとも１つのプロセッサは、抽出された判断済画像に基づいて第１の判断済画像、及び第２の判断済画像を生成することが好ましい。
　データベースには、欠陥を有する第２の検査対象物が撮影された判断済画像のみが複数記憶されていることが好ましい。
　データベースには、第２の検査対象物の欠陥の有無の判断結果が付与された判断済画像が複数記憶されており、第１の判断済画像、及び第２の判断済画像は、それぞれ欠陥を有する判断結果が付与されていることが好ましい。
　データベースには、第２の検査対象物の欠陥の種類、又は程度の判断結果が付与された判断済画像が複数記憶されており、第１の判断済画像、及び第２の判断済画像は、それぞれ欠陥の種類、又は程度の判断結果が同一であることが好ましい。
　少なくとも１つのプロセッサは、検査対象画像の注目領域を受け付け、受け付けた注目領域に関連する領域を含む少なくとも２以上の判断済画像を抽出することが好ましい。
　少なくとも１つのプロセッサは、ユーザによって入力された注目領域、又は検査対象画像の画像解析結果から得られた注目領域を受け付けることが好ましい。
　少なくとも１つのプロセッサは、文字情報及び数値情報のうちの少なくとも１つの情報を受け付け、受け付けた文字情報及び数値情報のうちの少なくとも１つの情報に関連する少なくとも２以上の判断済画像を抽出することが好ましい。
　少なくとも１つのプロセッサは、ユーザによって入力された文字情報及び数値情報のうちの少なくとも１つの情報、又は検査対象画像の画像解析結果から得られた文字情報及び数値情報のうちの少なくとも１つの情報を受け付けることが好ましい。
　検査対象画像のコントラスト、シャープネス、明るさ、背景の輝度、及びユーザが設定した独自の項目のうちの少なくとも１つの項目の表示パラメータを第１の基準値とすると、第１の判断済画像は、少なくとも１つの項目の表示パラメータについて第１の基準値より相対的に小さい第１の値であって、第１の見え方で欠陥が視認される第１の値を有し、第２の判断済画像は、少なくとも１つの項目の表示パラメータについて第１の基準値より相対的に大きい第２の値であって、第２の見え方で欠陥が視認される第２の値を有することが好ましい。
　少なくとも１つのプロセッサは、抽出された判断済画像に基づく少なくとも３以上の判断済画像を少なくとも１つの項目の表示パラメータの値の昇順又は降順に配置してディスプレイに表示させることが好ましい。
　検査対象画像のユーザが設定した独自の項目である欠陥の判断の難易度のグレードを第２の基準値とすると、第１の判断済画像は、欠陥の判断の難易度のグレードについて第２の基準値よりも相対的に低い第３の値であって、第１の見え方で欠陥が視認される第３の値を有し、第２の判断済画像は、欠陥の判断の難易度のグレードについて第３の基準値よりも相対的に高い第４の値であって、第２の見え方で欠陥が視認される第４の値を有することが好ましい。
　少なくとも１つのプロセッサは、欠陥候補領域と欠陥候補領域以外の背景領域との輝度のコントラストの値に基づいて第２の基準値、第３の値、及び第４の値を特定することが好ましい。
　少なくとも１つのプロセッサは、欠陥候補領域の画素値、形状、及び面積のうちの少なくとも１つに基づいて第２の基準値、第３の値、及び第４の値を特定することが好ましい。
　少なくとも１つのプロセッサは、欠陥候補領域どうしの重なり方、及び欠陥候補領域の周辺領域のテクスチャ、のうちの少なくとも１つに基づいて第２の基準値、第３の値、及び第４の値を特定することが好ましい。
　少なくとも１つのプロセッサは、判定員のスキル、判定員の信頼度、複数の判定員による判断結果のばらつきの有無、判断に要した時間、のうちの少なくとも１つに基づいて第２の基準値、第３の値、及び第４の値を特定することが好ましい。
　データベースに記憶された判断済画像には、難易度のグレードの値が予め付与されていることが好ましい。
　少なくとも１つのプロセッサは、難易度についてそれぞれ異なるグレードの値を有する３以上の判断済画像をデータベースから抽出し、３以上の判断済画像をグレードの値の昇順又は降順に配置してディスプレイに表示させることが好ましい。
　上記目的を達成するための画像処理方法の一の態様は、第１の検査対象物が撮影された検査対象画像を取得する検査対象画像取得工程と、第１の検査対象物とはそれぞれ異なる複数の第２の検査対象物がそれぞれ撮影された複数の判断済画像であって、複数の第２の検査対象物の欠陥の判断結果がそれぞれ付与された複数の判断済画像が記憶されたデータベースから判断済画像を抽出する判断済画像抽出工程と、検査対象画像、及び抽出された判断済画像に基づく少なくとも２以上の判断済画像をディスプレイに表示させる表示制御工程と、を備え、少なくとも２以上の判断済画像は、第１の見え方で第２の検査対象物の欠陥が視認される第１の判断済画像、及び第１の見え方とは異なる第２の見え方で第２の検査対象物の欠陥が視認される第２の判断済画像を含む、画像表示方法である。本態様によれば、欠陥の見え方にかかわらず検査対象画像の欠陥の判断を容易にすることができる。
　上記目的を達成するためのプログラムの一の態様は、上記に記載の画像表示方法をコンピュータに実行させるためのプログラムである。このプログラムが記録された、コンピュータが読み取り可能な非一時的記憶媒体も本態様に含んでよい。
　本発明によれば、欠陥の見え方にかかわらず検査対象画像の欠陥の判断を容易にすることができる。
図１は、欠陥検査システムを示すブロック図である。 図２は、撮影システムの一例を示すブロック図である。 図３は、画像表示方法の工程を示すフローチャートである。 図４は、検査対象画像が表示されたディスプレイの画面の一例を示す図である。 図５は、ユーザによる注目領域の入力の例を示す図である。 図６は、判断済画像が表示されたディスプレイの画面の一例を示す図である。 図７は、ユーザに段階表示項目を選択させるためのディスプレイの画面の一例を示す図である。 図８は、判断済画像が表示されたディスプレイの画面の一例を示す図である。 図９は、ユーザが文字情報を入力するためのディスプレイの画面表示の一例を示す図である。 図１０は、ユーザが数値情報を入力するためのディスプレイの画面表示の一例を示す図である。
　以下、添付図面に従って本発明の好ましい実施形態について詳説する。
　〔画像表示装置〕
　本実施形態に係る画像表示装置は、非破壊検査の欠陥検査システムに用いられる。欠陥検査システムは、検査対象物である工業製品が撮影された画像からユーザが検査対象物の欠陥を判断するシステムである。ここでは、ユーザによる検査対象物が撮影された画像を表示させるとともに、検査対象物の欠陥を判断するために参照される画像を表示させる例を説明する。ここでは、検査対象物の検査対象画像が工業製品の放射線画像である場合について説明するが、他の対象物及び他の読影対象画像であってもよい。また、検査対象物である工業製品は、金属製、樹脂製など、素材は特に限定されず、加工前でも加工後でもよいし、部品でも組み立て品でもよい。
　図１は、本実施形態に係る欠陥検査システム１０を示すブロック図である。図１に示すように、欠陥検査システム１０は、撮影システム１２、ディスプレイ１４、画像表示装置１６、入力装置１８、及び画像データベース２０を備える。
　撮影システム１２は、第１の検査対象物である検査対象物ＯＢＪの画像を撮影するシステムである。撮影システム１２の詳細については後述する。
　ディスプレイ１４は、検査対象物ＯＢＪが撮影された検査対象画像等をユーザに視認させるための表示装置である。ディスプレイ１４は、入力装置１８での操作に必要な画面を表示し、ＧＵＩ（Graphical User Interface）を実現する部分として機能する。
　画像表示装置１６は、撮影システム１２によって撮影された検査対象物ＯＢＪの画像をディスプレイ１４の画面に表示させるための制御装置である。画像表示装置１６は、プロセッサ１６Ａ、及びメモリ１６Ｂを備える。
　プロセッサ１６Ａは、メモリ１６Ｂに記憶された命令を実行する。プロセッサ１６Ａは、複数備えらえてもよい。
　プロセッサ１６Ａのハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の機能部として作用する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるＰＬＤ（Programmable Logic Device）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、又はＣＰＵとＦＰＧＡの組み合わせ、あるいはＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の機能部を１つのプロセッサで構成してもよい。複数の機能部を１つのプロセッサで構成する例としては、第１に、クライアント又はサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能部として作用させる形態がある。第２に、ＳｏＣ（System On Chip）等に代表されるように、複数の機能部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
　メモリ１６Ｂは、プロセッサ１６Ａに実行させるための命令を記憶する。メモリ１６Ｂは、不図示のＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む。プロセッサ１６Ａは、ＲＡＭを作業領域とし、ＲＯＭに記憶された画像表示プログラムを含む各種のプログラム及びパラメータを使用してソフトウェアを実行し、かつＲＯＭ等に記憶されたパラメータを使用することで、画像表示装置１６の各種の処理を実行する。
　入力装置１８は、ユーザからの操作入力を受け付けるインターフェースである。入力装置１８は、文字入力のためのキーボード、ディスプレイ１４の画面に表示されるポインタ、アイコン等を操作するためのポインティングデバイスを含む。入力装置１８は、ディスプレイ１４と一体化されたタッチパネルディスプレイであってもよい。
　画像データベース２０は、大容量ストレージ装置によって構成される。画像データベース２０には、それぞれ異なる複数の第２の検査対象物がそれぞれ過去に撮影された複数の判断済画像が記憶されている。各判断済画像には、それぞれ第２の検査対象物の欠陥の判断結果が関連付けられている。第２の検査対象物は、検査対象物ＯＢＪとは異なる物品であり、複数の第２の検査対象物は、互いに異なる物品である。第２の検査対象物は、例えば検査対象物ＯＢＪと同一規格品であってもよいし、検査対象物ＯＢＪとは異なる形状の物品であってもよい。
　画像データベース２０に記憶されている第２の検査対象物の欠陥の判断結果は、欠陥の有無の判断結果でもよいし、第２の検査対象物の欠陥の種類、又は程度の判断結果でもよい。また、画像データベース２０には、欠陥を有する第２の検査対象物が撮影された判断済画像のみが複数記憶されていてもよい。この場合、画像データベース２０に記憶されている判断済画像は、欠陥を有するという判断結果が関連付けられていると解することができる。
　撮影システム１２、画像表示装置１６、及び画像データベース２０は、ネットワークＮＷを介して通信可能に接続される。ネットワークＮＷは、例えばＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット接続である。撮影システム１２、画像表示装置１６、及び画像データベース２０は、ＵＳＢ（Universal Serial Bus）ケーブル等により通信可能に接続されてもよいし、赤外線等を使用する近距離無線通信により通信可能に接続されてもよい。撮影システム１２、画像表示装置１６、及び画像データベース２０は、それぞれ着脱及び読取可能な記憶媒体によって画像を含むデータの受け渡しをしてもよい。
　〔撮影システム〕
　図２は、撮影システム１２の一例を示すブロック図である。図２に示すように、撮影システム１２は、撮影室２２、撮影制御部２４、撮影操作部２６、画像記録部２８、放射線検出器３０、及び放射線源３４を備えている。
　撮影室２２は、外部との間の隔壁および出入口に、Ｘ線防護材料（例えば、鉛、コンクリート等）によりＸ線防護が施されている。撮影室２２の内部には、放射線検出器３０、及び放射線源３４の他、撮影対象となる検査対象物ＯＢＪが配置される。
　撮影制御部２４は、撮影システム１２の各部の動作を制御するＣＰＵを含む。撮影制御部２４は、撮影操作部２６を介して撮影者からの操作入力を受け付け、受け付けた操作入力に応じた制御信号を撮影システム１２の各部に送信して各部の動作を制御する。
　撮影操作部２６は、撮影者からの操作入力を受け付ける入力装置である。撮影者は、撮影操作部２６を介して、検査対象物ＯＢＪに関する情報の入力、放射線検出器３０に対する撮影実行の指示の入力（露出時間、焦点距離、絞り等の撮影条件、撮影角度、撮影箇所等の設定を含む）、放射線源３４に対する放射線の照射の指示の入力（照射開始時間、照射継続時間、照射角度、照射強度等の設定を含む）、取得した画像を画像記録部２８に記録する指示の入力を行うことができる。
　画像記録部２８は、放射線検出器３０によって撮影された検査対象物ＯＢＪの画像（受光画像データ）を記録する。画像記録部２８には、検査対象物ＯＢＪを特定するための情報が画像と関連付けられて記録される。
　放射線源３４は、例えば、Ｘ線源である。放射線源３４は、撮影制御部２４からの指示に従って、撮影室２２内の検査対象物ＯＢＪに放射線を照射する。なお、検査対象物ＯＢＪに可視光を照射して撮影を行う場合には、防護を施した撮影室２２を用いる必要はない。
　放射線検出器３０は、撮影制御部２４からの撮影実行の指示に従って、放射線源３４から検査対象物ＯＢＪに照射されて検査対象物ＯＢＪを透過した放射線を受光して検査対象物ＯＢＪを撮影する。検査対象物ＯＢＪは、不図示の保持部材（例えば、マニピュレーター、載置台、可動式の載置台）によって撮影室２２内に保持されており、検査対象物ＯＢＪは、放射線検出器３０、放射線源３４に対する距離および角度が調整可能となっている。操作者は、撮影制御部２４を介して、検査対象物ＯＢＪ、放射線検出器３０、放射線源３４の相対位置を制御可能となっており、検査対象物ＯＢＪの所望の箇所を撮影可能となっている。
　放射線源３４は、放射線検出器３０による撮影の実行の終了に同期して、検査対象物ＯＢＪに対する放射線の照射を終了する。
　なお、図２に示す例では、放射線検出器３０は、撮影室２２の内部に配置されているが、放射線検出器３０は、撮影室２２内の検査対象物ＯＢＪを撮影可能であれば、撮影室２２の外部に配置されていてもよい。
　また、図２に示す例では、放射線検出器３０が１台、放射線源３４が１台設けられているが、放射線検出器および放射線源の台数はこれに限定されるものではない。例えば、放射線検出器および放射線源は、それぞれ複数台あってもよい。
　〔画像表示方法〕
　画像表示装置１６を用いた画像表示方法について説明する。画像表示方法は、プロセッサ１６Ａがメモリ１６Ｂに記憶された画像表示プログラムを実行することで実現される。画像表示プログラムは、コンピュータが読み取り可能な非一時的記憶媒体によって提供されてもよい。この場合、画像表示装置１６は、非一時的記憶媒体から画像表示プログラムを読み取り、メモリ１６Ｂに記憶させてもよい。
　図３は、画像表示方法の工程を示すフローチャートである。本実施形態に係る画像表示方法は、ユーザによる検査対象物ＯＢＪの欠陥の判断を容易にするために、検査対象物ＯＢＪが撮影された画像とともに、検査対象物ＯＢＪの欠陥を判断するために参照される画像を表示させる。
　画像表示装置１６のプロセッサ１６Ａは、第１の検査対象物が撮影された検査対象画像を取得する（ステップＳ１：検査対象画像取得工程の一例）。ここでは、プロセッサ１６Ａは、ネットワークＮＷを介して画像データベース２０から検査対象物ＯＢＪが撮影された検査対象画像１００（図４参照）を取得する。検査対象画像１００は、撮影システム１２において検査対象物ＯＢＪが撮影された画像である。
　次に、プロセッサ１６Ａは、取得した検査対象画像をディスプレイに表示させる（ステップＳ２）。図４は、検査対象画像１００が表示されたディスプレイ１４の画面の一例を示す図である。ユーザは、この画面を見ながら検査対象物ＯＢＪの欠陥を判断することができる。
　続いて、プロセッサ１６Ａは、ユーザによって入力された検査対象画像の注目領域を受け付ける（ステップＳ３）。ユーザは、入力装置１８を用いてディスプレイ１４に表示された検査対象画像１００の任意の領域を注目領域として入力する。
　図５は、ユーザによる注目領域の入力の例を示す図である。ここでは、ユーザは、不図示のポインティングデバイスのドラッグ操作によりカーソル１０２で範囲１０４を指定することで、範囲１０４に含まれる注目領域ＡＸを入力している。ユーザによる注目領域の入力は、ポインティングデバイスのドラッグ操作に限定されず、タッチパネルのタッチ操作であってもよいし、キーボードなどによる座標入力操作であってもよい。
　なお、ステップＳ３で受け付ける注目領域は、検査対象画像１００の画像解析結果から得られた注目領域であってもよい。この場合、プロセッサ１６Ａは、検査対象画像１００を画像解析し、検査対象物ＯＢＪの欠陥候補の領域を抽出し、欠陥候補の領域を注目領域とする。画像解析によって複数の欠陥候補の領域が抽出された場合は、プロセッサ１６Ａは、いずれの欠陥候補の領域を注目領域とするかをユーザに選択させてもよい。プロセッサ１６Ａは、検査対象画像を入力として与えると欠陥候補の領域を出力する学習済みモデルによって欠陥候補の領域を抽出してもよい。この学習済みモデルは、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）を適用することができる。
　次に、プロセッサ１６Ａは、少なくとも２以上の判断済画像をデータベースから抽出する（ステップＳ４：判断済画像抽出工程の一例）。ここでは、プロセッサ１６Ａは、ステップＳ３で受け付けた注目領域ＡＸに関連する領域を含む少なくとも２以上の判断済画像を画像データベース２０から抽出する。注目領域ＡＸに関連する領域とは、例えば注目領域ＡＸに含まれる欠陥候補と、欠陥の種別、欠陥のサイズ、及び欠陥の密度のうちの少なくとも１つが類似する領域である。
　ここで、少なくとも２以上の判断済画像は、第１の見え方で第２の判断済検査対象物の第１の欠陥が視認される第１の判断済画像、及び第１の見え方とは異なる第２の見え方で第２の判断済検査対象物の第２の欠陥が視認される第２の判断済画像を含む。検査対象物ＯＢＪ、第１の判断済画像の第２の判断済検査対象物、及び第２の判断済画像の第２の判断済検査対象物は、それぞれ同じ形状であってもよいし、それぞれ異なる形状であってもよい。
　また、第１の判断済画像に付与された判断結果、及び第２の判断済画像に付与された判断結果は、同一である。例えば、画像データベース２０に欠陥を有する第２の検査対象物が撮影された判断済画像のみが複数記憶されている場合は、プロセッサ１６Ａが第１の判断済画像、及び第２の判断済画像としていずれの画像を抽出しても、第１の判断済画像に付与された判断結果、及び第２の判断済画像に付与された判断結果は同一である。
　また、画像データベース２０に第２の検査対象物の欠陥の有無の判断結果が付与された判断済画像が複数記憶されている場合は、プロセッサ１６Ａは、第１の判断済画像、及び第２の判断済画像として、いずれも欠陥有の判断結果、又は欠陥無の判断結果の画像を抽出する。
　さらに、画像データベース２０に、第２の検査対象物の欠陥の種類、又は程度の判断結果が付与された判断済画像が複数記憶されている場合は、プロセッサ１６Ａは、第１の判断済画像、及び第２の判断済画像として、いずれも欠陥の種類、又は程度の判断結果が同一の画像を抽出する。
　ここでは、プロセッサ１６Ａは、４つの判断済検査対象物ＯＢＪＡ、ＯＢＪＢ、ＯＢＪＣ、及びＯＢＪＤの判断済画像１０６Ａ、１０６Ｂ、１０６Ｃ、及び１０６Ｄ（図６参照）を取得する。判断済画像１０６Ａ、１０６Ｂ、１０６Ｃ、及び１０６Ｄは、それぞれステップＳ３で受け付けた注目領域ＡＸに関連する領域である欠陥ＤＡ、ＤＢ、ＤＣ、及びＤＤ（図６参照）を含む。
　最後に、プロセッサ１６Ａは、ステップＳ１で取得した検査対象画像１００、及びステップＳ４で抽出した少なくとも２以上の判断済画像である判断済画像１０６Ａ、１０６Ｂ、１０６Ｃ、及び１０６Ｄをディスプレイ１４に表示させる（ステップＳ５：表示制御工程の一例）。以上で本フローチャートの処理が終了する。
　図６は、判断済画像１０６Ａ、１０６Ｂ、１０６Ｃ、及び１０６Ｄが表示されたディスプレイ１４の画面の一例を示す図である。図６に示すように、ディスプレイ１４には、検査対象画像１００とともに、判断済画像１０６Ａ、１０６Ｂ、１０６Ｃ、及び１０６Ｄが表示されている。ユーザは、この画面によって検査対象画像の注目領域ＡＸと欠陥ＤＡ、ＤＢ、ＤＣ、及びＤＤとを比較することで、注目領域ＡＸについての欠陥の判断を適切に行うことができる。
　〔表示される画像〕
　本実施形態においてディスプレイ１４に表示される少なくとも２以上の判断済画像は、コントラスト、シャープネス、明るさ、背景の輝度、及びユーザが設定した独自の項目のうちの少なくとも１つの項目である段階表示項目の表示パラメータの値がそれぞれ異なる。ここで、検査対象画像１００の段階表示項目の表示パラメータの値を、第１の基準値とする。
　図６に示した判断済画像１０６Ａに写っている判断済検査対象物ＯＢＪＡの欠陥ＤＡは、第１の見え方で視認される欠陥である。判断済画像１０６Ａは、段階表示項目の表示パラメータについて第１の基準値より相対的に小さい第1の値であって、第１の見え方で欠陥ＤＡが視認される第１の値を有する。
　判断済画像１０６Ｂに写っている判断済検査対象物ＯＢＪＢの欠陥ＤＢは、第２の見え方で視認される欠陥である。判断済画像１０６Ｂは、段階表示項目の表示パラメータについて基準値より相対的に大きい第２の値であって、第２の見え方で欠陥ＤＢが視認される第２の値を有する。
　判断済画像１０６Ｃに写っている判断済検査対象物ＯＢＪＣの欠陥ＤＣは、第３の見え方で視認される欠陥である。判断済画像１０６Ｃは、段階表示項目の表示パラメータについて第２の値より相対的に大きい第５の値であって、第３の見え方で欠陥ＤＣが視認される第５の値を有する。
　判断済画像１０６Ｄに写っている判断済検査対象物ＯＢＪＤの欠陥ＤＤは、第４の見え方で視認される欠陥である。判断済画像１０６Ｄは、段階表示項目の表示パラメータについて第５の値より相対的に大きい第６の値であって、第４の見え方で欠陥ＤＤが視認される第６の値を有する。
　このように、本実施形態では、プロセッサ１６Ａは、段階表示項目の表示パラメータについてそれぞれ異なる値を有する３以上の判断済画像である判断済画像１０６Ａ、１０６Ｂ、１０６Ｃ、及び１０６Ｄをディスプレイ１４に表示させている。また、プロセッサ１６Ａは、検査対象画像１００の段階表示項目の表示パラメータの第１の基準値を取得し、表示させる複数の判断済画像のうち、少なくとも１つは段階表示項目の表示パラメータについて第１の基準値より相対的に小さい値を有し、少なくとも１つは第１の基準値より相対的に大きい値を有する判断済画像をディスプレイ１４に表示させている。
　さらに、プロセッサ１６Ａは、３以上の判断済画像を段階表示項目の表示パラメータの値の昇順又は降順に配置してディスプレイ１４に表示させている。図１６に示す例では、判断済画像１０６Ａ、１０６Ｂ、１０６Ｃ、及び１０６Ｄは、画面左側から右側に向かって昇順に配置されている。
　このように、表示パラメータの値に応じた段階的な画像を提示することで、検査対象物ＯＢＪの安易な見落としが防止され、より統一的かつ適切な欠陥の判断を行うことが可能となる。
　〔判断済画像の生成〕
　ここまでは、プロセッサ１６Ａは、ディスプレイ１４に表示させる少なくとも２以上の判断済画像をすべて画像データベース２０から抽出する例を説明したが、ディスプレイ１４に表示させる判断済画像は、画像データベース２０から抽出された判断済画像に基づく画像であればよい。
　例えば、プロセッサ１６Ａは、画像データベース２０から判断済画像１０６Ｂを抽出し、判断済画像１０６Ｂに基づいて段階表示項目の表示パラメータの値がそれぞれ異なる判断済画像１０６Ａ、判断済画像１０６Ｃ、及び判断済画像１０６Ｄを生成してもよい。また、プロセッサ１６Ａは、画像データベース２０から抽出した判断済画像に基づいて段階表示項目の表示パラメータの値がそれぞれ異なる判断済画像１０６Ａ、判断済画像１０６Ｂ、判断済画像１０６Ｃ、及び判断済画像１０６Ｄを生成してもよい。このように生成された判断済画像は、画像データベース２０から抽出された基となる判断済画像と欠陥の判断結果が同一である。
　〔段階表示項目の選択〕
　段階表示項目は、ユーザにより選択可能に構成してもよい。図７は、ユーザに参照画像を並び替える項目、すなわち判断済画像の段階表示項目を選択させるためのディスプレイ１４の画面の一例を示す図である。図７の１０００は、ユーザによる選択前の画面を示している。ここでは、「コントラスト」、「明るさ」、「判断の難易度」、「シャープネス」、「背景の輝度」、及び「カスタム設定」のボタン１０８がそれぞれ選択可能に表示されている。ユーザは、不図示のポインティングデバイスを用いてこれらの項目のうちの少なくとも１つのボタン１０８を選択することで、「コントラスト」、「明るさ」、「判断の難易度」、「シャープネス」、「背景の輝度」、及び「カスタム設定」のうちの少なくとも１つを段階表示項目とすることができる。
　なお、「判断の難易度」及び「カスタム設定」は、「ユーザが設定した独自の項目」の一例である。ユーザは、「カスタム設定」を選択した場合は、所望の項目を設定することができる。「判断の難易度」については後述する。
　図７の１００２は、ユーザによる段階表示項目の選択後の画面を示している。ここでは「明るさ」が選択された例を示しており、選択された「明るさ」の項目のボタン１０８がハイライトされて表示されている。
　この場合、プロセッサ１６Ａは、検査対象画像の明るさの表示パラメータの値である第１の基準値を取得し、表示させる複数の判断済画像のうち、少なくとも１つは明るさについて第１の基準値より相対的に小さい値を有する判断済画像とし、少なくとも１つは第１の基準値より相対的に大きい値を有する判断済画像とする。
　図８は、このように選択された判断済画像が表示されたディスプレイ１４の画面の一例を示す図である。ここでは、ディスプレイ１４には、検査対象画像１００とともに、３つの判断済検査対象物ＯＢＪＥ、ＯＢＪＦ、及びＯＢＪＧの判断済画像１１０Ａ、１１０Ｂ、及び１１０Ｃが表示されている。判断済画像１１０Ａ、１１０Ｂ、及び１１０Ｃは、それぞれ注目領域ＡＸに関連する領域である欠陥ＤＥ、ＤＦ、及びＤＧを含む。
　判断済画像１１０Ａは、明るさの表示パラメータについて第１の基準値より相対的に小さい第１の値であって、第１の見え方で欠陥ＤＥが視認される第１の値を有する。
　判断済画像１１０Ｂは、明るさの表示パラメータについて第１の基準値より相対的に大きい第２の値であって、第２の見え方で欠陥ＤＦが視認される第２の値を有する。
　判断済画像１１０Ｃは、明るさの表示パラメータについて第２の値より相対的に大きい第７の値であって、第３の見え方で欠陥ＤＧが視認される第７の値を有する。
　〔判断の難易度〕
　ユーザが設定した独自の項目は、欠陥の判断の難易度を含む。図７の１０００において、「判断の難易度」が選択された場合、プロセッサ１６Ａは、検査対象画像の欠陥の判断の難易度のグレードの値である第２の基準値を取得し、表示させる複数の判断済画像のうち、少なくとも１つは欠陥の判断の難易度のグレードについて第２の基準値より相対的に低い第３の値であって、第１の見え方で欠陥が視認される第３の値を有する判断済画像とし、少なくとも１つは欠陥の判断の難易度のグレードについて第２の基準値よりも相対的に高い第４の値であって、第２の見え方で欠陥が視認される第４の値を有する判断済画像とする。
　ここで、プロセッサ１６Ａは、欠陥候補領域と欠陥候補領域以外の背景領域との輝度のコントラストの値に基づいて第２の基準値、第３の値、及び第４の値を特定する。なお、欠陥候補領域は、欠陥であると判断された欠陥領域を含む。
　プロセッサ１６Ａは、第２の基準値、第３の値、及び第４の値について、欠陥候補領域の画素値、形状、及び面積のうちの少なくとも１つに基づいて特定する。例えば、欠陥候補領域の画素値が相対的に小さい（輝度が低い）ほど、欠陥候補領域の形状が相対的に幅の狭い形状であるほど、及び欠陥候補領域の面積が相対的に小さいほど、相対的に高いグレードが付与される。
　また、プロセッサ１６Ａは、第２の基準値、第３の値、及び第４の値について、欠陥候補領域どうしの重なり方、及び欠陥候補領域の周辺領域のテクスチャのうちの少なくとも１つに基づいて特定してもよい。例えば、欠陥候補領域どうしの重なり方が相対的に大きいほど、欠陥候補領域の周辺領域のテクスチャが欠陥候補領域と相対的に似ているほど、相対的に高いグレードが付与される。
　さらに、プロセッサ１６Ａは、判定員のスキル、判定員の信頼度、複数の判定員による判断結果のばらつきの有無、判断に要した時間、のうちの少なくとも１つに基づいて第２の基準値、第３の値、及び第４の値を特定してもよい。例えば、複数の判定員の判断結果のばらつきが相対的に大きい欠陥は、判断結果のばらつきが相対的に小さい欠陥よりも判断の難易度が高いと考えられるため、相対的に高いグレードが付与される。プロセッサ１６Ａは、複数の判定員の判断結果のばらつきを評価する際に、それぞれの判定員のスキル、及び判定員の信頼度によって判断結果を重み付けすることで、より適切なグレードを付与することができる。判定員のスキル、及び判定員の信頼度は、予めメモリ１６Ｂに記憶されていてもよい。
　また、判断に要した時間が相対的に長い場合は、判断に要した時間が相対的に短い場合よりも判断の難易度が高いと考えられるため、相対的に高いグレードが付与される。プロセッサ１６Ａは、判断に要した時間を評価する際も同様に、それぞれの判定員のスキル及び信頼度によって時間を重み付けすることで、より適切なグレードを付与することができる。
　画像データベース２０に記憶された判断済画像には、欠陥の判断の難易度のグレードの値が予め付与されていてもよい。
　また、プロセッサ１６Ａは、欠陥の判断の難易度のグレードについてそれぞれ異なる値を有する３以上の判断済画像をデータベースから抽出し、グレードの値の昇順又は降順に配置してディスプレイ１４に表示させてもよい。
　〔文字情報及び数値情報の受付〕
　ここまでは、プロセッサ１６Ａは、検査対象画像の注目領域を受け付け、受け付けた注目領域に関連する領域を含む少なくとも２以上の判断済画像を抽出したが、文字情報及び数値情報のうちの少なくとも１つの情報を受け付け、受け付けた文字情報及び数値情報のうちの少なくとも１つの情報に関連する少なくとも２以上の判断済画像を抽出してもよい。
　プロセッサ１６Ａは、ユーザによって入力された文字情報及び数値情報のうちの少なくとも１つの情報を受け付ける。ユーザは、不図示のポインティングデバイスを用いて文字情報及び数値情報を入力することができる。
　文字情報及び数値情報は、例えば欠陥の種別、欠陥の形状、欠陥の大きさ、及びその他欠陥に関するキーワードのうちの少なくとも１つを含む情報である。また、文字情報及び数値情報は、欠陥が部品のエッジ等の境界付近に生じているか否かという欠陥の発生位置情報であってもよい。この場合、欠陥周辺のテクスチャ、すなわち、コントラスト等の特徴量でユーザが指定可能である。さらに、文字情報及び数値情報は、欠陥の周辺にその他の欠陥が発生しているか、すなわち、孤立しているのか、集団の中のひとつなのか、という情報であってもよい。
　図９は、ユーザが文字情報を入力するためのディスプレイ１４の画面表示の一例を示す図である。ここでは、欠陥の種別を選択入力する例を示している。図９に示すように、ディスプレイ１４には、複数のチェックボックス１１２、及びテキストボックス１１４が表示されている。
　図９に示す例では、「異物（黒）」、「異物（白）」、「気泡」、「ガス」、及び「フリーワード」が選択肢として表示されている。ユーザは、不図示のポインティングデバイスを用いてこれらの選択肢の少なくとも１つのチェックボックス１１２にチェックを入れることで、欠陥の種別を選択することができる。ここでは、「異物（黒）」、及び「異物（白）」が選択されている。
　なお、「異物（黒）」、「異物（白）」、「気泡」、及び「ガス」以外の欠陥の種別を選択したい場合、ユーザは「フリーワード」のチェックボックス１１２にチェックを入れ、さらに不図示のキーボードを用いてテキストボックス１１４に文字を入力することで、選択肢に存在しない欠陥の種別をフリーワード検索することが可能である。
　また、図１０は、ユーザが数値情報を入力するためのディスプレイ１４の画面表示の一例を示す図である。ここでは、絞り込み条件として欠陥の面積の範囲を入力する例を示している。図１０に示すように、ディスプレイ１４には、テキストボックス１１６及び１１８、スライダーバー１２０、及び矢印１２２が表示されている。
　テキストボックス１１６は、欠陥の面積の最小値を指定するためのものであり、テキストボックス１１８は、欠陥の面積の最大値を指定するためのものである。ここでは、テキストボックス１１６に「１０ｐｘ」、テキストボックス１１８に「７０ｐｘ」と入力されている。「ｐｘ」は、ピクセルを示している。すなわち、ここでは１０ピクセル以上７０ピクセル以下の数値情報が入力されている。面積の単位はピクセルに限定されず、平方ミリメートルなどでもよい。
　また、テキストボックス１１６及び１１８の上側にはスライダーバー１２０が表示されている。スライダーバー１２０は、テキストボックス１１６及び１１８に入力された値と連動しており、入力された値の応じた範囲の輝度が暗く表示される。
　スライダーバー１２０の上側には、欠陥の面積の範囲を絞り込むための矢印１２２が表示されており、ポインティングデバイスにより矢印１２２を左右に移動させることで、スライダーバー１２０が示す範囲を変更することができる。この場合、変更された範囲に応じてテキストボックス１１６及び１１８に表示される値が変更される。
　このように、ユーザは文字情報及び数値情報のうちの少なくとも１つの情報を入力することができる。なお、プロセッサ１６Ａは、検査対象画像の画像解析結果から得られた文字情報及び数値情報のうちの少なくとも１つの情報を受け付けてもよい。
　〔その他〕
　本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
１０…欠陥検査システム
１２…撮影システム
１４…ディスプレイ
１６…画像表示装置
１６Ａ…プロセッサ
１６Ｂ…メモリ
１８…入力装置
２０…画像データベース
２２…撮影室
２４…撮影制御部
２６…撮影操作部
２８…画像記録部
３０…放射線検出器
３４…放射線源
１００…検査対象画像
１０２…カーソル
１０４…範囲
１０６Ａ…判断済画像
１０６Ｂ…判断済画像
１０６Ｃ…判断済画像
１０６Ｄ…判断済画像
１０８…ボタン
１１０Ａ…判断済画像
１１０Ｂ…判断済画像
１１０Ｃ…判断済画像
１１２…チェックボックス
１１４…テキストボックス
１１６…テキストボックス
１１８…テキストボックス
１２０…スライダーバー
１２２…矢印
ＡＸ…注目領域
ＤＡ…欠陥
ＤＢ…欠陥
ＤＣ…欠陥
ＤＤ…欠陥
ＤＥ…欠陥
ＤＦ…欠陥
ＤＧ…欠陥
ＮＷ…ネットワーク
ＯＢＪ…検査対象物
ＯＢＪＡ…判断済検査対象物
ＯＢＪＢ…判断済検査対象物
ＯＢＪＣ…判断済検査対象物
ＯＢＪＤ…判断済検査対象物
ＯＢＪＥ…判断済検査対象物
ＯＢＪＦ…判断済検査対象物
ＯＢＪＧ…判断済検査対象物
Ｓ１～Ｓ５…画像表示方法の各ステップ

Claims (23)

  1. 　少なくとも１つのプロセッサと、
    　前記少なくとも１つのプロセッサに実行させるための命令を記憶する少なくとも１つのメモリと、
    　を備え、
    　前記少なくとも１つのプロセッサは、
    　第１の検査対象物が撮影された検査対象画像を取得し、
    　前記第１の検査対象物とはそれぞれ異なる複数の第２の検査対象物がそれぞれ撮影された複数の判断済画像であって、前記複数の第２の検査対象物の欠陥の判断結果がそれぞれ付与された複数の判断済画像が記憶されたデータベースから判断済画像を抽出し、
    　前記検査対象画像、及び前記抽出された判断済画像に基づく少なくとも２以上の判断済画像をディスプレイに表示させ、
    　前記少なくとも２以上の判断済画像は、第１の見え方で前記第２の検査対象物の欠陥が視認される第１の判断済画像、及び前記第１の見え方とは異なる第２の見え方で前記第２の検査対象物の欠陥が視認され、かつ前記判断結果が前記第１の判断済画像と同一である第２の判断済画像を含む、
    　画像表示装置。
  2. 　前記少なくとも１つのプロセッサは、前記データベースから前記第１の判断済画像、及び前記第２の判断済画像を抽出する、
    　請求項１に記載の画像表示装置。
  3. 　前記少なくとも１つのプロセッサは、
    　前記データベースから前記第１の判断済画像を抽出し、
    　前記第１の判断済画像に基づいて前記第２の判断済画像を生成する、
    　請求項１に記載の画像表示装置。
  4. 　前記少なくとも１つのプロセッサは、
    　前記抽出された判断済画像に基づいて前記第１の判断済画像、及び前記第２の判断済画像を生成する、
    　請求項１に記載の画像表示装置。
  5. 　前記データベースには、欠陥を有する前記第２の検査対象物が撮影された判断済画像のみが複数記憶されている、
    　請求項１から４のいずれか１項に記載の画像表示装置。
  6. 　前記データベースには、前記第２の検査対象物の欠陥の有無の判断結果が付与された判断済画像が複数記憶されており、
    　前記第１の判断済画像、及び前記第２の判断済画像は、それぞれ欠陥を有する判断結果が付与されている、
    　請求項１から４のいずれか１項に記載の画像表示装置。
  7. 　前記データベースには、前記第２の検査対象物の欠陥の種類、又は程度の判断結果が付与された判断済画像が複数記憶されており、
    　前記第１の判断済画像、及び前記第２の判断済画像は、それぞれ欠陥の前記種類、又は前記程度の判断結果が同一である、
    　請求項１から４のいずれか１項に記載の画像表示装置。
  8. 　前記少なくとも１つのプロセッサは、
    　前記検査対象画像の注目領域を受け付け、
    　前記受け付けた注目領域に関連する領域を含む前記少なくとも２以上の判断済画像を抽出する、
    　請求項１から７のいずれか１項に記載の画像表示装置。
  9. 　前記少なくとも１つのプロセッサは、
    　ユーザによって入力された前記注目領域、又は前記検査対象画像の画像解析結果から得られた前記注目領域を受け付ける、
    　請求項８に記載の画像表示装置。
  10. 　前記少なくとも１つのプロセッサは、
    　文字情報及び数値情報のうちの少なくとも１つの情報を受け付け、
    　前記受け付けた文字情報及び数値情報のうちの少なくとも１つの情報に関連する少なくとも２以上の判断済画像を抽出する、
    　請求項１から９のいずれか１項に記載の画像表示装置。
  11. 　前記少なくとも１つのプロセッサは、
    　ユーザによって入力された前記文字情報及び前記数値情報のうちの少なくとも１つの情報、又は前記検査対象画像の画像解析結果から得られた前記文字情報及び前記数値情報のうちの少なくとも１つの情報を受け付ける、
    　請求項１０に記載の画像表示装置。
  12. 　前記検査対象画像のコントラスト、シャープネス、明るさ、背景の輝度、及びユーザが設定した独自の項目のうちの少なくとも１つの項目の表示パラメータを第１の基準値とすると、
    　前記第１の判断済画像は、前記少なくとも１つの項目の表示パラメータについて前記第１の基準値より相対的に小さい第１の値であって、前記第１の見え方で欠陥が視認される第１の値を有し、
    　前記第２の判断済画像は、前記少なくとも１つの項目の表示パラメータについて前記第１の基準値より相対的に大きい第２の値であって、前記第２の見え方で欠陥が視認される第２の値を有する、
    　請求項１から１１のいずれか１項に記載の画像表示装置。
  13. 　前記少なくとも１つのプロセッサは、
    　前記抽出された判断済画像に基づく少なくとも３以上の判断済画像を前記少なくとも１つの項目の表示パラメータの値の昇順又は降順に配置して前記ディスプレイに表示させる、
    　請求項１２に記載の画像表示装置。
  14. 　前記検査対象画像の前記ユーザが設定した独自の項目である欠陥の判断の難易度のグレードを第２の基準値とすると、
    　前記第１の判断済画像は、前記欠陥の判断の難易度のグレードについて前記第２の基準値よりも相対的に低い第３の値であって、前記第１の見え方で欠陥が視認される第３の値を有し、
    　前記第２の判断済画像は、前記欠陥の判断の難易度のグレードについて前記第２の基準値よりも相対的に高い第４の値であって、前記第２の見え方で欠陥が視認される第４の値を有する、
    　請求項１２又は１３に記載の画像表示装置。
  15. 　前記少なくとも１つのプロセッサは、欠陥候補領域と前記欠陥候補領域以外の背景領域との輝度のコントラストの値に基づいて前記第２の基準値、前記第３の値、及び前記第４の値を特定する、
    　請求項１４に記載の画像表示装置。
  16. 　前記少なくとも１つのプロセッサは、欠陥候補領域の画素値、形状、及び面積のうちの少なくとも１つに基づいて前記第２の基準値、前記第３の値、及び前記第４の値を特定する、
    　請求項１４又は１５に記載の画像表示装置。
  17. 　前記少なくとも１つのプロセッサは、欠陥候補領域どうしの重なり方、及び前記欠陥候補領域の周辺領域のテクスチャ、のうちの少なくとも１つに基づいて前記第２の基準値、前記第３の値、及び前記第４の値を特定する、
    　請求項１４から１６のいずれか１項に記載の画像表示装置。
  18. 　前記少なくとも１つのプロセッサは、判定員のスキル、前記判定員の信頼度、複数の前記判定員による判断結果のばらつきの有無、判断に要した時間、のうちの少なくとも１つに基づいて前記第２の基準値、前記第３の値、及び前記第４の値を特定する、
    　請求項１４から１７のいずれか１項に記載の画像表示装置。
  19. 　前記データベースに記憶された判断済画像には、前記難易度のグレードの値が予め付与されている、
    　請求項１４に記載の画像表示装置。
  20. 　前記少なくとも１つのプロセッサは、
    　前記難易度についてそれぞれ異なるグレードの値を有する３以上の判断済画像をデータベースから抽出し、
    　前記３以上の判断済画像を前記グレードの値の昇順又は降順に配置して前記ディスプレイに表示させる、
    　請求項１４から１９のいずれか１項に記載の画像表示装置。
  21. 　第１の検査対象物が撮影された検査対象画像を取得する検査対象画像取得工程と、
    　前記第１の検査対象物とはそれぞれ異なる複数の第２の検査対象物がそれぞれ撮影された複数の判断済画像であって、前記複数の第２の検査対象物の欠陥の判断結果がそれぞれ付与された複数の判断済画像が記憶されたデータベースから判断済画像を抽出する判断済画像抽出工程と、
    　前記検査対象画像、及び前記抽出された判断済画像に基づく少なくとも２以上の判断済画像をディスプレイに表示させる表示制御工程と、
    　を備え、
    　前記少なくとも２以上の判断済画像は、第１の見え方で前記第２の検査対象物の欠陥が視認される第１の判断済画像、及び前記第１の見え方とは異なる第２の見え方で前記第２の検査対象物の欠陥が視認される第２の判断済画像を含む、
    　画像表示方法。
  22. 　請求項２１に記載の画像表示方法をコンピュータに実行させるためのプログラム。
  23. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項２２に記載のプログラムが記録された記録媒体。
PCT/JP2022/007786 2021-02-26 2022-02-25 画像表示装置、画像表示方法及びプログラム WO2022181746A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202280017009.6A CN116897282A (zh) 2021-02-26 2022-02-25 图像显示装置、图像显示方法及程序
JP2023502523A JPWO2022181746A1 (ja) 2021-02-26 2022-02-25
EP22759780.4A EP4300084A4 (en) 2021-02-26 2022-02-25 IMAGE DISPLAY DEVICE, IMAGE DISPLAY METHOD AND PROGRAM
US18/454,751 US20230401696A1 (en) 2021-02-26 2023-08-23 Image display device, image display method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021031133 2021-02-26
JP2021-031133 2021-02-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/454,751 Continuation US20230401696A1 (en) 2021-02-26 2023-08-23 Image display device, image display method, and program

Publications (1)

Publication Number Publication Date
WO2022181746A1 true WO2022181746A1 (ja) 2022-09-01

Family

ID=83049137

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/007786 WO2022181746A1 (ja) 2021-02-26 2022-02-25 画像表示装置、画像表示方法及びプログラム

Country Status (5)

Country Link
US (1) US20230401696A1 (ja)
EP (1) EP4300084A4 (ja)
JP (1) JPWO2022181746A1 (ja)
CN (1) CN116897282A (ja)
WO (1) WO2022181746A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078690A (ja) 2002-08-20 2004-03-11 Olympus Corp 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム
JP2016065875A (ja) * 2015-11-13 2016-04-28 株式会社キーエンス 画像処理装置及び画像処理方法
JP2017227466A (ja) * 2016-06-20 2017-12-28 富士フイルム株式会社 計測支援装置及び計測支援方法
JP2019053050A (ja) * 2017-09-13 2019-04-04 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019527876A (ja) * 2016-06-24 2019-10-03 ベックマン コールター， インコーポレイテッド 画像アトラスシステム及び方法
JP2020042053A (ja) * 2019-12-23 2020-03-19 株式会社キーエンス 画像検査装置および画像検査方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1553601A (en) * 1999-11-29 2001-06-12 Olympus Optical Co., Ltd. Defect inspecting system
US7561753B2 (en) * 2004-01-09 2009-07-14 The Boeing Company System and method for comparing images with different contrast levels

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078690A (ja) 2002-08-20 2004-03-11 Olympus Corp 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム
JP2016065875A (ja) * 2015-11-13 2016-04-28 株式会社キーエンス 画像処理装置及び画像処理方法
JP2017227466A (ja) * 2016-06-20 2017-12-28 富士フイルム株式会社 計測支援装置及び計測支援方法
JP2019527876A (ja) * 2016-06-24 2019-10-03 ベックマン コールター， インコーポレイテッド 画像アトラスシステム及び方法
JP2019053050A (ja) * 2017-09-13 2019-04-04 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2020042053A (ja) * 2019-12-23 2020-03-19 株式会社キーエンス 画像検査装置および画像検査方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4300084A4

Also Published As

Publication number Publication date
US20230401696A1 (en) 2023-12-14
CN116897282A (zh) 2023-10-17
EP4300084A4 (en) 2024-08-14
JPWO2022181746A1 (ja) 2022-09-01
EP4300084A1 (en) 2024-01-03

Similar Documents

Publication Publication Date Title
JP6810505B2 (ja) 教師データ作成方法及び装置並びに欠陥検査方法及び装置
TWI647442B (zh) Defect classification device and defect classification method
KR102062433B1 (ko) 결함 정량화 방법, 결함 정량화 장치 및 결함 평가값 표시 장치
US8660336B2 (en) Defect inspection system
US11029255B2 (en) Defect inspection device, defect inspection method, and program
CA2640884C (en) Methods and systems for use in security screening, with parallel processing capability
US8139847B2 (en) Defect inspection tool and method of parameter tuning for defect inspection tool
JP6078234B2 (ja) 荷電粒子線装置
CN107111872B (zh) 信息处理装置、信息处理方法、及存储介质
WO2020003917A1 (ja) 欠陥表示装置及び方法
JP6754155B1 (ja) 教師データ生成装置、検査装置およびコンピュータプログラム
CN115511866A (zh) 用于多维数据的图像分析的系统和方法
JP6832921B2 (ja) 粒子分析装置、及び、粒子分析システム
Mutiargo et al. Defect detection using trainable segmentation
WO2022181746A1 (ja) 画像表示装置、画像表示方法及びプログラム
JP2018091771A (ja) 検査方法、事前画像選別装置及び検査システム
JP5374225B2 (ja) ウェハ検査条件決定方法、ウェハ検査条件決定システム及びウェハ検査システム
KR102608709B1 (ko) 하전 입자선 장치
WO2022181747A1 (ja) 画像表示装置、画像表示方法及びプログラム
KR20220040466A (ko) 하전 입자선 장치
WO2023136030A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023050857A (ja) 画像検査方法、及び画像検査装置
JP2009211410A (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22759780

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023502523

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280017009.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022759780

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022759780

Country of ref document: EP

Effective date: 20230926