WO2004019617A1 - 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム - Google Patents

画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム Download PDF

Info

Publication number
WO2004019617A1
WO2004019617A1 PCT/JP2003/010531 JP0310531W WO2004019617A1 WO 2004019617 A1 WO2004019617 A1 WO 2004019617A1 JP 0310531 W JP0310531 W JP 0310531W WO 2004019617 A1 WO2004019617 A1 WO 2004019617A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
observation
comparison
observation image
positions
Prior art date
Application number
PCT/JP2003/010531
Other languages
English (en)
French (fr)
Inventor
Masahiro Morishima
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2002239616A external-priority patent/JP4633322B2/ja
Priority claimed from JP2002239617A external-priority patent/JP2004078690A/ja
Application filed by Olympus Corporation filed Critical Olympus Corporation
Priority to EP03792749A priority Critical patent/EP1549072A4/en
Publication of WO2004019617A1 publication Critical patent/WO2004019617A1/ja
Priority to US11/060,144 priority patent/US20050157170A1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30144Printing quality

Definitions

  • Image comparison apparatus image comparison method, and program for causing a computer to execute image comparison
  • the present invention relates to an image comparison apparatus, an image comparison method, and a program for causing a computer to execute an image comparison, using the sample reference image to compare images for comparison.
  • This image comparison device stores a plurality of images (hereinafter referred to as comparison images) captured from a television camera as digital data, and in this case, an image of half of the reference image and the comparison image are stored. By extracting half of the images and pasting them together and displaying them as one image on the monitor, you can easily check whether the left and right images match or not. It is being done.
  • the object of the present invention is to simplify the alignment of the reference image and the comparison image, or to automatically match the parts to be compared of the comparison image under the same conditions as the reference image, and to obtain an image with high accuracy. It is an object of the present invention to provide an image comparison apparatus, an image comparison method, and a program for causing a computer to execute the image comparison, which can perform comparison.
  • an image comparison apparatus comprising: an observation image capturing means for capturing one of a macroscopic observation image and a microphone oral observation image of a sample; and the observation image capturing means.
  • An imaging means for taking an observation image captured by the user, a recording means for recording a reference image prepared in advance, and an observation image taken by the imaging means are displayed as a comparison image
  • the reference image is corrected so that the display means and the position and magnification of the reference image recorded in the recording means are the same as the comparison image displayed on the display means, and the comparison with the comparison image is performed.
  • Control means for enabling the display means to display It is characterized by having
  • an image comparison device comprising: an observation image capturing means for capturing one of a macroscopic observation image and a mic oral observation image of a sample; An imaging means for taking an observation image captured by means; a recording means for recording a reference image prepared in advance; a display means for displaying the reference image recorded in the recording means; The comparison image is corrected so that the position of the observation image taken by the means and the magnification of the observation image are the same as the reference image displayed on the display means so that the display can be compared with the reference image.
  • the controller is characterized by including control means to be displayed on the means.
  • An image comparison apparatus is an observation image capturing means for capturing one of a macroscopic observation image and a microphone oral observation image of a sample, and the observation image capturing means.
  • An image pickup means for photographing an observation image taken in; a recording means for recording an observation image photographed by the image pickup means and an observation condition by the observation image pickup means and the image pickup means
  • display means for displaying the observation image recorded in the recording means as a reference image, and the observation image taking-in means and the imaging means based on the observation conditions of the observation image recorded in the recording means.
  • a control means for reproducing the state and displaying the observation image taken by the imaging means as the comparison image on the display means so as to be comparable with the reference image; It is characterized.
  • an image comparison device comprising: an observation image capturing means for capturing a micro-oral observation image of a sample; A recording means for recording an observation image taken by the imaging means, an observation image taken by the imaging means, and an observation condition by the observation means and the imaging means; Means and a display means for displaying the observation image recorded in the recording means as a reference image, and the observation image taking means and the imaging means based on the observation conditions of the observation image recorded in the recording means And reproducing the state, and further comprising control means for causing the display means to display the observation image taken by the imaging means as a comparison image so as to be comparable to the reference image. doing.
  • the image comparison method incorporates one of a mask oral observation image and a microphone oral observation image of a sample, and also incorporates the acquired observation image.
  • the photographed observation image is displayed on the display means as a comparison image, and the position and magnification of the reference image prepared in advance are the same as the comparison image displayed on the display means. It is characterized in that correction is made so as to be displayed on the display means so that it can be compared with the comparison image.
  • an image comparison method comprising taking one of a mask oral observation image and a microphone oral observation image of a sample and capturing the observation image. And a reference image prepared in advance is displayed on the display means, and the position and magnification of the observation image to be photographed are corrected and compared so as to be the same as the reference image displayed on the display means. It is characterized in that the image is displayed on the display means so as to be comparable to the reference image.
  • an image comparison method comprising: taking one of a mask oral observation image and a microphone oral observation image of a sample; The captured observation image is photographed, and the photographed observation image is recorded together with the observation condition of the observation image, and the recorded observation image is displayed on the display means as a reference image.
  • the state of capturing the observation image and imaging is reproduced based on the observation conditions of the recorded observation image, and the observation image captured in this state is referred to as a comparison image. It is characterized in that it is displayed on the display means so that it can be compared with an image.
  • the image comparison method is a method of capturing a micro-viewing image of a sample as well as capturing the captured observation image and capturing the image.
  • An observation image is recorded together with the observation conditions of the observation image, and the recorded observation image is displayed on the display means as a reference image, based on the observation conditions of the observation image recorded.
  • the present invention is characterized in that the state of capturing and capturing the observation image is reproduced, and the observation image taken in this state is displayed on the display means as a comparison image so as to be compared with the reference image. ing.
  • a program according to a ninth aspect of the present invention is a program for causing a computer to execute an image comparison, wherein a macroscopic observation image of the sample and a mirror image are obtained by the observation image capturing means. While one of the observation images is taken in, the taken-in observation image is taken by the imaging means, and the taken observation image is displayed as a comparison image. The position and magnification of the reference image prepared in advance are corrected so that they are the same as the comparison image displayed on the display means, and the comparison image can be compared with the comparison image. It is characterized in that it is displayed on the display means.
  • the program according to the tenth aspect of the present invention is an image comparison program. .
  • a program to be executed by a computer wherein one of a macroscopic observation image of the sample and a microscopic oral observation image of the sample is taken in by the observation image taking means;
  • the taken observation image is taken by the imaging means and the reference image prepared in advance is displayed on the display means, and the position and magnification of the taken observation image are displayed on the display means.
  • the reference image is corrected to be the same as the displayed reference image, and is displayed on the display means as a comparison image so as to be comparable to the reference image.
  • a program according to a first aspect of the present invention is a program for causing a computer to execute an image comparison, which is a program for observation of a sample by observation image capturing means.
  • the imaging means captures the observation image captured by the imaging means, and the observation image captured by the imaging means Are stored in the recording means together with the observation image acquisition means and the observation conditions by the imaging means, and the observation image recorded in the recording means is displayed on the display means as a reference image.
  • the states of the observation image taking means and the imaging means are reproduced based on the observation conditions of the observation image recorded in the recording means, and the observation image taken by the imaging means is compared with the comparison image.
  • the display means comparably to the reference image Les characterized a call to be displayed, Ru.
  • a program according to a twelfth aspect of the present invention is a program for causing a computer to execute image comparison, which is a program for microscopically observing a sample by means of an observation image acquisition means.
  • the captured image is captured by the imaging means.
  • the observation image taken by this imaging means is stored in the recording means together with the observation image taking-in means and the observation conditions by the imaging means, and the observation image recorded in the recording means is taken as a reference image.
  • FIG. 1 is a block diagram of a microscope image comparison apparatus according to a first embodiment of this invention.
  • FIG. 2 is a diagram showing a system configuration of the microscope image comparison device of the first embodiment.
  • FIG. 3 is a view showing a display example of a monitor used in the first embodiment.
  • FIGS. 4A to 4F show display examples for comparing the reference image and the comparison image in the first embodiment.
  • FIGS. 4A to 4F show display examples for comparing the reference image and the comparison image in the first embodiment.
  • FIGS. 5A to 5F are diagrams showing display examples for comparing another reference image and a comparison image in the first embodiment.
  • 6A to 6D are diagrams showing display examples for comparing a comparison image with other reference images in the first embodiment.
  • Fig. 7 is a flowchart to explain the overlap processing in the first embodiment.
  • FIG. 8 is a view showing another display example for comparing the reference image and the comparison image in the first embodiment.
  • FIGS. 9A to 9E are diagrams for explaining a method of matching the position and magnification of the reference image and the comparison image in the first embodiment.
  • FIG. 10 is a flowchart for explaining a method of matching the position and magnification of the reference image and the comparison image in the first embodiment.
  • FIG. 11 is a diagram showing a system configuration of a microscopic image comparison apparatus according to a second embodiment of the present invention.
  • FIGS. 12A to 12E are diagrams for explaining a method of matching the position and magnification of the reference image and the comparison image in the second embodiment.
  • Fig. 13 is a flowchart explaining how to match the positions and magnifications of the reference image and the comparison image in the second embodiment.
  • Fig. 14 is a view showing a display example of a monitor used in the third embodiment.
  • FIG. 15 is a flowchart to explain the operation of the third embodiment.
  • Figure 16 is a flow chart for explaining the operation of the third embodiment.
  • Fig. 17 is a flowchart for explaining the operation of the third embodiment.
  • Figure 18 is a flowchart for explaining the operation of the third embodiment.
  • FIG. 1 is a block diagram of a microscopic image comparison device as an image comparison device to which the present invention is applied.
  • an observation apparatus 1 comprising a microscope for observing a sample (not shown) takes in a microscopic observation image as a means for taking a microscopic observation image of the sample as a means for taking a microscopic observation image.
  • Macro observation unit 2 and macro observation unit 3 as macro observation image acquisition means for taking macro observation images of samples, and imaging means I have a TV camera 4 and I will play it.
  • the TV camera 4 captures an observation image of a micro or macro taken respectively by the micro observation unit 2 or the macro observation unit 3 and takes an image. Output as a digital image to the computer 5 of the control means.
  • the computer 5 has an image input board 6, a video card 7, a RAM 8, a CPU 9, a recording medium 10, an interface 1 1 and a bus 1 2, and the TV camera 4 Digital image of the power source is taken to the image input board 6, and the captured digital image is stored in the RAM 8 or the monitor 1 3 as display means via the video card 7 Display as a still image or moving image (The moving image shows the moving image of the video camera of TV camera 4).
  • the recording medium 10 a plurality of digitized reference images prepared in advance and a program 10 a such as a text identification support software described later are recorded. After being read, the program 10a recorded in the recording medium 10 is temporarily stored in the RAM 8 via the memory 12 and executed by the CPU 9 to compare the image. I do .
  • FIG. 1 is connected to keyboard 1 4 and mouse 1 5, which are used to input instructions for executing program 1 0 a.
  • Fig. 2 is a diagram showing the system configuration of the microscope image comparison device as described above, and the same reference numerals are given to the same parts as Fig. 1.
  • the observation device 1 is configured by integrating the micro observation unit 2 and the mark oral observation unit 3 into one.
  • the micro observation 2 is used as a micro observation image acquisition means for observing a magnified image of precise printing and processing of a sample.
  • the mix mouth 2 is provided with an objective lens 21 disposed opposite to the sample (not shown) placed on the base 20.
  • the precise printing and processing of the sample is magnified through the objective lens 2 1.
  • the magnified image of the sample is made visible by the eyepiece lens 2 2 and taken by the TV camera 4, and then taken to the computer main unit 5. It is configured to be included.
  • polarized illumination 2 3 illuminates the sample placed on the base 2 0 along the optical axis of the objective lens 2 1.
  • the epi-illumination 2 4 illuminates the sample from a position off the optical axis of the objective lens 2 1.
  • the transmitted illumination 25 illuminates the sample in the direction from the inside of the base 20 to the objective lens 21. It is possible to observe the outer shape of the sample and the image transmitted through the sample by means of the transmitted illumination 2 5.
  • the epi-illumination 2 6 is an illumination for observing a fluorescent image, and the epi-illumination 2 6 enables observation of a special print on which a sample is subjected to fluorescent printing and the like.
  • the oblique illumination 2 7 illuminates the sample obliquely, and the irregular illumination 2 7 enables observation of special processing with irregularities such as marking on the specimen.
  • micro control box 3 7 for polarized illumination 2 3, epi illumination 2 4, transmitted illumination 2 5, epi fluorescent illumination 2 6, and oblique illumination 2 7 You can adjust lighting, extinguishing and brightness.
  • Macro observation 3 is used as a macro observation image acquisition means for observing a sample over a relatively wide field of view.
  • the macro observation unit 3 has the macro lens 2 9 disposed opposite to the sample (not shown) placed on the base 2 8.
  • the image of the sample is led to the light path on the micro observation window 2 side through the lens for lens opening 2 9 and the focus for handling the lens for opening 3 6, and the eyepiece
  • the lens can be visually observed by the lens 2 2, and it is also photographed by the TV power mel 4 and incorporated into the PC 5.
  • a polarized illumination 30, an epi-illumination 31, a transmitted illumination 32, an epi-fluorescent illumination 33 and a polarized illumination 34 are prepared.
  • the polarized illumination 30 illuminates the sample placed on the base 2 8 along the optical axis of the macro lens 2 9.
  • the epi-illumination 31 illuminates the sample from a position off the optical axis of the macro lens 2 9.
  • the transmitted illumination 32 illuminates the sample in the direction from the base 2 8 internal force to the macro lens 2 9.
  • the epi-illumination fluorescent light 33 is a light for observing a fluorescent image, and the epi-illumination fluorescent light 33 can be used to observe special printing on which a sample is subjected to fluorescent printing or the like.
  • the oblique illumination 3 4 illuminates the specimen obliquely, and with the oblique illumination 3 4 it is possible to observe special processing with unevenness, such as the marking of the specimen.
  • Macro Control Box 3 5 for polarized illumination 30 For the operation with Macro Control Box 3 5 for polarized illumination 30, epi illumination 3 1, transmitted illumination 3 2, epi fluorescent illumination 33 3, and oblique illumination 34 4 You can turn on, turn off, and adjust the brightness.
  • Figure 3 shows the GUI displayed on the monitor 1 3 when the image comparison software for program 1 0 a (see Figure 1) recorded on the recording medium 1 0 is started. ) It is a figure showing an example of 4 1.
  • G U I 4 1 as shown in FIG. 3 is displayed as a Windows screen using, for example, an operating system such as Microsoft's Windows system.
  • G U I 4 1 has a still image display area 4 2 as a first image display area and a moving image display area 4 3 as a second image display area.
  • a digital image can be displayed as a still image as a reference image.
  • the “reference image” may be, for example, an image obtained by photographing a forged part of text or a sample of a printed material with the T V camera 4 or a real sample with the T V camera 4.
  • the reference image is recorded in advance as a digital image on the recording medium 10 of the computer main unit 5 and is recorded.
  • the moving image display area 43 can display a moving image taken by the TV camera 4 as a comparison image.
  • the “comparison image” is the image (moving image) of the sample that you want to observe.
  • the observation image of the sample taken with the micro observation unit 2 or the macro observation unit 3 by using a microphone or mask is used as a TV camera 4
  • the moving image taken in the above is a comparison image.
  • the image taken with the TV camera 4 in order to obtain a comparison image may be either the micro observation 2 side or the macro observation 3 side, and it should be The observer can arbitrarily select the person who wants to observe.
  • the moving image display area 43 can display moving images, but it is also possible to temporarily display as a still image after moving the sample to determine the position to be observed. .
  • G U I 4 1 has an observation image display area 4 4 as a third image display area.
  • the observation image display area 4 4 the still image displayed in the still image display area 4 2 and the moving image displayed in the moving image display area 4 3 can be displayed by various display methods as described below. It is possible to display it.
  • 4A to 9A to 9E are diagrams for explaining various display examples in the observation image display area 4 4.
  • FIG. 4A to 4F show display examples in the case where the reference image of the still image display area 4 2 and the comparison image of the moving image display area 4 3 in the observation image display area 4 4 are arranged side by side and compared.
  • FIG. 4A is a diagram showing a reference image of the still image display area 42.
  • the left half is a still image left 4 2 L
  • the right half is a still image right 4 2 R.
  • Fig. 4B is a diagram showing a comparison image of the moving image display area 43.
  • the left half of the image is taken as the left 4 3 L and the right half is taken as the right 4 3 R.
  • Fig. 4C is a diagram showing the observation image in the observation image display area 44.
  • the reference image of the still image left 4 2 L is displayed in the left half of the observation image, and the moving image right is displayed in the right half.
  • 4 3 R comparison image is displayed ing.
  • the left half shows the comparison image of the video right 4 3 R
  • the right half shows the still image of the left 4 2 L reference image.
  • the left half shows the comparison image of the left 4 3 L
  • the right half shows the reference image of the right 4 2 R still image.
  • the reference image of the still image right 4 2 R is displayed in the left half
  • the comparison image of the video left 4 3 L is displayed in the right half.
  • the image on the left of the movie 4 3 L and the image on the movie right 4 3 R are images in which the images taken with the TV camera 4 are displayed in real time (video rate). Since it is an image, it is possible to align the position you want to observe to the still image left 42 L or the still image right 42 R while moving the sample. It is also possible to compare moving pictures as still pictures temporarily when the positions of the still picture and the moving picture are aligned.
  • the left and right split ratio are made the same, but it is also possible to change the split ratio.
  • Fig. 4C it is possible to narrow the width of the still image left 4 2 L and widen the width of the movie right 4 3 R.
  • FIG. 5A to 5F show display examples in the case where the reference image of the still image display area 4 2 and the comparative image of the moving image display area 4 3 in the observation image display area 4 4 are vertically aligned and compared.
  • FIG. 5A is a diagram showing a reference image of the still image display area 42.
  • the upper half of the reference image is the upper part of the still image 42 U, and the lower half is the lower part of the still image 42 D.
  • Fig. 5B is a diagram showing a comparative image of the moving image display area 43.
  • the upper half of the video is 43 U above the video, and the lower half is 4 3 D below the video.
  • Fig. 5C is a diagram showing the observation image in the observation image display area 44.
  • the reference image of 42U on the still image is displayed in the upper half, and the lower half is A comparison image of 4 3 D below the movie is displayed.
  • the lower half of the 3 4 D comparison image is displayed in the upper half, and the lower half is the reference image of 4 2 U on the still picture.
  • the upper half shows the comparison image of 4 3 U above the moving picture
  • the lower half shows the reference image of 4 2 D below the still picture.
  • the lower half of the still image is a reference image of 4 2 D
  • the lower half is a comparison image of 43 U above the moving image.
  • the images taken with the TV camera 4 are displayed in real time (video rate) for the 43 U video and the 43 D video, respectively, and the sample is moved. While doing this, you can align the position you want to observe to 4 2 U on the still image or 4 2 D on the still image. It is also possible to compare temporarily as a still image when the still image and the moving image are aligned.
  • the screen display changes shown in Figure 4 A to 4 F and 5 A to 5 F can be made by clicking the icon 45 on the GUI 41, for example, "split display”. You can do it easily.
  • FIG. 14 is a diagram showing a display example in the case of overlapping and displaying an image and.
  • Figure 6A shows the observation image of the observation image display area 4 4.
  • Fig. 6A only the still image 4 2 A, which is the reference image of the still image display area 4 2, is displayed.
  • Fig. 6B is a display example of the overlap image 46a, and details of a still image 4 2 A and a moving image 4 3 B (Fig. 6 D) which is a comparison image of a moving image display area 4 3 Is added as described later, and an overlap image 46a is displayed.
  • the addition of the two images is done as follows.
  • the brightness of one pixel with the A image is I a (X, y)
  • the same position of the B image Let the luminance I b (x, y) of the pixel.
  • the luminance I (, y) of the overlap image is
  • the ratio of still images 42A (that is, the brightness, hereinafter referred to as "ratio") is larger than the ratio of moving images 43B, so still images 4 2 A's image looks clearer.
  • the ratio of the still image 4 2 A is smaller than the ratio of the moving image 4 3 B, unlike the overlap image 4 6a described above. Because of this, the image of moving image 4 3 B will look more clearly. From this, the proportion of still images 4 2 A is increased Finally, only the still image 4 2 A shown in FIG. 6 A is displayed. Conversely, if the proportion of moving image 4 3 B is increased, the moving image 4 in FIG.
  • the overlap ratio of the still image 4 2 A and the moving image 4 3 B recorded on the recording medium 10 is read out (step 7 0 1).
  • the overlap ratio is determined by the values of m and n in the above equation.
  • the still image 4 2 A and the moving image 4 3 B are added together at the read over lap ratio (also simply referred to as a “ratio”) and synthesized and displayed in the observation image display area 4 4 Yes (Step 7 0 2).
  • the ratio is calculated for all pixels of the image by the above-mentioned equation, and the result is displayed.
  • Check if the ratio has been updated by the operation of slider 4 7 shown in Fig. 3 (step 7 0 3).
  • the ratio of overlap can be easily adjusted by the operator moving slider 4 7 on G U I 4 1 shown in Fig.3. If the ratio is changed by the operation of slider 4 7 in step 7 03, the slider
  • step 7 0 1 for the same process. If the ratio does not change at step 703, proceed to step 700 and check if the overlap processing is finished. If not finished in step 7 05, return to step 7 0 3 The same process is repeated. In step 750, when it is finished, the series of processing of overlap is finished.
  • the reference image and the comparison image are added, superimposed, and displayed in an overlapping manner, for example, by displaying the real product and the counterfeit print in an overlapping manner, the difference between the two can be displayed. It is easy to find visually.
  • FIG. 8 is a view showing a display example when comparing both images.
  • An image switching display means for alternately switching the reference image and the comparison image will be described.
  • the reference image displayed in the still image display area 4 2 is displayed as the still image 4 2 E in the observation image display area 4 4.
  • the comparison image displayed in the moving image display area 4 3 is displayed as the moving image 4 3 F in the observation image display area 4 4 after a predetermined time.
  • the image switching display further displays a still image 4 2 E after a certain period of time.
  • the image switching display performs the above-described processing continuously.
  • the image switching display process can execute the program by, for example, clicking a predetermined icon on the G U I 4 1 displayed on the monitor 13.
  • the image switching time can be changed to an arbitrary value by inputting the constant time interval described above by G U I 4 1 ⁇ ⁇ .
  • the reference image and the comparison image are displayed side by side or up and down or alternately displayed at certain time intervals and displayed while comparing both images. If the position or magnification is not correct, accurate comparison may not be possible.
  • the observer manipulates the stage to move the position of the sample, and the magnification changes the magnification of the objective lens of the microscope. Make adjustments, etc.
  • a method is adopted in which the comparison image (moving image) is combined with the reference image in the still image display area 42.
  • this method it is difficult and time-consuming to match the position and magnification of the comparison image magnified at high magnification.
  • the image is very dark, and image integration is performed to display a moving image. Because of this, processing takes time, and after the position of the sample has been moved by manipulating the stage, a time lag occurs before the display is moved, so the images are aligned. And become more difficult.
  • FIGS. 9A to 9E are diagrams showing a correction method in the case where the image positions and magnifications of the reference image of the still image display area 4 2 and the comparison image of the moving image display area 4 3 are deviated.
  • This correction method will be described with reference to the flowcharts shown in FIG. 9A to FIG. 9E and FIG. 10.
  • Still image which is a reference image of the still image display area 42 shown in FIG. 9A.
  • Image 4 2 G and moving image 4 3 G shown in Fig. 9 B are comparative images of moving image 4 3 G characteristic position Two points are compared by comparing the position of still image 4 2 G, magnification Perform image processing to match moving image 4 3 G by changing.
  • the observer clicks the characteristic first position 4 3 G-1 1 of the moving picture 4 3 G shown in FIG. 9 B on the screen of the monitor 13 using the mouse 1 5 ( Step 1 0 0 1).
  • the observer uses the mouse 1 5 to display the still image 4 2 G shown in FIG. 9 A and the characteristic first position 4 3 G of the moving image 4 3 G on the screen of the monitor 13. -Click the position corresponding to 1 1 as the first position 4 2 G-1 1 (step 1 0 0 2).
  • step 1003 it is determined whether these characteristic first positions 4 3 G — 1 1 and 4 2 G — 1 1 are aligned.
  • the moving image display area 43 and the still image display area 42 are regarded as the same area, and it is determined whether the first positions 4 3 G — 1 1 and 4 2 G — 1 1 are satisfied. .
  • step 1003 if the positions do not match, image processing is performed to move the still image 4 2 G in the still image display area 4 2 in the X and Y directions, and Match the 1st position 4 2 G 1 1 1 with the 1st position 4 3 G-1 1 of the moving image display area 4 3 3 4 3 G where 1 1 is regarded as the same area (step 1 0 0 4 ).
  • FIG. 9C is a view showing the display in the still image display area 4 2 after the above-mentioned image processing. As shown in Fig. 9C, in the still image display area 42, the still image 4 2 H after movement and the new first position 4 2 H-1 1 is displayed.
  • the observer again uses the mouse 1 5 to display the characteristic second position 4 3 G — 2 1 of the moving picture 4 3 G shown in FIG. 9B on the monitor 1 3 screen. Click (Step 1 0 0 5).
  • the observer uses the mouse 1 5 on the screen of the monitor 1 3, and the second position of the characteristic of the moving image 4 3 G on the still image 4 2 H shown in FIG. 9 C Click the position corresponding to 4 3 G-2 1 as the second position 4 2 H-2 1 (steps 1 0 0 6).
  • the difference in magnification between the moving image 4 3 G and the still image 4 2 H is determined.
  • the difference in magnification, K, K (4 2 G-1 1 and 4 2 G-2 1) no (4 3 G-1 1 and 4 3 G-2 1) Ask.
  • image processing is performed such that the still image 4 2 is enlarged or reduced within the still image display area 4 2 (step 1007).
  • FIG. 9D is a diagram showing the display in the still image display area 4 2 after such image processing.
  • the still image display area 42 in the still image display area 42, the still image 4 2 I after enlargement and reduction and the new first position 4 2 I 1 1 1, the second position 4 2 I-2 1 is displayed.
  • FIG. 9E is a diagram showing the display in the still image display area 4 2 after the above-mentioned image processing. According to Fig. 9 E, the still image display area 4 2 displays the rotated still image 4 2 J, the new first position 4 2 J-1 1, and the second position 4 2 J-2 1 Be done.
  • the position and magnification of the still image 4 2 J displayed in the still image display area 4 2 and the moving image 4 3 G of the moving image display area 4 3 can be easily and precisely. It is possible to match.
  • the observation image of the sample is taken from the micro observation unit 2 or the macro observation unit 3 via the TV camera 4 into the main body 5 of the monitor, and the monitor 13 A GUI can be displayed as a comparison image on the GUI 41, and the comparison image can be displayed at the same position and magnification as the reference image recorded in advance. Therefore, it is possible to conduct highly reliable identification of printed matter and special printing such as identification documents.
  • the observer matches the position and magnification of the still image and the moving image, the color and shape of the characteristic first position and the second position of the moving image designated by the observer It is also possible to recognize movement of the position, etc., automatically change the position and magnification of the still image at fixed time intervals, and display it in the still image display area 4 2. Yes. Also, in the above processing, the observer first specified the characteristic first position and the characteristic second position, but the image processing automatically determines the characteristic two positions, and the characteristic of the observer The same effect can be obtained by changing the position and magnification of the still image automatically without specifying a specific position and displaying it in the still image display area 4 2.
  • the sample on the base 2 8 is compared with a reference image in a wide-field and wide-range view by using a macro observation unit 3 and the sample is selected as necessary.
  • the image is transferred to the base 2 0 of micro observation 2 and the precision printing and processing are magnified and compared with the reference image for observation.
  • these tasks can be automated.
  • FIG. 11 is a view showing a schematic configuration of a microscope image comparison device.
  • the microscope image comparison device shown in FIG. 11 includes an observation device 6 9 and an image processing device 7 0.
  • the observation device 6 9 comprises a microphone aperture observation unit 7 1 as an integrally configured microphone aperture observation image capturing means and a mask as a microphone aperture observation image capturing means
  • a mouth-watching session 7 2 and 3 are prepared.
  • the macro observation unit 7 1 and the macro observation unit 7 2 have a macro common to the base (for micro) 7 3 and the base (for macro) 7 4
  • Mix-in motor stage (automatic X-Y rotation stage) 75 is provided. By driving the macro-micro motorized stage 7 5, the delivery of the sample is automatically performed between the micro-observation 7 1 and the macro-observation 7 2. it can.
  • a TV camera 7 6 is provided to capture these observation images.
  • the TV camera 7 6 shoots the sample through the motorized zoom 7 7 for micro macros and the objective lens 7 8. Adjustment of focus is for micro It takes place at the electric focus 7 9.
  • the TV camera 7 6 has a macro observation unit 7 2, a motorized zoom 7 7 for macro 'macro, an optical path switching device (not shown), and a macro lens 8. Take a picture of the sample through 0. The adjustment of the focus is performed by the motorized focus single 8 1 for macros.
  • the light control device (not shown), the optical path switching device (not shown) and the TV camera 7 6 are automatically controlled by the computer main body 8 2 which is a control means that forms a part of the image processing device 70. It will be possible and will give a lecture.
  • the micro observation unit 7 1 includes a deflection illumination 8 3, an epi-illumination 8 4, an epi-illumination illumination 8 5, an oblique illumination 8 6, a transmission illumination 8 7, an infrared transmission illumination 8 8 Will be provided.
  • the macro observation unit 72 is provided with polarized illumination 89, epi-illumination 90, epi-fluorescent illumination 91, polarized illumination 92, transmitted illumination 93, and infrared radiation illumination 94.
  • the lighting system is a control box for manual control box (manual operation box) according to the lighting method suitable for the observation site of the target sample. 9 5, Macro control box (Manual operation box) 9 6 is selected.
  • the observation device 6 9 is connected to the image processing device 7 0 via the macro communication cable 9 8, the tele video camera video cable 9 9 and the tele video communication cable 1 0 0. Teru.
  • the image processing apparatus 70 includes a monitor 1 as a display means for displaying an observation image and a GUI for control in addition to the PC main body 8 2, and a keyboard 1 of an input device. There are 0 2 and 1 0 3 mice.
  • the image processing device 70 controls the observation device 6 9 via the macro-micro communication cable 9 8 and also controls the television set via the television video camera 9 9
  • the video signal of the camera 7 6 is taken in, and furthermore, the brightness, control light, etc. of the TV camera 7 6 via the television communication cable 10 0 Control the
  • the image processing device 70 is a video camera (not shown) in the computer main body 8 2 of the imaging signal of the TV camera 7 6 et al. Loads the memory in the main unit 8 2 and converts it into a signal that can be displayed as a digital image on the monitor 101.
  • the main body 8 2 has menus for system control, button display, monitor for image display, and menu and button operation. Keyboard 102 and mouse 103 are connected.
  • the main body 8 2 has a frame memory function for displaying an image taken by the TV camera 7 6, a menu and button operation function for system control, and an observation device 6 It is equipped with communication functions to control 9.
  • the personal computer 8 2 also has a memory function to temporarily store image data. Ru.
  • the computer main body 8 2 is further equipped with a communication means, and data communication with other personal computers etc. enables the image taken with the TV camera 7 6 and other data such as shooting conditions to be transmitted. It is possible to save the data to share it with the software.
  • communication methods include Ethernet, GP — IB, parallel, serial equality S.
  • the personal computer 8 2 has focus on the driving command of the macro and micro electric stage 75, the macro observation unit 7 1 and the macro observation unit 7 2 Starts commands such as zoom, light path switching, lighting method switching, light control, etc., and also outputs control commands for the TV camera 7 to the observation device 6 9 via the interface.
  • an observation device 6 9 and an interface For example, RS — 2 3 2 C, GP — IB, ⁇ , and so on. La Renole, Serial, SCSI Equal Power S.
  • FIG. 7 is a diagram showing a correction method in the case of a shift.
  • the image processing method shown in Fig. 13 is an image processing method that compares the positions of two positions, changes the position of the moving image 4 3 K, and changes the magnification to match the still image 4 2 K. This will be described using
  • FIG. 1 2 A Still image 4 2 K shown in Fig. 1 Click the characteristic first position 4 2 K-1 1 and the second position 4 2 K-2 1 on the 2 K 1 1 0 1). Next, the position corresponding to the first position 4 2 K-1 1, the second position 4 2 K-2 1 of the still image 4 2 G on the moving image 4 3 G shown in Fig. 12 B Click at the first position 4 3 K-1 1 and the second position 4 3 K-2 1 (steps 1 1 0 2).
  • the difference in magnification between moving image 4 3 K and still image 4 2 K is determined.
  • the magnifications are compared based on the calculated magnification ⁇ (steps 1 1 0 3).
  • step 1103 if the magnification is different, operate the motorized zoom 7 7 for micro macro and zoom the moving picture 4 3 in the moving picture display area 4 3 (Steps 1 1 0 4).
  • Figure 1 2 C is a diagram showing the display in the video display area 4 3 after the operation of the motorized zoom 7 7 for micro macros and macro.
  • the video display area 4 3 the video after enlargement and reduction is shown.
  • the image 4 3 L and the new 1st and 2nd positions 4 3 L — 1 1, 4 3 L-2 1 are displayed.
  • the inclination of the still image 4 2 shown in Fig. 12 that is, the inclination of the straight line connecting the positions 4 2 K-1 1 and 4 2 K-2 1 and the moving image 4 3 shown in Fig. 1 2 C
  • the angle difference ⁇ between the position of L 4 3 L — 1 1 and the inclination of the straight line connecting 4 3 L ⁇ 2 1.
  • the moving picture 4 3 K is rotated within the moving picture display area 4 3 by rotating the macro-micro electric motor stage 7 5 by the angle ⁇ . (Steps 1 1 0 5).
  • Fig. 1 2D shows that such a macro micro stage 7 5 Shows the display in the moving image display area 4 3 after the rotation operation of the moving image display area 4 3, the moving image display area 4 3 includes the moving image 4 3 M after rotation and the new first and second positions 4 3 M-1 1, 4 3 M-2 1 is displayed.
  • step 1106 click one of the first characteristic positions 4 3 M — 1 1 of one of the moving images 4 3 M of the moving image display area 4 3.
  • step 1108 the macro 'micro motor drive stage 7 5 moves in the X and Y directions, and the first position of the moving picture 4 3 M 4 3 M- Match 1 1 to the first position 4 2 K-11 of the still image 4 2 G.
  • the moving image display area 43 and the still image display area 42 are regarded as the same area, and it is determined whether or not the first positions 4 3 M-1 1 and 4 2 K-1 1 coincide with each other. (Step 1 1 0 7).
  • Fig. 12 E is a diagram showing the display in the moving image display area 43 after such image processing.
  • the moving image display area 43 the moving image after movement in the X and Y directions is shown.
  • the image 4 3 N and the new first position 4 3 N-1 1, the second position 4 3 N-2 1 are displayed.
  • the image position and magnification of the moving image 4 3 N displayed in the moving image display area 4 3 and the still image 4 2 K in the still image display area 4 2 can be easily Moreover, the accuracy can be matched, and the same effect as that of the first embodiment can be expected.
  • the observer first specifies the first and second characteristic positions of the still image 4 2 and the moving image 4 3 K. However, the two distinctive positions automatically in image processing If the observer automatically determines the characteristic position, the operation of the motorized zoom 7 7 and macroscopic motorized stage 7 5 of the micro 'macro is automatically performed without specifying a characteristic position. The same effect can be obtained by In the first and second embodiments, the same image is rotated by the rotation of the macro-micro motorized stage 75. However, the image using a prism or mirror is used. The moving image may be rotated using an optical element such as a gyrostat or lens.
  • the moving image was moved in the XY direction by the macro-micro electric motorized stage 75
  • the moving image and the still image coincide by moving the still image in the XY direction.
  • the same effect can be obtained by letting Furthermore, using a high-definition TV camera as the TV camera 76, the image area matching the magnification is extracted, the image is converted to the original resolution, and the magnification is adjusted. Use a part of the high-resolution camera image as the original resolution, and move the image area that incorporates the movement in the XY direction in the XY direction to match the still image with the moving image The same effect can be obtained by
  • the microscope image comparison device used in the stand-alone has been described. Without being limited to this, it is stored that the digital image necessary for the image server and its information, for example, an explanation of the forged part of the text, etc., and a suspected forgery is found in a different place.
  • the relevant information from the computer main unit 5 is searched through the network for the image server, and the necessary information is downloaded and used as a comparison image. You may In this way, the image server can store the images and information of the newly found counterfeit in different places. You can get the latest information in real time, if it exists. In this case, confidential information such as counterfeit data will be communicated over the network, so processing such as user management and data decryption will prevent information from leaking outside. Is required.
  • an image comparison device an image comparison method and an image comparison, which can easily and accurately perform the 'registration of reference image and comparison image'
  • the device configuration of the third embodiment is the same as that of the second embodiment, so illustration and description will be omitted.
  • the third embodiment shows an embodiment in which the same observation conditions can be automatically set at all times regardless of the system used.
  • FIGS. 15 to 18 are flowcharts for explaining work procedures and operations according to the third embodiment.
  • Step S 10 Since it is necessary to register a reference image as a sample, the observer can check the type of sample to be a sample on the operation screen 170 displayed on the monitor shown in FIG. Select the sample type list 2 10 etc. (Step S 10).
  • the observer selects the observation union with the observation device 6 9. That is, the observer observes with the micro observation unit 72 depending on the size of the region to be observed on the sample sample, or the microscope observation unit 7 Select to observe at 1 (Step SI 1).
  • the macro button 2 4 3 corresponding to the micro observation unit 7 2 or the micro observation unit 7 1 Click the crotch button 2 4 2 to operate the light path switching device (not shown) of the observation device 6 9 to select the light path switching, and select the desired observation light.
  • Step S 14 select the movie button 2 0 3 from the movie button 2 0 3 and the still image button 2 0 4 on the operation screen 1 70 displayed on the monitor, and select the TV camera. 7 Display the moving image captured in step 6 on the observation image display area 200 (Step S 14).
  • the observer sets the sample to be a sample to the macro-micro electric stage 7 5 of the selected observation table (Step S 15). Then, the moving image of the observation image display area 2 0 0
  • Step S 16 If you look at the (observed image) and use the control method for macro-controls 4 6 or micro-controls 4 5 Select and adjust the lighting method and brightness (Step S 16).
  • the observer judges whether or not to observe the detail of the observation image (step S 1 7). If you want to magnify (yes), the magnification change button 2 3 1 is used to change the magnification. Set and move the mouse pointer on the observation image. Then, the pointer displays the captured area of the specified magnification on the observation image. Then, the observer clicks the position that he wants to capture, determines the enlargement position (Step S 18), and clicks the setting button 2 3 2 of the operation screen 1 3 0 Do. If you do, the computer main body 8 2 is The center position of the magnified image is calculated from the stage position, the setting rate, and the position of the mouse pointer on the observation image. Then, the macro-micro motorized stage 7 5 moves automatically so that the center position of the magnified image matches the optical axis of the selected observation unit. Then, move the set sample to the position you want to observe (Step S 19).
  • the observer adjusts the zoom magnification so that the area of the sample to be observed is displayed, and adjusts the focus (Step S20).
  • step S17 If it is determined in step S17 that the details of the observation image are not to be enlarged and observed, the process immediately proceeds to step S20, and the observer displays the region of the sample to be observed. Adjust the zoom ratio and adjust the focus.
  • the observer determines whether the contrast of the observed image is sufficient (step S 21).
  • the image will not be sharp and accurate image comparison can not be performed.
  • step S 2 2 perform image integration processing.
  • the observer selects the auto contrast button 2 2 1 on the operation screen 1 70 displayed on the monitor 1 and performs auto contrast processing.
  • the computer main body 82 can change the image data after applying gain or offset so that the brightness level becomes optimal for the captured image, and then the observation image display can be performed. Display in area 2 0 0.
  • the observer sees this observation image and adjusts the observation position, magnification, and focus of the sample.
  • Moni Select the integration button 2 2 2 on the operation screen 1 of the tare, and start the image integration processing.
  • the computer main body 8 2 saves the captured images for the set number of images, adds the image data, and displays it in the observation image display area 200.
  • the observer adjusts the number of integrations with the integration number 2 23 on the monitor's operation screen 1 70 according to the brightness of the sample, and adjusts it to an image that is easy to observe.
  • Step S2 3 When these captured images are ready, operate the teaching screen 1 7 0 of the operation screen 1 7 0 displayed on the monitor to register a touching image (that is, a reference image). Yes (Step S2 3). As a result, the computer body 8 2 can transmit the video signal of the TV camera 7 6 to the computer body 8 2 through the video capture board and the digital image (te The captured digital image is stored in the recording medium 10 and displayed in the still image display area 180 as well. Also, no.
  • the main unit 8 2 has the observation conditions at this time, that is, the position of the macro and micro motorized stage 7 5 (the position where the digital image was taken), the zoom magnification, and the illumination method Check the various conditions such as light control, light path switching, setting of TV camera 76, etc. by communication with observation device 69 and TV camera 76, and check in step S10. Sample Type Save for each type of sample selected in list 2 1 0.
  • the observer repeats registration of the touching image for the number of portions on the sample that require observation (step S 24).
  • the observer needs a sample image to compare with the teaching reference image under the same conditions.
  • the type of sample to be sampled on the operation screen 1 7 0 displayed on the monitor for example, the identification card is selected according to the sample type list 2 1 0 Do it (Step S 3 0).
  • the observer sets a comparative sample for generating a comparative image on the macro-micro motorized stage 7 5 (step S 31). Then, select the acquisition button 2 2 9 on the operation screen 1 7 0 displayed on the monitor (Step S 3 2).
  • Step S 3 3 When the personal computer 8 2 reads out the imaging conditions at the time of registration of the matching image registered for each type of sample selected according to the sample type list 2 10 Refer to the reference image Display the still image display area 1 8 0 as an image (Step S 3 3).
  • the main body 8 2 is the position of the micro motor stage 7 5, zoom magnification, illumination method, light control, light path switching according to the read out shooting condition file.
  • the PC main unit 8 2 adjusts the color of the image input board so that the color reproduction of the reference image and that of the comparison image match.
  • the color information on the image input board is adjusted so that the red * green * blue luminance information as the color information of the reference image feature point and the back image matches the comparison image.
  • the observer selects the comparison image and the reference image from the tabs of the still image display area 180 and the moving image display area 190 (step S 3 9) Then, select the image comparison mode that is appropriate for the area to be compared with the sample (Step S 40).
  • the observation image display area 200 is divided into two areas, upper and lower or left and right, and the reference image is displayed in one of the divided areas. Display the comparison image in the other divided area. Also, when selecting this split image display, select the display method of split mode display (Step S 4 1). This split mode display is shown on the left: Reference image ' Right: Comparison image, Left: Comparison image ⁇ Right: Reference image, Top: Reference image ⁇ Bottom: Comparison image, Top: Comparison image 'Bottom: There is a reference image, these are selected with buttons 2 0 5 it can. In addition, the if line of the boundary dividing the area can be moved by the S line movement button 2 24.
  • the observer chooses the display method of the split mode display that is more suitable for the area to be compared with the sample.
  • the observer adjusts the display position of the reference image by moving the scroll bar (step S 4 2).
  • the main body 8 2 automatically sets the image display position of the reference image and the image display position of the comparison image to the same position according to the movement amount of the screen. In this case, move the macro-micro motorized stage 75.
  • the comparison image displayed in one of the divided areas of the observation image display area 200 is displayed as a moving image, and the observer may want to finely adjust the position if necessary. Adjust the display position of the comparison image by moving the micro-micro electric motorized stage 7 5.
  • the luminance ratio of the reference image and the comparison image is an arbitrary integer n, m (except that n When ⁇ m), an image obtained by adding an image multiplied by m Z n and an image multiplied by (n-m) / n is displayed in the observation image display area 200, and the image is compared with the reference image. You can observe the image through which the image can be seen. Note that the ratio of the brightness of the reference image to that of the comparison image is changed by changing the integers n and m. By gradually changing, it is possible to emphasize and display an image on one side.
  • the observer selects the overlap button 2 0 6 (step S 4 3), adjusts the position of the reference image and the comparison image (step S 4 4), and compares it with the reference image Align the subtle position of the image by moving the macro-micro power stage 7 5 while checking the overlap image. Then, the observer checks the overlap image and checks the part that does not match. If you want the viewer to emphasize one of the images by adjusting the display ratio (Step S 4 5), change the display ratio adjustment bar 2 0 7. You can emphasize the display ratio of some images and display them.
  • step S 4 6 selects the overlap button 2 0 6 in advance (step S 4 6), adjusts the position of the reference image and the comparison image (step S 4 7), Match the slight displacement between the reference image and the comparison image.
  • step S 4 8 selects the image switching display (animate one) button 2 0 8 (step S 4 8), check the image to be switched, and check the non-matching part. . That is, by switching the image alternately, different parts are recognized depending on the afterimage effect of the image. In this case, the observer sets the switching time (step S 4 9), but the switching time which is easy to compare is set by setting the setting time button 2 0 9. Do.
  • buttons 1 8 1, the left and right buttons 1 8 2, and the negation buttons 1 8 3 are provided in the still image display area 180.
  • the up and down buttons 1 8 1 and the left and right buttons 1 8 2 flip the reference image upside down to match the direction of the image taken from the back and the front side.
  • the negative button 1 8 3 is used to make it easier to recognize the comparison of the images by performing a positive / negative inversion on the image on one side depending on the sample. Button.
  • step S 50 compares the reference image and the binarized image of the comparison image with the computer main body 8 2, and colors different parts, or Helping observers compare images by displaying them as marks. Then, the observer observes the image visually with reference to the foreign matter automatic detection process and compares the images (step S 51).
  • the drawing function enables comment input on the reference image, the comparison image, and the observation image in the image comparison mode ( Add Step S 5 2), supplementary explanation.
  • the observer displays the image that needs to be stored in the observation image display area 200, and when the image save button 2 2 8 is selected, the image is saved to the storage medium that you want to save (ST ⁇ S 5 3).
  • the PC main unit 8 2 also saves the viewing conditions of the saved image.
  • the observer changes the observation part of the sample to determine whether to continue detailed comparison observation (step S 54).
  • the process returns to step S32 to repeat the above-described operation, and when the comparison observation is not to be continued, the observation is ended.
  • a touching image (reference image) of a portion requiring observation of a sample such as an identification card can be displayed under these observation conditions, that is, macro-micro electric motor.
  • stage 7 5 position where digital image was taken
  • zoom magnification illumination method
  • light control light path switching
  • these observation conditions are automatically reproduced to photograph a comparative sample, and to compare the photographed comparative image with a reference image.
  • the image of the sample to be compared with the tinting image (reference image) can be observed under the same conditions as the observation conditions of the touching image, and the image of the tinting image can be observed. Because the characteristics and characteristics of the sample currently being observed can be easily compared and observed under the same conditions, the comparison accuracy can be dramatically improved, and special printing and processing such as printed matter and identification cards are performed. It makes it possible to easily and forensically identify things.
  • observation conditions when the teaching image (reference image) is saved are saved with the image data, for example, if saved in a common storage medium, the image with the sample to be compared with any system At the time of comparison, the same observation conditions can be set automatically at all times, and the efficiency of the image comparison work can be greatly improved.
  • the display order of the tab of the taken image is to binarize the comparison image and the reference image and arrange them according to the ratio of the area where the areas do not match, or check the past forgery It is also possible to arrange images in order of the number of parts in order.
  • the microscope image comparison device used in the stand-alone has been described, but a description of the digital image and document forgery required for the image server via the network, Build a network system that stores information such as shooting conditions. Therefore, images and information of forged objects newly found in different places are saved on the image server each time, and are always updated to the latest reference image. This makes it possible to search the image server via the network for relevant information from the personal computer of the microscope comparison device, and always obtain the latest reference image.
  • the display order of the display tab of the reference image is updated and saved, and the tabs are rearranged to be checked at the beginning, efficiently You can check forged documents. In this case, since confidential information such as counterfeit data will be communicated over the network, processing such as user management and data encryption will be carried out to prevent information leakage. It will be necessary.
  • the comparison image under the same conditions as the reference image
  • An image comparison device that can automatically match the part of the image to be compared, and can perform high-precision image comparison, and make the computer execute the image comparison method and image comparison.
  • the alignment of the reference image and the comparison image can be simplified, or the parts to be compared of the comparison image can be automatically matched and photographed under the same conditions as the reference image, and the image comparison can be performed with high accuracy. It provides possible image comparison devices, image comparison methods, and programs for making computers execute image comparisons.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Microscoopes, Condenser (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

画像比較装置は、試料のマクロ的観察像およびミクロ的観察像の一方を取り込む観察像取り込み手段と、前記観察像取り込み手段により取り込まれた観察像を撮影する撮像手段と、予め用意された参照画像を記録する記録手段と、前記撮像手段により撮影される観察像を比較画像として表示する表示手段と、前記記録手段に記録された参照画像の位置および倍率が前記表示手段に表示された比較画像と同じになるように、前記参照画像を補正して、前記比較画像と比較可能に前記表示手段に表示させる制御手段とを具備する。

Description

明 細 書
画像比較装置、 画像比較方法および画像比較を コ ンビユ ー タ にて実行させるためのプロ グラ ム 技術分野
本発明は、 見本と なる参照画像を用いて、 比較対照 どなる 比較画像を画像比較するための画像比較装置、 画像比較方法 および画像比較をコ ンピュータ にて実行させるためのプロ グ ラ ムに関する。
背景技術
近年、 印刷物の偽造や、 身分証明書な どの特殊印刷、 加工 の偽造な どの事件が多く 発生 してお り 、 その偽造方法も巧妙 で認識するのが難し く なつている。 また、 偽造を防止する た めの印刷や加工そのものも、 人間の 目視で確認するのが困難 なほ ど精密になっている。
この よ う なこ と 力ゝら、 従来、 特開平 0 6 — 6 8 0 7 号公報 に開示される よ う にデジタル画像と して記憶された参照画像 を用いて比較観察を行 う 画像比較装置が考え られている。 こ の画像比較装置は、 テ レ ビカ メ ラから取込んだ画像 (以下、 比較画像と称する。 ) をデジタルデータ と して複数記憶 し、 こ の う ち参照画像の半分の画像と比較画像の半分の画像を取 り 出 し、 それぞれを貼 り 合わせて 1 枚の画像と してモニター 上に表示する こ と で、 左右の画像が一致 しているかの比較判 断を容易に確認でき る よ う に している。
と こ ろが、 特開平 0 6 — 6 8 0 7 号公報の ものは、 記録さ れる参照画像を呼び出 してモニター上で比較画像と 比較する が、 すでに取 り 込まれている静止画像同士を並べ合わせるの で、 参照画像と 比較 したい位置を比較画像に合わせるのが難 しい。 また、 モ ニ タ ー上では、 参照画像と比較画像を単純に 左右に並べるだけのため、 相違点を見つけ出すのが難しい。 さ らに、 参照画像と 比較画像を比較する場合、 これらの画像 の倍率、 位置な どの撮影条件が合ってい る のが望ま しいが、 これらの条件を合わせる こ と も難 しいばか り か、 比較画像の 参照画像と 比較すべき部分が観察者によ って異なって しま う と レヽ ぅ 問題も生 じる。
発明の開示
本発明の 目 的は、 参照画像 と比較画像の位置合わせを簡単 にでき 、 又は参照画像と 同 じ条件で比較画像の比較すべき部 分を 自動的に一致させて撮影でき 、 精度の高い画像比較を行 う こ と ができ る画像比較装置、 画像比較方法お よび画像比較 をコ ン ピュータ にて実行させるためのプロ グラ ムを提供する こ と である。
本発明の第 1 の局面に係る画像比較装置は、 試料のマク 口 的観察像および ミ ク 口的観察像の一方を取 り 込む観察像取 り 込み手段と 、 前記観察像取 り 込み手段によ り 取 り 込まれた観 察像を撮影する撮像手段と 、 予め用意された参照画像を記録 する記録手段と 、 前記撮像手段によ り 撮影 される観察像を比 較画像と して表示する表示手段と 、 前記記録手段に記録され た参照画像の位置および倍率が前記表示手段に表示 された比 較画像と 同 じになる よ う に、 前記参照画像を補正 して、 前記 比較画像と 比較可能に前記表示手段に表示させる制御手段と を具備する こ と を特徴と している。
本発明の第 2 の局面に係る画像比較装置は、 試料のマク 口 的観察像およ びミ ク 口的観察像の一方を取 り 込む観察像取 り 込み手段 と 、 前記観察像取 り 込み手段に よ り 取 り 込まれた観 察像を撮影する撮像手段と 、 予め用意された参照画像を記録 する記録手段 と 、 前記記録手段に記録された参照画像を表示 する表示手段 と 、 前記撮像手段によ り 撮影 される観察像の位 置および倍率が前記表示手段に表示された参照画像と 同 じに なる よ う に、 前記比較画像を補正 して、 前記参照画像と 比較 可能に前記表示手段に表示させる制御手段と を具備する こ と を特徴と してレヽる。
本発明の第 3 の局面に係る画像比較装置は、 試料のマク 口 的観察像および ミ ク 口 的観察像の一方を取 り 込む観察像取 り 込み手段 と 、 前記観察像取 り 込み手段に よ り 取 り 込まれた観 察像を撮影する撮像手段と 、 前記撮像手段で撮影される観察 像と前記観察像取 り 込み手段および前記撮像手段によ る観察 条件と を記録する記録手段と 、 前記記録手段に記録された観 察像を参照画像と して表示する表示手段と 、 前記記録手段に 記録された観察像の観察条件に基づいて前記観察像取 り 込み 手段および前記撮像手段の状態を再現する と と も に、 前記撮 像手段によ り 撮影される観察像を比較画像と して前記参照画 像と比較可能に前記表示手段に表示させる制御手段と を具備 する こ と を特徴と している。
本発明の第 4 の局面に係る画像比較装置は、 試料の ミ ク 口 的観察像を取 り 込む観察像取 り 込み手段 と 、 前記観察像取 り 込み手段によ り 取 り 込まれた観察像を撮影する撮像手段 と 、 前記撮像手段で撮影される観察像と前記観察像取 り 込み手段 および前記撮像手段によ る観察条件と を記録する記録手段と 前記記録手段に記録された観察像を参照画像と して表示する 表示手段 と 、 前記記録手段に記録された観察像の観察条件に 基づいて前記観察像取 り 込み手段および前記撮像手段の状態 を再現する と と もに、 前記撮像手段に よ り 撮影 される観察像 を比較画像と して前記参照画像 と比較可能に前記表示手段に 表示させる制御手段と を具備する こ と を特徴と している。
本発明の第 5 の局面に係る画像比較方法は、 試料のマ ク 口 的観察像および ミ ク 口 的観察像の一方を取 り 込むと と も に、 こ の取 り 込まれた観察像を撮影 し、 こ の撮像された観察像を 比較画像と して表示手段に表示 させる と と も に、 予め用意さ れた参照画像の位置および倍率が前記表示手段に表示された 比較画像 と 同 じになる よ う に補正して前記比較画像と 比較可 能に前記表示手段に表示させる こ と を特徴と している。
本発明の第 6 の局面に係る画像比較方法は、 試料のマ ク 口 的観察像および ミ ク 口的観察像の一方を取 り 込むと と も に、 この取 り 込まれた観察像を撮影 し、 予め用意された参照画像 を表示手段に表示させる と と も に、 前記撮影 される観察像の 位置および倍率が前記表示手段に表示 された参照画像と 同 じ になる よ う に補正 し比較画像と して前記参照画像と 比較可能 に前記表示手段に表示させる こ と を特徴と している。
本発明の第 7 の局面に係る画像比較方法は、 試料のマ ク 口 的観察像および ミ ク 口 的観察像の一方を取り 込むと と も に、 こ の取 り 込まれた観察像を撮影 し、 この撮影された観察像を、 該観察像の観察条件と と も に記録 し、 この記録された観察像 を参照画像と して表示手段に表示させる と と も に、 前記記録 された観察像の観察条件に基づいて前記観察像の取 り 込みお よび撮像の状態を再現 し、 この状態で撮影される観察像を比 較画像と して参照画像と 比較可能に前記表示手段に表示させ る こ と を特徴と している。
本発明の第 8 の局面に係る画像比較方法は、 試料の ミ ク 口 的観察像を取 り 込む と と もに、 こ の取 り 込まれた観察像を撮 影 し、 こ の撮影 された観察像を、 該観察像の観察条件と と も に記録 し、 この記録された観察像を参照画像 と して表示手段 に表示させる と と も に、 前記記録された観察像の観察条件に 基づいて前記観察像の取 り 込みおよび撮像の状態を再現し、 こ の状態で撮影される観察像を比較画像と して参照画像と 比 較可能に前記表示手段に表示 させる こ と を特徴と している。
本発明の第 9 の局面に係るプロ グラ ムは、 画像比較をコ ン ピュータ に実行させるためのプロ グラ ムであっ て、 観察像取 り 込み手段によ り 試料のマク 口的観察像および ミ ク 口 的観察 像の一方を取 り 込ませる と と も に、 この取 り 込まれた観察像 を撮像手段によ り 撮影させ、 こ の撮像された観察像を比較画 像 と して表示手段に表示 させる と と もに、 予め用意された参 照画像の位置お よび倍率が前記表示手段に表示 された比較画 像 と 同 じになる よ う に補正 して前記比較画像と 比較可能に前 記表示手段に表示させる こ と を特徴と している。
本発明の第 1 0 の局面に係る プロ グラ ムは、 画像比較をコ .
ンピュータ に実行させるためのプロ グラ ムであって、 観察像 取り 込み手段に よ り 試料のマク 口 的観察像およびミ ク 口 的観 察像の一方を取 り 込ませる と と も に、 こ の取 り 込まれた観察 像を撮像手段に よ り 撮影 させ、 予め用意された参照画像を表 示手段に表示 させる と と もに、 撮影される観察像の位置およ び倍率が前記表示手段に表示された参照画像と 同 じになる よ う に補正 し比較画像と して前記参照画像と 比較可能に前記表 示手段に表示させる こ と を特徴と している。
本発明の第 1 1 の局面に係るプロ グラ ムは、 画像比較を コ ン ピュ一タ に実行させるためのプロ グラ ムであって、 観察像 取り 込み手段に よ り 試料のマ ク 口 的観察像およびミ ク 口 的観 察像の一方を取 り 込ませる と と も に、 こ の取 り 込まれた観察 像を撮像手段に よ り 撮影させ、 こ の撮像手段で撮影 される観 察像を前記観察像取 り 込み手段および前記撮像手段によ る観 察条件と と も に記録手段に記憶させ、 前記記録手段に記録さ れた観察像を参照画像と して表示手段に表示させ、 前記記録 手段に記録された観察像の観察条件に基づいて前記観察像取 り 込み手段および前記撮像手段の状態を再現させる と と もに 前記撮像手段に よ り 撮影される観察像を比較画像と して前記 参照画像と 比較可能に前記表示手段に表示させる こ と を特徴 と してレ、る。
本発明の第 1 2 の局面に係るプロ グラ ムは、 画像比較を コ ンピュータ に実行させるためのプロ グラ ムであっ て、 観察像 取 り 込み手段に よ り 試料の ミ ク ロ 的観察像を取 り 込ませる と と もに、 こ の取 り 込まれた観察像を撮像手段に よ り 撮影 させ こ の撮像手段で撮影される観察像を前記観察像取 り 込み手段 および前記撮像手段によ る観察条件と と もに記録手段に記憶 させ、 前記記録手段に記録された観察像を参照画像と して表 示手段に表示 させ、 前記記録手段に記録された観察像の観察 条件に基づいて前記観察像取 り 込み手段および撮像手段の状 態を再現させる と と もに、 前記撮像手段によ り 撮影される観 察像を比較画像 と して前記参照画像 と比較可能に前記表示手 段に表示 させる こ と を特徴と している。
図面の簡単な説明
図 1 は、 本発明の第 1 の実施の形態の顕微鏡画像比較装置 のブロ ッ ク 図。
図 2 は、 第 1 の実施の形態の顕微鏡画像比較装置のシステ ム構成を示す図。
図 3 は、 第 1 の実施の形態に用い られるモニターの表示例 を示す図。
図 4 A〜図 4 F は、 第 1 の実施の形態での参照画像と 比較 画像を比較するための表示例を示す図。
図 5 A〜図 5 F は、 第 1 の実施の形態での他の参照画像と 比較画像を比較するための表示例を示す図。
図 6 A〜図 6 Dは、 第 1 の実施の形態での他の参照画像と 比較画像を比較するための表示例を示す図。
図 7 は、 第 1 の実施の形態でのオーバーラ ッ プ処理を説明 するためのフ ロ ーチャー ト。
図 8 は、 第 1·の実施の形態での参照画像と 比較画像を比較 するための他の表示例を示す図。 図 9 A〜図 9 E は、 第 1 の実施の形態での参照画像と比較 画像の位置、 倍率を一致させる方法を説明する図。
図 1 0 は、 第 1 の実施の形態での参照画像 と 比較画像の位 置、 倍率を一致させる方法を説明する フ ローチャー ト。
図 1 1 は、 本発明の第 2 の実施の形態の顕微鏡画像比較装 置のシス テ ム構成を示す図。
図 1 2 A〜図 1 2 E は、 第 2 の実施の形態での参照画像と 比較画像の位置、 倍率を一致させる方法を説明する図。
図 1 3 は、 第 2 の実施の形態での参照画像 と 比較画像の位 置、 倍率を一致させる方法を説明する フ ローチャー ト。
図 1 4 は、 第 3 の実施の形態に用い られるモニターの表示 例を示す図。
図 1 5 は、 第 3 の実施の形態の動作を説明するためのフ ロ 一チヤ一 ト。
図 1 6 は、 第 3 の実施の形態の動作を説明するためのフ ロ 一チヤ一 ト。
図 1 7 は、 第 3 の実施の形態の動作を説明するためのフ ロ 一チヤ一 ト 。
図 1 8 は、 第 3 の実施の形態の動作を説明する ためのフ ロ 一テャ 一 ト 。
発明を実施する ための最良の形態
以下、 本発明の実施の形態を図面に従い説明する。
(第 1 の実施の形態)
図 1 は、 本発明が適用 される画像比較装置 と して顕微鏡画 像比較装置のブロ ッ ク 図を示すものである。 図 1 において、 図示 しない試料を観察する顕微鏡から なる 観察装置 1 は、 試料の ミ ク ロ 的観察像を取 り 込む ミ ク ロ観察 像取 り 込み手段 と しての顕微鏡観察像を取 り 込む ミ ク ロ観察 ユニ ッ ト 2 と 、 試料のマ ク ロ 的観察像を取 り 込むマク ロ観察 像取 り 込み手段 と してのマク 口観察ュニ ッ ト 3 と 、 撮像手段 と しての T Vカ メ ラ 4 を有 してレヽる。
T Vカ メ ラ 4 は、 ミ ク ロ観察ュニ ッ ト 2 またはマ ク ロ観察 ユニ ッ ト 3 によ り それぞれ取 り 込んだ ミ ク ロ またはマク ロ の 観察像を撮像 し、 撮像 した画像をデジタル画像と して制御手 段のパ ソ コ ン本体 5 に出力する。
ノ ソ コ ン本体 5 は、 画像入力ボー ド 6 、 ビデオカー ド 7 、 R A M 8 、 C P U 9 、 記録媒体 1 0 、 イ ンタ ー フ ェース 1 1 およびバス 1 2 を有 し、 T Vカ メ ラ 4 力ゝらのデジタル画像を 画像入力ボー ド 6 に取込み、 こ の取込んだデジタル画像を R A M 8 に記憶 した り 、 ビデオカー ド 7 を介 して表示手段と し てのモニ タ ー 1 3 に静止画像または動画像と して表示させる (動画像は T Vカ メ ラ 4 の ビデオレー 卜 の動画像が映し出 さ れる) 。 記録媒体 1 0 には、 予め用意された複数のデジタル 化された参照画像と 、 後述する文章鑑識支援 ソ フ ト等のプロ グラ ム 1 0 a が記録されている。 記録媒体 1 0 に記録された プロ グラ ム 1 0 a は、読み出 された後にノく ス 1 2 を介 して R A M 8 に一旦記憶され、 C P U 9 によ り 実行されて画像の比 較処理を行 う 。 イ ンタ一フェース 1 1 には、 プロ グラ ム 1 0 a を実行する際の指示を入力する キーボー ド 1 4 およびマ ウ ス 1 5 が接続されている。 図 2 は、 上記のよ う な顕微鏡画像比較装置のシス テ ム構成 を示す図で、 図 1 と 同一部分には、 同符号を付 している。
図 2 において、 観察装置 1 は、 ミ ク ロ観察ユニ ッ ト 2 と マ ク 口観察ュニ ッ ト 3 を一体のもの と して構成されている。
ミ ク ロ観察ュニ ッ ト 2 は、 試料の精密な印刷や加工を拡大 して観察する ミ ク ロ観察像取得手段 と して用い られる。 ミ ク 口観察ュニ ッ ト 2 は、 ベース 2 0 上に載置された図示 しない 試料に対向 させて配置された対物 レ ンズ 2 1 を備えている。 試料の精密な印刷や加工状態が対物 レ ンズ 2 1 を通 して拡大 される。 拡大 された試料像は、接眼 レ ンズ 2 2 に よ り 目 視観 察可能に される と と も に、 T Vカ メ ラ 4 によ り 撮影され、 更 にパ ソ コ ン本体 5 に取 り 込まれる よ う に構成されている。
ミ ク ロ観察ユニ ッ ト 2 には、 照明装置と して、 偏向照明 2 3 、 落射照明 2 4 、 透過照明 2 5 、 落射蛍光照明 2 6 、 偏射 照明 2 7 が用意されてい る。 偏向照明 2 3 は、 対物 レ ンズ 2 1 の光軸に添っ てベース 2 0 上に载置される試料を照射する。 落射照明 2 4 は、 対物 レ ンズ 2 1 の光軸から外れた位置から 試料を照射する。 透過照明 2 5 は、 ベース 2 0 内部から対物 レ ンズ 2 1 の方向に試料を照射する。 透過照明 2 5 によ り 試 料の外形や試料を透過 した像を観察する こ と が可能である。 落射蛍光照明 2 6 は、 蛍光像を観察するための照明であ り 、 落射蛍光照明 2 6 によ り 、試料の蛍光印刷な どを施 した特殊 印刷を観察する こ と ができ る。 偏射照明 2 7 は、 試料を斜め から照明 し、 偏射照明 2 7 によ り 試料の刻印等な ど凹凸のあ る特殊な加工を観察する こ と ができ る。 偏向照明 2 3 、 落射照明 2 4 、 透過照明 2 5 、 落射蛍光照 明 2 6 、 及び偏射照明 2 7 においては、 ミ ク ロ用 コ ン ト ロ ー ルボ ッ ク ス 3 7 での操作によ り 点灯、 消'灯、 及び明 る さ の調 整ができ る。
マ ク ロ観察ュニ ッ ト 3 は、 試料を比較的広視野広範囲で観 察するマ ク ロ観察像取 り 込み手段と して用い られる。 マク ロ 観察ュニ ッ ト 3 は、 ベース 2 8 上に载置された図示 しない試 料に対向 させて配置されたマ ク ロ レ ンズ 2 9 を有する。 試料 の像はマ ク 口 レ ンズ 2 9 お よ びマ ク 口 用 フ ォ ーカ シン グハ ン ドル 3 6 を介 して ミ ク ロ観察ュニ ッ ト 2 側の光路に導かれて、 接眼 レ ンズ 2 2 によ り 目視観察可能になる と と もに、 T V力 メ ラ 4 によ り 撮影され、 パ ソ コ ン本体 5 に取 り 込まれる。
ミ ク ロ観察ユニ ッ ト 2 には、 照明装置と して、 偏向照明 3 0 、 落射照明 3 1 、 透過照明 3 2 、 落射蛍光照明 3 3 、 偏射 照明 3 4 が用意されている。 偏向照明 3 0 は、 マ ク ロ レ ンズ 2 9 の光軸に添ってベース 2 8 上に載置される試料を照射す る。 落射照明 3 1 は、 マ ク ロ レ ンズ 2 9 の光軸から外れた位 置から試料を照射する。 透過照明 3 2 は、 ベース 2 8 内部力 らマ ク ロ レンズ 2 9 の方向に試料を照射する。 透過照明 3 2 によ り 、 試料の外形や試料を透過 した像を観察する こ と が可 能である。 落射蛍光照明 3 3 は、 蛍光像を観察するための照 明であ り 、 落射蛍光照明 3 3 によ り 試料の蛍光印刷な どを施 した特殊印刷を観察する こ と ができ る。 偏射照明 3 4 は、 試 料を斜めから照明 し、 偏射照明 3 4 によ り 試料の刻印等凹凸 のある特殊な加工を観察する こ と ができ る。 偏向照明 3 0 、 落射照明 3 1 、 透過照明 3 2 、 落射蛍光照 明 3 3 、 及び偏射照明 3 4 においては、 マ ク ロ用 コ ン ト ロ ー ルボ ッ ク ス 3 5 での操作によ り 点灯、 消灯、 及び明る さ の調 整ができ る。
図 3 は、 記録媒体 1 0 に記録されたプロ グラ ム 1 0 a (図 1 参照) の画像比較ソ フ ト を起動 した時にモニタ一 1 3 上に 表示 される G U I ( G r a p h i c a l U s e r I n t e r f a c e ) 4 1 の一例を示す図である。 図 3 に示すよ う な G U I 4 1 は、 例えば、 M i c r o s o f t 社の W i n d o w s 等のオペ レーシ ョ ンシス テ ム を使用 して W i n d o w 画面 と して表示される。
G U I 4 1 は、 第 1 の画像表示領域と して の静止画像表示 領域 4 2 と第 2 の画像表示領域と しての動画像表示領域 4 3 を有 している。 静止画像表示領域 4 2 には、 参照画像と して、 デジタル画像を静止画と して表示可能である。 「参照画像」 と は、 例えば文章の文字や印刷物試料の偽造した部分を T V カメ ラ 4 で撮影 した画像でも よい し、 または、 本物の試料を T Vカ メ ラ 4 で撮影 した も のでも よい。 参照画像は、 予めデ ジタル画像と してパ ソ コ ン本体 5 の記録媒体 1 0 に記録され てレヽ る。
動画像表示領域 4 3 には、 比較画像と して T Vカ メ ラ 4 で 撮影 している動画像を表示可能である。 「比較画像」 は、 観 察したい試料の画像 (動画像) である。 具体的には、 ミ ク ロ 観察ュニ ッ ト 2 またはマク ロ観察ュニ ッ ト 3 によ り 取 り 込ま れた試料の ミ ク 口観察像またはマ ク 口観察像を T Vカメ ラ 4 で撮影 した動画像が比較画像であるである。 この場合、 比較 画像を得るために T Vカ メ ラ 4 によ り 撮影する像は、 ミ ク ロ 観察ュニ ッ ト 2 側でもマク ロ観察ュニ ッ ト 3 側でも よ く 、 目 的に応 じて観察 したい方を観察者が任意に選択可能である。 動画像表示領域 4 3 は、 動画像を表示可能になっているが、 試料を移動 して観察 したい位置を決定した後は、 一時的に静 止画と して表示する こ と も可能である。
G U I 4 1 は、 第 3 の画像表示領域と して観察画像表示領 域 4 4 を有 している。 この観察画像表示領域 4 4 では、 静止 画像表示領域 4 2 で表示されている静止画像と動画像表示領 域 4 3 で表示されている動画像と を、 以下述べる よ う な様々 な表示方法で表示する こ と が可能になっている。
図 4 A乃至図 9 A〜図 9 E は、 観察画像表示領域 4 4 での 様々 な表示例について説明するための図である。
図 4 A〜図 4 F は、 観察画像表示領域 4 4 において、 静止 画像表示領域 4 2 の参照画像と動画像表示領域 4 3 の比較画 像を左右に並べて比較する場合の表示例を示 した図である。 この場合、 図 4 Aは、 静止画像表示領域 4 2 の参照画像を示 す図であ り 、 その左半分を静止画左 4 2 L 、 右半分を静止画 右 4 2 R と している。 図 4 B は動画像表示領域 4 3 の比較画 像を示す図であ り 、 その左半分を動画左 4 3 L 、 右半分を動 画右 4 3 R と してレ、る。
また、 図 4 C は、 観察画像表示領域 4 4 での観察画像を示 した図であ り 、 観察画像の左半分に静止画左 4 2 L の参照画 像が表示され、 右半分に動画右 4 3 Rの比較画像が表示され ている。 図 4 D では、 左半分に動画右 4 3 Rの比較画像が、 右半分に静止画左 4 2 L の参照画像が表示 されている。 図 4 E では、 左半分に動画左 4 3 L の比較画像が、 右半分には静 止画右 4 2 R の参照画像が表示されている。 図 4 F では、 左 半分に静止画右 4 2 R の参照画像が、 右半分に動画左 4 3 L の比較画像が表示されている。 図 4 A〜図 4 F において、動 画左 4 3 L及び動画右 4 3 Rは、 それぞれ T Vカ メ ラ 4 で撮 影 した画像が リ アル タ イ ム ( ビデオレー ト ) で表示された画 像である ので、 試料を移動させなが ら、 静止画左 4 2 L、 ま たは静止画右 4 2 R に対 して観察 したい位置を合わせる こ と ができ る。 静止画と 動画と の位置を合わせた時点で一時的に 動画を静止画と して比較する こ と も可能である。
図 4 A〜図 4 F では、 左右の分割比を同一に しているが、 分割比を変更する こ と も可能である。 例えば図 4 C において、 静止画左 4 2 L の幅を狭く し、 動画右 4 3 R の幅を広く する こ と も可能である。
上記の よ う に、参照画像 と 比較画像を左右に並べて表示す る こ と によ り 、 例えば、 本物 と偽造印刷の相違点を視覚的に 発見 しやすく でき る。
図 5 A〜図 5 F は、 観察画像表示領域 4 4 において、 静止 画像表示領域 4 2 の参照画像 と動画像表示領域 4 3 の比較画 像を上下に並べて比較する場合の表示例を示 したも のである。 図 5 Aは、 静止画像表示領域 4 2 の参照画像を示す図であ り 、 その上半分を静止画上 4 2 U、 下半分を静止画下 4 2 D と し ている。 図 5 B は動画像表示領域 4 3 の比較画像を示す図で あ り 、 その上半分を動画上 4 3 U、 下半分を動画下 4 3 D と してレヽる。
図 5 C は、 観察画像表示領域 4 4 での観察画像を示 した図 であ り 、 図 5 C の観察画像では、上半分に静止画上 4 2 Uの 参照画像が表示され、 下半分に動画下 4 3 D の比較画像が表 示 されている。 図 5 D では、上半分に動画下 4 3 D の比較画 像が、 下半分に静止画上 4 2 Uの参照画像が表示されている。 図 5 E では上半分に動画上 4 3 Uの比較画像が、 下半分には 静止画下 4 2 Dの参照画像が表示されている。 図 5 F では、 上半分に静止画下 4 2 Dの参照画像が、 下半分に動画上 4 3 Uの比較画像が表示されている。 このばあいにおいても、 動 画上 4 3 U及び動画下 4 3 Dはそれぞれ T Vカ メ ラ 4 で撮影 された画像が リ アルタ イ ム ( ビデオ レー ト) で表示されてお り 、 試料を移動させなが ら、 静止画上 4 2 U、 または静止画 下 4 2 D に対 して観察 したい位置を合わせる こ と ができ る。 静止画と動画と の位置を合わせた時点で一時的に静止画と し て比較する こ と も可能である。
図 4 A〜図 4 F および図 5 A〜図 5 F に示す画面表示の切 り 換えは、 G U I 4 1 上の例えば 「分割表示」 のアイ コ ン 4 5 をク リ ッ ク する こ と で、 容易に実行する こ と ができ る。
上記の よ う に、参照画像 と 比較画像を上下に並べて表示す る よ う に して も、 例えば、 本物 と 偽造印刷の相違点を視覚的 に発見 しやすく でき る。
図 6 A〜図 6 Dは、 観察画像表示領域 4 4 において、 静止 画像表示領域 4 2 の参照画像と動画像表示領域 4 3 の比較画 像と をオーバーラ ップ (画像加算 して) して表示する場合の 表示例を示 した図である。
図 6 Aは観察画像表示領域 4 4 の観察画像を示 した図であ る。 図 6 Aでは、静止画像表示領域 4 2 の参照画像である静 止画像 4 2 Aのみが表示 されている。 図 6 B は、 オーバーラ ッ プ画像 4 6 a の表示例であ り 、 静止画像 4 2 Aに動画像表 示領域 4 3 の比較画像である動画像 4 3 B (図 6 D ) を詳細 は後述する よ う に加算 して、オーバーラ ッ プ画像 4 6 a が表 示 されている。 こ の場合、 2 つの画像の加算は、 次の よ う に 行われる。 例えば、 A画像及び B画像の各デジタル画像が 6 4 0 X 4 8 0 画素で構成されていた場合、 A画像のある 1 画 素の輝度を I a ( X , y ) 、 B画像の同位置画素の輝度 I b ( x , y ) とすする。 こ の と き 、オーバーラ ッ プ画像の輝度 I ( , y ) は、
I ( X , y ) = I a ( x , y ) X m + I b ( x , y ) X n ただ し、 m = 1 — n ; ( 0 ≤ n ≤ 1 )
で求め られる。 この計算を全ての画素で行えば画像の加算を 行 う こ と ができ る。 図 6 B のオーバーラ ップ画像 4 6 a では、 静止画像 4 2 Aの割合 (すなわち、 輝度。 以下、 「割合」 と 称する) が動画像 4 3 B の割合よ り 多いため静止画像 4 2 A の画像の方がはっ き り と 見えている。 逆に、 図 6 C のォーノく 一ラ ップ画像 4 6 b では、 上述 したオーバーラ ッ プ画像 4 6 a と 異な り 静止画像 4 2 Aの割合が動画像 4 3 B の割合よ り 少ないため動画像 4 3 B の画像の方がはっ き り と 見える よ う になる。 このこ と から、 静止画像 4 2 Aの割合を増や してい けば最終的に図 6 Aの静止画像 4 2 Aのみの表示と なる。 逆 に、 動画像 4 3 B の割合を増や していけば図 6 Dの動画像 4
3 B のみの表示 と なる。
上記のよ う なォ一バーラ ッ プ処理を図 7 に示すフ ロ ーチヤ' — ト によ り 説明する。
まず、 記録媒体 1 0 に記録されている静止画像 4 2 A と 動 ^ 画像 4 3 B のオーバーラ ップ比率を読み出す (ステ ップ 7 0 1 ) 。 オーバーラ ップ比率は、 上述 した式の m と n の値で決 定される。 次に、 静止画像 4 2 A と動画像 4 3 B を、 読み出 したオーバーラ ップ比率 (単に、 「比率」 と も称する) で加 算 して合成 して観察画像表示領域 4 4 に表示する (ステ ッ プ 7 0 2 ) 。 こ こ で、 比率の計算は、 上述 した式で画像の全画 素について計算 し、 その結果を表示する。 図 3 に示すス ライ ダー 4 7 の操作によ り 比率が更新されたか確認する (ステ ツ プ 7 0 3 ) 。 オーバーラ ップの比率の調整は、 図 3 に示す G U I 4 1 上のス ライ ダー 4 7 をオペ レータが動かすこ と で容 易に調整する こ と ができ る。 ステ ップ 7 0 3 において、 ス ラ イ ダー 4 7 の操作によ って比率が変更 された ら 、 ス ライ ダー
4 7 で指定された値を R A M 8 も し く は記録媒体 1 0 に記憶 しているオーバーラ ップ比率の値と して再設定する (ステ ツ プ 7 0 4 ) 。
ステ ッ プ 7 0 1 にも ど り 同様の処理を繰 り 返す。 ステ ッ プ 7 0 3 で、 比率が変更 されない場合は、 ステ ッ プ 7 0 5 へ進 み、 オーバーラ ップ処理を終了するかど う か確認する。 ス テ ップ 7 0 5 において、 終了 しない場合、 ステ ッ プ 7 0 3 へ戻 り 同様の処理が繰 り 返す。 ステ ップ 7 0 5 において、 終了す る場合には、 オーバーラ ップの一連の処理を終了する。
こ のよ う に して参照画像と 比較画像を加算 して重ね合わせ てオーバーラ ップ表示 させる 、 例えば、 本物 と偽造印刷を重 ね合わせて表示させる こ と に よ り 、 両者の相違点を視覚的に 発見 しやすく でき る。
図 8 は、 観察画像表示領域 4 4 において、 静止画像表示領 域 4 2 の参照画像と動画像表示領域 4 3 の比較画像のそれぞ れを、 ある一定時間間隔で交互に切換えて表示 して両画像を 比較する場合の表示例を示 した図である。
参照画像と 比較画像を交互に切換える画像切換え表示手段 について説明する。 画像切換え表示は、 まず静止画像表示領 域 4 2 で表示 される参照画像を観察画像表示領域 4 4 に静止 画像 4 2 E と して表示する。 そのあ と 、 画像切換え表示は、 一定時間をおいて動画像表示領域 4 3 で表示される比較画像 を観察画像表示領域 4 4 に動画像 4 3 F と して表示する。 画 像切換え表示は、 さ らに一定時間をおいて静止画像 4 2 E を 表示する。 画像切換え表示は、 上記のよ う な処理を連続で実 行する。 画像切換え表示処理は、 例えば、 モニ タ ー 1 3 上に 表示される G U I 4 1 上の所定のアイ コ ンをク リ ッ クする こ と で当該プロ グラ ムを実行でき る。 また、 G U I 4 1 力ゝ ら上 述の一定時間の間隔を入力する こ と で、 画像の切換え時間を 任意の値に変更する こ と ができ る。
上記の よ う に して 2 枚の画像をアニメ ーシ ョ ンのよ う に順 次切換え表示 して人間の 目 の残像を利用する こ と によ り 、 例 えば、 本物の文書と偽造文書の印刷の相違点を視覚的に発見 しゃすく でき る。
と こ ろで、 参照画像と 比較画像を左右または上下に並べて 表示 した り 、 あ る一定時間間隔で交互に切換えて表示 した り して両画像を比較する場合において、 参照画像と 比較画像と の位置や倍率がずれている と 、 正確な比較ができ ないこ と が ある。
そこ で、 従来では、 次のよ う な方法が と られている。 動画 像表示領域 4 3 の比較画像 (動画像) の位置については、 観 察者がステージを操作 して試料の位置を移動 させた り 、 その 倍率については、 顕微鏡の対物 レ ンズの倍率を変更させた り する な ど して調整する。 これに よ り 、 静止画像表示領域 4 2 の参照画像に比較画像 (動画像) を合わせる方法が と られて いる。 しか し、 こ の方法では、 高倍率で拡大された比較画像 の位置や、 倍率を合わせるのは難し く 、 時間がかかる。 特に 蛍光画像を観察する場合は、 画像が非常に暗く 、 画像積算を 行って動画像表示させている。 このため、 処理に時間がかか り 、 ス テージを操作して試料の位置を移動 してから、 移動後 の表示に変わる までに時間的なずれが生 じる こ と から、 画像 を合わせる こ と が更に難 し く なる。
図 9 A〜図 9 E は、 静止画像表示領域 4 2 の参照画像と動 画像表示領域 4 3 の比較画像の画像位置や倍率がずれている 場合の補正方法を示 した図である。 こ の補正方法を、 図 9 A 〜図 9 E及ぴ図 1 0 に示すフ ロ ーチヤ一 ト を用いて説明する 図 9 Aに示す静止画像表示領域 4 2 の参照画像である静止 画像 4 2 G と 、 図 9 B に示す動画像表示領域 4 3 の比較画像 である動画像 4 3 Gの特徴的な位置 2 点の位置を比較 して、 静止画像 4 2 Gの位置、 倍率を変更 して動画像 4 3 Gに一致 させる よ う な画像処理を行 う 。
観察者は、 マ ウス 1 5 を使ってモニター 1 3 の画面上で、 図 9 B に示す動画像 4 3 Gの特徴的な第 1 の位置 4 3 G - 1 1 をク リ ッ クする (ステ ップ 1 0 0 1 ) 。 次に、 観察者は、 マ ウス 1 5 を使ってモニター 1 3 の画面上で、 図 9 Aに示す 静止画像 4 2 Gの、 動画像 4 3 Gの特徴的な第 1 の位置 4 3 G - 1 1 に対応する位置を第 1 の位置 4 2 G— 1 1 と してク リ ッ クする (ステ ッ プ 1 0 0 2 ) 。
次に、 これら特徴的な第 1 の位置 4 3 G — 1 1 と 4 2 G — 1 1 が合ってレ、るかが判断される (ステ ップ 1 0 0 3 ) 。 こ の場合、 動画像表示領域 4 3 と静止画像表示領域 4 2 を同一 領域と みな して第 1 の位置 4 3 G — 1 1 と 4 2 G — 1 1 がー 致しているかが判断される。
ステ ップ 1 0 0 3 において、 これらの位置が一致 していな ければ、 静止画像 4 2 G を静止画像表示領域 4 2 内で X, Y 方向に移動させる よ う な画像処理を行い、 第 1 の位置 4 2 G 一 1 1 を、 同一領域 と みな した動画像表示領域 4 3 の動画像 4 3 Gの第 1 の位置 4 3 G - 1 1 に一致させる (ステ ッ プ 1 0 0 4 ) 。
図 9 Cは、 上記の画像処理後の静止画像表示領域 4 2 での 表示を示す図である。 図 9 C に示すよ う に、 静止画像表示領 域 4 2 には、 移動後の静止画像 4 2 H と新たな第 1 の位置 4 2 H - 1 1 が表示される。
次に、 観察者は、 再びマ ウス 1 5 を使ってモニ タ ー 1 3 の 画面上で、 図 9 B に示す動画像 4 3 Gの特徴的な第 2 の位置 4 3 G — 2 1 を ク リ ッ ク する (ステ ップ 1 0 0 5 ) 。 次に、 同様に観察者は、 マ ウス 1 5 を使ってモニター 1 3 の画面上 で、 図 9 C に示す静止画像 4 2 H上の、 動画像 4 3 Gの特徴 的な第 2 の位置 4 3 G - 2 1 に対応する位置を第 2 の位置 4 2 H— 2 1 と してク リ ッ ク する (ステ ップ 1 0 0 6 ) 。
次に、 動画像 4 3 G と静止画像 4 2 Hの倍率の違いを求め る。 こ の場合、 倍率の違レ、 Kを、 K = ( 4 2 G — 1 1 と 4 2 G - 2 1 の距離) ノ ( 4 3 G - 1 1 と 4 3 G — 2 1 の距離) で求める。 そ して、 この求め られた倍率 Κに基づいて静止画 像 4 2 Ηを静止画像表示領域 4 2 内で拡大、 縮小 させる よ う な画像処理を行 う (ステ ッ プ 1 0 0 7 ) 。
図 9 Dは、 このよ う な画像処理後の静止画像表示領域 4 2 での表示を示す図である。 図 9 D によれば、 静止画像表示領 域 4 2 には、 拡大、 縮小後の静止画像 4 2 I と新たな第 1 の 位置 4 2 I 一 1 1 、 第 2 の位置 4 2 I - 2 1 が表示される。
次に、 図 9 Β に示す動画像 4 3 Gの傾き 、 つま り 位置 4 3 G - 1 1 と 4 3 G— 2 1 を結ぶ直線の傾き と 、 図 9 D に示す 静止画像 4 2 1 の位置 4 2 1 — 1 1 と 4 2 1 — 2 1 を結ぶ直 線の傾き と の角度差 φ を求める。 そ して、 角度差 φ がある場 合は、 静止画像 4 2 I を静止画像表示領域 4 2 内で、 位置 4 2 I 一 1 1 と 4 2 1 — 2 1 を結ぶ直線を中心に角度 φ で回転 させる よ う な画像処理を行 う (ステ ッ プ 1 0 0 8 ) 。 図 9 E は、 上記の画像処理後の静止画像表示領域 4 2 での 表示を示す図である。 図 9 E によれば、 静止画像表示領域 4 2 には、 回転後の静止画像 4 2 J と新たな第 1 の位置 4 2 J — 1 1 、 第 2 の位置 4 2 J - 2 1 が表示 される。
上記の一連の画像処理によ り 、 静止画像表示領域 4 2 に表 示される静止画像 4 2 J と動画像表示領域 4 3 の動画像 4 3 Gの位置および倍率を簡単に、 しかも精度よ く 一致させる こ と ができ る。
これによ り 、 試料の観察像を、 ミ ク ロ観察ユニ ッ ト 2 また はマク ロ観察ュニ ッ ト 3 力 ら T Vカ メ ラ 4 を介 してノ ソ コ ン 本体 5 に取込み、 モニター 1 3 の G U I 4 1 上に比較画像と して表示 し、 予め記録 してある参照画像と 同 じ位置、 倍率で 比較表示する こ と ができ る。 従って、 印刷物や、 身分証明書 等の特殊印刷な どについて信頼性の高い鑑識を行 う こ と がで さ る。
なお、 観察者は、 静止画像と動画像の位置、 倍率を一致さ せた後に、 観察者によ って指定された動画像の特徴的な第 1 の位置と 第 2 の位置の色、 形状な どによ り 、 位置の移動を認 識 し、 一定の時間間隔で自動的に静止画像の位置と倍率を変 更 し、 静止画像表示領域 4 2 に表示する よ う に して も構わな い。 また、 上記の処理では最初に特徴的な第 1 の位置と 第 2 の位置を観察者が指定 したが、 画像処理によ り 自動的に特徴 的な 2 つの位置を決定 し、 観察者が特徴的な位置を指定 しな く と も 自 動的に静止画像の位置、 倍率を変更 して、 静止画像 表示領域 4 2 に表示する よ う に して も同様の効果は得られる。 (第 2 の実施の形態)
第 1 の実施の形態では、 マク ロ観察ュニ ッ ト 3 を用いてベ —ス 2 8 上の試料を広視野広範囲の観点で参照画像と 比較観 察を行い、 必要に応 じて試料を ミ ク ロ観察ュニ ッ ト 2 のべ一 ス 2 0 上に移 し替えて精密な印刷や加工を拡大 して参照画像 と 比較観察 している。 第 2 の実施の形態では、 これ らの作業 を 自動化でき る よ う に している。
図 1 1 は、 顕微鏡画像比較装置の概略構成図を示す図であ る。
図 1 1 に示す顕微鏡画像比較装置は、 観察装置 6 9 と 画像 処理装置 7 0 を備えている。 観察装置 6 9 は、 一体的に構成 された ミ ク 口観察像取 り 込み手段と しての ミ ク 口観察ュニ ッ ト 7 1 と マク 口観察像取 り 込み手段と してのマ ク 口観察ュニ ッ ト 7 2 と を備えてレヽる。 ミ ク ロ観察ユニ ッ ト 7 1 およびマ ク ロ観察ユニ ッ ト 7 2 には、 それぞれのベース ( ミ ク ロ用) 7 3 およびベース (マ ク ロ用) 7 4 上に共通のマク ロ ' ミ ク 口電動ス テー ジ (自動 X— Y回転ス テージ) 7 5 が設け られ ている。 マク ロ · ミ ク ロ電動ステージ 7 5 を駆動する こ と で、 ミ ク ロ観察ュニ ッ ト 7 1 と マク ロ観察ュニ ッ ト 7 2 の間で試 料の受渡 しが 自 動的にでき る。
また、 ミ ク ロ観察ュニ ッ ト 7 1 と マク ロ観察ュニ ッ 卜 7 2 に対して、 これ らの観察像を撮影するための T Vカ メ ラ 7 6 が設け られている。 T Vカ メ ラ 7 6 は、 ミ ク ロ観察ユニ ッ ト 7 1 では、 ミ ク ロ ' マ ク ロ用電動ズーム 7 7 と 、 対物 レ ンズ 7 8 を介 して試料を撮影する。 フ ォ ーカ ス の調整は ミ ク ロ用 電動フ ォーカス 7 9 で行われる。 さ らに、 T Vカ メ ラ 7 6 は、 マ ク ロ観察ユニ ッ ト 7 2 では、 ミ ク ロ ' マ ク ロ 用電動ズーム 7 7 、 不図示の光路切換え装置と 、 マ ク ロ レ ンズ 8 0 を介 し て試料の撮影を行 う 。 フ ォ ーカ ス の調整はマク ロ用電動フ ォ 一カ ス 8 1 で行われる。
こ の場合、 ミ ク ロ · マ ク ロ 用電動ズーム 7 7 、 ミ ク ロ観察 ュニ ッ ト 7 1 およびマク ロ観察ュニ ッ ト 7 2 の電動フ ォ ー力 ス 7 9、 8 1 、 不図示の調光装置、 不図示の光路切換え装置 および T Vカ メ ラ 7 6 は、 それぞれ画像処理装置 7 0 の一部 を構成する制御手段であるパ ソ コ ン本体 8 2 よ り 自動で制御 可能 と なってレヽる。
ミ ク ロ観察ュニ ッ ト 7 1 およびマ ク ロ観察ュニ ッ ト 7 2 に は、 各種の照明方法が設け られている。 具体的には、 ミ ク ロ 観察ユニ ッ ト 7 1 には、 偏向照明 8 3 、 落射照明 8 4 、 落射 蛍光照明 8 5 、 偏射照明 8 6 、 透過照明 8 7 、 赤外線透過照 明 8 8 が設け られてレヽる。 マ ク ロ観察ユニ ッ ト 7 2 には、 偏 向照明 8 9 、 落射照明 9 0 、 落射蛍光照明 9 1 、 偏射照明 9 2 、 透過照明 9 3 、 赤外線透過照明 9 4 が設け られている。 照明装置は、 対象と なる試料の観察部位な どに適 した照明方 法に応 じてノ ソ コ ン本体 8 2 ゃミ ク ロ用 コ ン ト ロ ールボ ッ ク ス (手動操作ボ ッ ク ス) 9 5 、 マ ク ロ用 コ ン ト ロ ールボ ッ ク ス (手動操作ボ ッ ク ス) 9 6 によ り 選択される。
接眼 レ ンズ 9 7 によ り 、 ミ ク ロ観察ュニ ッ ト 7 1 およびマ ク ロ観察ュニ ッ ト 7 2 によ り 得られる試料の観察像を直接 目 視で見る こ と ができ る。 観察装置 6 9 は、 マク ロ · ミ ク ロ通信ケーブル 9 8 、 テ レ ビカ メ ラ ビデオケーブル 9 9 およびテ レ ビカ メ ラ通信ケープ ル 1 0 0 を介 して画像処理装置 7 0 に接続されてレ、る。
画像処理装置 7 0 は、 パ ソ コ ン本体 8 2 の他に、 観察画像 の表示や制御用の G U I 等を表示する表示手段 と してのモニ タ一 1 0 1 、 入力装置のキーボー ド 1 0 2 、 マ ウス 1 0 3 を 有している。 画像処理装置 7 0 は、 マク ロ · ミ ク ロ通信ケー ブル 9 8 を介 して観察装置 6 9 の制御を行い、 また、 テ レ ビ カ メ ラ ビデオケ一ブル 9 9 を介 して T Vカ メ ラ 7 6 力 ら の映 像信号を取 り 込み、 さ らに、 テ レ ビカ メ ラ通信ケーブル 1 0 0 を介 して T Vカ メ ラ 7 6 のブライ トネス、 コ ン ト ラ ス ト等 の制御を行 う 。 画像処理装置 7 0 は、 T Vカ メ ラ 7 6 力ゝらの 撮像信号をパ ソ コ ン本体 8 2 内の ビデオキヤ プチヤーボー ド (不図示)を介 してノ、。 ソ コ ン本体 8 2 内のメ モ リ に取 り 込み、 デジタル画像 と してモニター 1 0 1 に表示でき る信号に変換 する。
ノ ソ コ ン本体 8 2 に は、 シス テ ム制御する た めの メ ニ ュ ー、 ボタ ン表示、 画像表示のためのモニ タ ー 1 0 1 、 メ ニュー及 びボタ ンを操作するためのキーボー ド 1 0 2 お よびマ ウス 1 0 3 が接続されている。
ノ ソ コ ン本体 8 2 は、 T Vカ メ ラ 7 6 で撮影 した画像を表 示させるための フ レーム メ モ リ 機能、 システ ム制御のた めの メ ニュー及びボタ ン操作機能、 観察装置 6 9 を制御する ため の通信機能な どを備えている。 パ ソ コ ン本体 8 2 は、 さ らに、 一時的に画像データ を保存する ための メ モ リ 機能も備えてい る。 パ ソ コ ン本体 8 2 は更に通信手段を備え、 他のパ ソ コ ン な ど と のデータ通信によ り 、 T Vカ メ ラ 7 6 で撮影 した画像 及び撮影条件な どのデータ を他のパ ソ コ ンに保存させてデー タ を共有する こ と が可能である。 例えば、 通信手段には、 E t h e r n e t 、 G P — I B 、 パ ラ レル、 シ リ アル等力 Sある。 パ ソ コ ン本体 8 2 は、 マ ク ロ · ミ ク ロ 電動ス テー ジ 7 5 の駆 動指令、 ミ ク ロ観察ユニ ッ ト 7 1 およびマ ク ロ観察ユニ ッ ト 7 2 に対する フ ォーカ ス 、 ズーム 、 光路切換え、 照明方法の 切換え、 調光等の指令を始め、 イ ンタ ー フ ェ ースを介 して T Vカ メ ラ 7 6 の制御指令などを観察装置 6 9 側に出力する。 イ ンタ 一 フ ェ ースは、 例えば、 観察装置 6 9 と ノ、。 ソ コ ン本体 8 2 に内蔵されてお り 、 例えば、 R S — 2 3 2 C 、 G P — I B 、 ノ、。 ラ レノレ 、 シ リ アル、 S C S I 等力 Sある。
図 1 2 A〜図 1 2 Eは、 上記のよ う に構成された顕微鏡比 較装置において、 静止画像表示領域 4 2 の参照画像と動画像 表示領域 4 3 の比較画像の画像位置や倍率がずれている場合 の補正方法を示 した図である。
図 1 2 Aに示す静止画像表示領域 4 2 の参照画像である静 止画像 4 2 K と 、 図 1 2 B に示す動画像表示領域 4 3 の比較 画像である動画像 4 3 Kの特徴的な位置 2 点の位置を比較 し て、 動画像 4 3 Kの位置、 倍率を変更 して静止画像 4 2 Kに 一致させる よ う な画像処理方法を、 図 1 3 に示すフ ロ ーチヤ — ト を用いて説明する。
図 1 2 Aに示す静止画像 4 2 K上の特徴的な第 1 の位置 4 2 K - 1 1 と 第 2 の位置 4 2 K— 2 1 をク リ ッ クする (ス テ ッ プ 1 1 0 1 ) 。 次いで、 図 1 2 B に示す動画像 4 3 G上の、 静止画像 4 2 Gの特徴的な第 1 の位置 4 2 K— 1 1 、 第 2 の 位置 4 2 K - 2 1 に対応する位置を第 1 の位置 4 3 K - 1 1 、 第 2 の位置 4 3 K— 2 1 と してク リ ッ クする (ステ ップ 1 1 0 2 ) 。
この状態で、 動画像 4 3 K と静止画像 4 2 Kの倍率の違い を求める。 この場合、 倍率の違い Kを、 K = ( 4 2 Κ - 1 1 と 4 2 Κ— 2 1 の距離) / ( 4 3 Κ— 1 1 と 4 3 Κ— 2 1 の 距離) で求める。 そ して、 こ の求め られた倍率 Κに基づいて 倍率を比較する (ステ ッ プ 1 1 0 3 ) 。 ステ ップ 1 1 0 3 に おいて、 倍率が異なる場合は、 ミ ク ロ ' マク ロ用電動ズーム 7 7 を操作 し、 動画像 4 3 Κを動画像表示領域 4 3 内で拡大、 縮小させる (ステ ッ プ 1 1 0 4 ) 。
図 1 2 C は、 ミ ク ロ · マク ロ用電動ズーム 7 7 の動作後の 動画像表示領域 4 3 での表示を示す図で、 動画像表示領域 4 3 には、 拡大、 縮小後の動画像 4 3 L と新たな第 1 および第 2 の位置 4 3 L — 1 1 、 4 3 L - 2 1 が表示される。
次に、 図 1 2 Αに示す静止画像 4 2 Κの傾き 、 つま り 位置 4 2 K - 1 1 と 4 2 K - 2 1 を結ぶ直線の傾き と 、 図 1 2 C に示す動画像 4 3 L の位置 4 3 L — 1 1 と 4 3 L - 2 1 を結 ぶ直線の傾き と の角度差 Φ を求める。 こ の場合、 角度差 が ある場合は、 マク ロ · ミ ク ロ 電動ス テージ 7 5 を角度 φ だけ 回転させる こ と によ り 、 動画像 4 3 Kを動画像表示領域 4 3 内で回転させる (ステ ッ プ 1 1 0 5 ) 。
図 1 2 D は、 この よ う なマク ロ · ミ ク ロ電動ステージ 7 5 の回転動作後の動画像表示領域 4 3 での表示を示すもので、 動画像表示領域 4 3 には、 回転後の動画像 4 3 Mと新たな第 1 およぴ第 2 の位置 4 3 M - 1 1 、 4 3 M - 2 1 が表示され る。
次に、 ステ ッ プ 1 1 0 6 で、 動画像表示領域 4 3 の動画像 4 3 Mの一方の特徴的な第 1 の位置 4 3 M — 1 1 をク リ ッ ク する。 そ こで、 ステ ップ 1 1 0 8 で、 マク ロ ' ミ ク ロ電動ス テ一ジ 7 5 が X , Y方向に移動 し、 動画像 4 3 Mの第 1 の位 置 4 3 M - 1 1 を静止画像 4 2 Gの第 1 の位置 4 2 K - 1 1 に一致させる。 この場合、 動画像表示領域 4 3 と静止画像表 示領域 4 2 を同一領域と みな して第 1 の位置 4 3 M - 1 1 と 4 2 K - 1 1 がー致 しているか判断される (ステ ッ プ 1 1 0 7 ) 。
図 1 2 E は、 こ の よ う な画像処理後の動画像表示領域 4 3 での表示を示す図であ り 、 動画像表示領域 4 3 には、 X , Y 方向への移動後の動画像 4 3 N と新たな第 1 の位置 4 3 N - 1 1 、 第 2 の位置 4 3 N - 2 1 が表示 される。
従って、 これ ら一連の動作によ って も、 動画像表示領域 4 3 に表示される動画像 4 3 N と静止画像表示領域 4 2 の静止 画像 4 2 Kの画像位置、 倍率を簡単に、 しかも精度よ く 一致 させる こ と ができ 、 第 1 の実施の形態 と 同様な効果を期待で き る。
第 1 と第 2 の実施の形態では最初に観察者が静止画像 4 2 と 、 動画像 4 3 Kの特徴的な第 1 の位置と 第 2 の位置を指 定した。 しか し、 画像処理にて 自動的に特徴的な 2 つの位置 を 自動的に決定すれば、 観察者が特徴的な位置を指定しな く と も 自動的に ミ ク ロ ' マク ロ用電動ズーム 7 7 と マク ロ · ミ . ク 口電動ステージ 7 5 の操作によ り 同様の効果が得られる。 また、 第 1 と 第 2 の実施の形態では、 マ ク ロ · ミ ク ロ電動ス テージ 7 5 の回転によ り 同画像を回転させたが、 プリ ズムま たは ミ ラーを用いたイ メ ージローテータゃレ ンズな どの光学 素子を用いて動画像を回転させる よ う に して も よい。 さ らに、 マ ク ロ · ミ ク ロ 電動ス テージ 7 5 によ り 動画像を X Y方向に 移動させたが、 静止画像を X Y方向に移動させる こ と によ り 動画像と 静止画像を一致させる こ と でも 同 じ効果が得られる。 さ らにまた、 T Vカ メ ラ 7 6 と して高精細のテ レ ビカ メ ラ を 使用 し、 倍率に合った画像領域を抜き取 り 、 本来の解像度に 画像変換 して倍率を調整 した り 、 高精細カ メ ラ の画像の一部 を本来の解像度 と して使用 し、 X Y方向の移動を取 り 込む画 像領域を X Y方向に移動する こ と によ り 静止画像と動画像を 一致させる こ と でも同 じ効果が得られる。
と こ ろで、 第 1 および第 2 の実施の形態では、 ス タ ン ドア ロ ンで使用 している顕微鏡画像比較装置について説明 した。 これに限 らず、 画像サーバに必要なデジタル画像と 、 その情 報、 例えば、 文章の偽造個所の説明等を保存 しておき、 異な る場所で偽造と して疑わ しいものが発見 された と き 、 バ ソ コ ン本体 5 から関連する情報を、 ネ ッ ト ワーク を介 して画像サ ーバを検索 し、 必要な情報をダウ ンロ ー ド して比較画像と し て用いる よ う に して も よい。 こ う すれば、 異なる場所で新た に見つかった偽造物の画像や情報を画像サーバにその都度保 存 してお く こ と で、 リ アルタ イ ムで最新の情報を入手でき る。 こ の場合、 ネ ッ ト ワーク 上に偽造箇所のデータ な どの秘密情 報を通信する こ と になる ため、 ユーザ管理およびデータ の喑 号化な どの処理を して、 外部に情報が漏れない処理が必要と なる。
第 1 及び第 2 の実施形態に よれば、 参照画像と 比較画像の' 位置合わせを簡単に、 しかも精度よ く 行 う こ と ができ る画像 比較装置、 画像比較方法および画像比較を コ ン ピュータ にて 実行させるためのプロ グラムを提供でき る。
(第 3 の実施の形態)
第 3 の実施形態の装置構成は、 第 2 の実施形態のそれと 同 じであるので、 図示及び ^明を省略する。 なお、 第 3 の実施 形態では、 いかなる シス テムを用いた場合でも 、 常に同 じ観 察条件を 自動的に設定でき る実施の形態を示す。
図 1 4 は、 モニタ一 1 0 1 画面上での表示例である。 図 1 5 乃至図 1 8 は、 第 3 の実施の形態に係る作業手順と動作を 説明するためのフ ローチヤ一 ト である。
まず、 見本と なる参照画像の登録が必要と なるので、 観察 者は、 図 1 4 に示すモニ タ ー上に表示される操作画面 1 7 0 上で見本と なる試料の種別、 例えば身分証明書な どを試料種 別 リ ス ト 2 1 0 によ り 選択する (ステ ップ S 1 0 ) 。
次に、 観察者は、 観察装置 6 9 での観察ュニ ッ ト を選択す る。 つま り 、 観察者は、 見本と なる試料上の観察 したい領域 の大き さ に応 じて ミ ク ロ観察ュニ ッ ト 7 2 にて観察するか、 または、 ミ ク ロ観察ュニ ッ ト 7 1 にて観察する かを選択する (ス テ ッ プ S I 1 ) 。 こ の場合、 モニ」タ ーの操作画面 1 7 0 で、 ミ ク ロ観察ュニ ッ ト 7 2 または ミ ク ロ観察ュニ ッ ト 7 1 に対応するマ ク ロ ボタ ン 2 4 3 または ミ ク ロ ボタ ン 2 4 2 を ク リ ッ ク して観察装置 6 9 の不図示の光路切替え装置を操作 して光路切換えを選択 し、 所望する観察ュニ ッ ト を選択する
(ス テ ッ プ S 1 2 , ス テ ッ プ S 1 3 ) 。
次に、 モニ タ ー上に表示される操作画面 1 7 0 上で動画ボ タ ン 2 0 3 および静止画ボタ ン 2 0 4 の う ちの動画ボタ ン 2 0 3 を選択 し、 T Vカ メ ラ 7 6 で撮影 している動画像を観察 画像表示領域 2 0 0 に表示させる (ス テ ッ プ S 1 4 ) 。
こ の状態で、 観察者は見本と なる試料を、 選択 した観察ュ ニ ッ ト のマ ク ロ · ミ ク ロ電動ス テー ジ 7 5 にセ ッ ト する (ス テ ツ プ S 1 5 ) 。 そ して、 観察画像表示領域 2 0 0 の動画像
(観察画像) を見なが ら、 試料に適 した照明方法を、 マ ク ロ 用 コ ン ト ロ ー ノレボ ッ ク ス 4 6 または ミ ク ロ用 コ ン ト ローノレボ ッ ク ス 4 5 を用いて選択 し、 照明方法および明る さ を調整す る (ステ ッ プ S 1 6 ) 。
次に、 観察者は、 観察画像の細部を拡大観察するか否かを 判断し (ステ ップ S 1 7 ) 、 拡大 したい場合 ( y e s ) は、 倍率変更ボタ ン 2 3 1 にて拡大倍率を設定し、 観察画像上に マ ウスのポイ ンタ を持って行 く 。 する と 、 ポイ ンタ は、 観察 画像上で指定された倍率の撮 り 込みエ リ アを表示する。 そ し て、 観察者が撮 り 込みたい位置をク リ ッ ク し拡大位置を決定 して (ステ ッ プ S 1 8 ) 、 操作画面 1 7 0 の設定ボタ ン 2 3 2 をク リ ッ ク する。 する と 、 パ ソ コ ン本体 8 2 は、 現状のス テージ位置、 設定率および観察画像上でのマ ウ スボイ ン タ の 位置から拡大する画像の中心位置を算出する。 そ して、 選択 されている観察ユニ ッ トの光軸上に拡大する画像の中心位置 がー致する よ う に、 自 動的にマ ク ロ · ミ ク ロ電動ス テー ジ 7 5 が移動 し、 セ ッ 卜 された試料が観察 したい位置に移動する (ス テ ッ プ S 1 9 ) 。
次に、 観察者は、 試料の観察 したい領域が表示される よ う にズーム倍率を調整 し、 フ ォーカス を合わせる (ステ ッ プ S 2 0 ) 。
なお、 ステ ップ S 1 7 で、 観察画像の細部を拡大観察 しな い と 判断した場合は、 直ちにステ ップ S 2 0 に進み、 観察者 は、 試料の観察 したい領域が表示される よ う にズーム倍率を 調整 し、 フ ォ ーカ ス を合わせる。
次に、 図 1 6 において、 観察者は、 観察画像のコ ン ト ラス トは充分か判断する (ス テ ッ プ S 2 1 ) 。 こ こ で、 蛍光照明 や試料の コ ン ト ラ ス 卜 が少ない場合は、 はっ き り した画像に な らず、 精度の高い画像比較ができ ない。
こ の場合は、 画像積算処理を行 う (ステ ップ S 2 2 ) 。 ま ず、 観察者は、 モニタ一上に表示される操作画面 1 7 0 にあ る 自 動コ ン ト ラス ト ボタ ン 2 2 1 を選択 し、 自 動コ ン ト ラス ト処理を行 う 。 これに よ り 、 ノ ソ コ ン本体 8 2 は、 撮 り 込ん だ画像に輝度 レベルが最適になる よ う にゲイ ンまたはオフセ ッ ト をかけて、 画像データ を変更 した上で、 観察画像表示領 域 2 0 0 に表示する。 観察者は、 こ の観察画像を見なが ら、 試料の観察位置、 倍率、 フ ォーカ ス を合わせる。 次に、 モニ ターの操作画面 1 7 0 にある積算ボタ ン 2 2 2 を選択 し画像 積算処理を開始する。 これに よ り 、 パ ソ コ ン本体 8 2 は、 撮 り 込んだ画像を設定された画像枚数分保存 し、 画像データ を 加算 して、 観察画像表示領域 2 0 0 に表示する。 観察者は、 試料の明る さ によ り モニ タ ーの操作画面 1 7 0 にある積算数 2 2 3 で積算回数を調整 し、 観察 し易い画像に調整する。
これらの撮 り 込み画像の準備ができ た と こ ろで、 モニター 上に表示される操作画面 1 7 0 のティ ーチングボタ ン 1 8 6 を操作してテ ィ ーチング画像 (すなわち、 参照画像) を登録 する (ス テ ッ プ S 2 3 ) 。 これによ り 、 パ ソ コ ン本体 8 2 は、 T Vカ メ ラ 7 6 の映像信号を、 ビデオキヤプチャ一ボー ドを 介 してパ ソ コ ン本体 8 2 にデジタ ル画像 (テ ィ ーチン グ画 像) と して取 り 込み、 取 り 込んだデジタル画像を記録媒体 1 0 に保存する と と もに、 静止画像表示領域 1 8 0 に表示する。 また、 ノ、。ソ コ ン本体 8 2 は、 こ の と き の観察条件、 つま り 、 マ ク ロ · ミ ク ロ電動ス テー ジ 7 5 の位置 (デジタル画像の撮 り 込んだ位置) 、 ズーム倍率、 照明方法、 調光、 光路切換え、 T Vカメ ラ 7 6 の設定な どの各種の条件を観察装置 6 9 およ び T Vカ メ ラ 7 6 と の通信によ り 確認 し、 ステ ップ S 1 0 に おいて試料種別 リ ス ト 2 1 0 で選択 した試料の種別ごと に保 存する。
以下同様に して、 観察者は、 試料上の観察が必要な部分に ついて、 その数だけ、 テ ィ ーチ ン グ画像の登録を繰 り 返す (ステ ップ S 2 4 ) 。
なお、 この よ う なテ ィ ーチング画像は、 モニター上に表示 される操作画面 1 7 0 にある フ ア イノレ読込ボタ ン 1 8 5 を選 択 して、 ノ ソ コ ン本体 8 2 の記録媒体 1 0 またはネ ッ ト ヮー ク 等の通信手段を介 して他のパ ソ コ ンの記録媒体に保存され ているテ ィ ーチング画像を読み込んで登録 しても よい。 こ の 場合は、 ステ ップ S 1 0 〜ステ ップ S 2 4 の手順は、 不要に なる。
次に、 観察者は、 ティ ーチング登録された参照画像と 同 じ 条件で比較する ための試料画像が必要と なる。 図 1 7 に示す よ う に、 モ ニ タ ー上に表示される操作画面 1 7 0 上で見本と な る試料の種別、 例えば身分証明書を試料種別 リ ス ト 2 1 0 によ り 選択する (ステ ップ S 3 0 ) 。
次に、 観察者は、 マ ク ロ · ミ ク ロ電動ス テージ 7 5 上に、 比較画像を生成するための比較試料をセ ッ 卜する (ステ ップ S 3 1 ) 。 そ して、 モニター上に表示される操作画面 1 7 0 上で取込みボタ ン 2 2 9 を選択する (ステ ッ プ S 3 2 ) 。
パソ コ ン本体 8 2 は、 試料種別 リ ス ト 2 1 0 に よ り 選択さ れた試料の種別ごと に登録 したテ ィ一チング画像の登録時点 での撮影条件を読み出すと と も に、 ティ ーチング画像を参照 画像と して静止画像表示領域 1 8 0 に表示する (ステ ップ S 3 3 ) 。 また、 ノ ソ コ ン本体 8 2 は、 読み出 した撮影条件フ ア イノレによ るマ ク ロ · ミ ク ロ電動ス テー ジ 7 5 の位置、 ズー ム倍率、 照明方法、 調光、 光路切換え、 T Vカ メ ラ 7 6 の設 定な どを各種の条件に基づいてマ ク ロ · ミ ク ロ通信ケーブル 9 8 を介 して観察装置 6 9 を 自 動制御 し、 参照画像 (テ ィ ー チング画像) の取得時の観察条件に一致させる (ステ ップ S 3 4 ) 。 そ して、 T Vカ メ ラ 7 6 で撮影されるマク ロ · ミ ク 口電動ステージ 7 5 上の試料の動画像を撮 り 込み (ステ ッ プ S 3 5 ) 、 比較画像と して動画像表示領域 1 9 0 に表示する (ステ ップ S 3 6 ) 。
と こ ろで、 同 じ撮影条件で撮影 して も照明装置のラ ンプの 劣化や レ ンズな どによ る観察装置 6 9 での機差によ り 画像の 色あいな どの違いが発生する。 そ こで、 パ ソ コ ン本体 8 2 は、 参照画像と 比較画像の色再現が一致する よ う に、 画像入力ボ ー ドの色調整を行 う 。 例えば、 参照画像の特徴点と バ ッ ク の 色情報と して赤 * 緑 * 青の輝度情報が、 比較画像と 合 う よ う に画像入力ボー ドの色調整を行 う 。 (ステ ップ S 3 7 、 ステ ップ S 3 8 ) 。 これによ り 、 参照画像と比較画像の撮影条件 がー致し、 画像比較 し易い画像が撮影でき 、 以下に説明する 画像を比較する作業に入る。
この場合、 図 1 8 に示すよ う に、 観察者は、 比較画像と 参 照画像を静止画像表示領域 1 8 0 および動画像表示領域 1 9 0 のタ ブよ り 選択 し (ステ ッ プ S 3 9 ) 、 続けて試料の比較 したい領域に適 した画像比較モー ドを選択する (ステ ップ S 4 0 ) 。
こ の場合、 第 1 の画像比較モー ド と しての分割画像表示は、 観察画像表示領域 2 0 0 を上下または左右の 2 つの領域に分 割 し、 一方の分割領域に参照画像を表示 し、 他方の分割領域 に比較画像を表示する。 また、 こ の分割画像表示の選択にお いて、 分割モー ド表示の表示方法を選択する (ステ ッ プ S 4 1 ) 。 こ の分割モー ド表示の表示方法は、 左 : 参照画像 ' 右 : 比較画像、 左 : 比較画像 · 右 : 参照画像、 上 : 参照画 像 · 下 : 比較画像、 上 : 比較画像 ' 下 : 参照画像があ り 、 こ れら はボタ ン 2 0 5 で選択でき る。 また、 領域を分割する境 界線の if 線を、 S線移動ボタ ン 2 2 4 によ り 移動でき る。
観察者は、 試料の比較したい領域によ り 適 した分割モー ド 表示の表示方法を選択する。 こ の場合において、 観察画像表 示領域 2 0 0 の一方の分割領域に表示 される参照画像には、 縦ス ク ロ ールバ一 2 0 1 、 横ス ク ロ ーノレ ノく ー 2 0 2 力 配置さ れてお り 、 観察者は、 ス ク ロ ールバーを移動 させる こ と によ り 参照画像の表示位置を調整する (ステ ッ プ S 4 2 ) 。 こ こ で、 ノ ソ コ ン本体 8 2 は、 ス ク ロ ールノく 一の移動量に合わせ て、 参照画像の画像表示位置 と 比較画像の画像表示位置が同 じ位置になる よ う に、 自動的にマ ク ロ · ミ ク ロ電動ステージ 7 5 を移動させる。 ま た、 観察画像表示領域 2 0 0 の一方の 分割領域に表示される比較画像は、 動画像にて表示されてお り 、 観察者は、 必要によ り 位置を微調整 したい場合は、 画像 を確認しな力 S らマ ク ロ · ミ ク ロ 電動ステージ 7 5 を移動 させ る事によ り 比較画像の表示位置を調整する。
また、 第 2 の画像比較モー ド と してのオーバーラ ップ表示 は、 詳細は前述 したよ う に、 参照画像と 比較画像の輝度の割 合を任意の整数 n , m (但 し、 n ≥ m ) において、 m Z n倍 した画像と ( n — m ) / n倍 した画像と を加算 した画像を観 察画像表示領域 2 0 0 に表示する こ と に よ り 、 参照画像 と 比 較画像が透けて見える画像を観察する こ と ができ る。 なお、 整数 n , m を変更 して参照画像 と 比較画像の輝度の割合を 徐々 に変更する こ と によ り 、 片側の画像を強調 させて表示す る こ と もでき る。
この場合、 観察者は、 オーバーラ ップボタ ン 2 0 6 を選択 し (ステ ップ S 4 3 ) 、 参照画像と 比較画像の位置調整によ り (ステ ップ S 4 4 ) 、 参照画像と 比較画像の微妙な位置ず れを、 オーバーラ ップ画像を確認 しなが らマ ク ロ · ミ ク ロ電 動ス テージ 7 5 を移動させる こ と によ り 一致させる。 そ して、 観察者は、 オーバーラ ップ画像を確認 し、 一致 していない部 分を確認する。 なお、 表示割合の調整で (ステ ップ S 4 5 ) 、 観察者は どち らかの画像を強調 したい場合は、 表示割合調整 バー 2 0 7 を変更する こ と によ り 、 どち らかの画像の表示割 合を強調 して表示 させる こ と ができ る。
さ ら に、 第 3 の画像比較モー ド と し て の画像切換え表示 (アニメ ーシ ョ ン)は、 参照画像と 比較画像の 2 つの画像を所 定時間間隔で交互に観察画像表示領域 2 0 0 に繰返 し切換え 表示する。 観察者は、 前も って、 オーバーラ ップボタ ン 2 0 6 を選択 し (ス テ ッ プ S 4 6 ) 、 参照画像と 比較画像の位置 調整によ り (ス テ ッ プ S 4 7 ) 、 参照画像 と 比較画像の微妙 な位置ずれを一致させる。 次に、 画像切換え表示 (アニメ一 シ ヨ ン) ボタ ン 2 0 8 を選択し (ステ ッ プ S 4 8 ) 、 切 り 換 わる画像を確認 しなが ら、 一致 していない部分を確認する。 つま り 、 画像を交互に切 り 換える こ と によ り 、 画像の残像効 果によ って異なる部分を認識する。 こ の場合、 観察者は、 切 換え時間を設定するが (ス テ ッ プ S 4 9 ) 、 比較 しやすい切 り 換わ り 時間を設定時間ボタ ン 2 0 9 を操作 し設定 して観察 する。
なお、 参照画像の表示方法を変更するために、 静止画像表 示領域 1 8 0 に、 上下ボタ ン 1 8 1 、 左右ボタ ン 1 8 2 、 ネ ガボタ ン 1 8 3 が設け られている。 上下ボタ ン 1 8 1 、 左右 ボタ ン 1 8 2 は、 例えば、 試料の裏表の状態を比較する場合、 裏側よ り 撮影 した画像と表側の画像の方向を一致させるため に、 参照画像を上下反転と左右反転ができ る よ う にするため のもので、 また、 ネガボタ ン 1 8 3 は、 試料によ り 片側の画 像をポジネガ反転する こ と に よ り 画像の比較を認識 しやすく するためのボタ ンである。
画像比較が終了 した と こ ろで、 異物 自動検出ボタ ン 2 2 6 を選択する。 する と 、 異物 自動検出処理によ り (ス テ ッ プ S 5 0 ) 、 パ ソ コ ン本体 8 2 にて参照画像と 比較画像の二値化 画像が比較され、 異なる部分を色付け し、 またはマーク な ど で表示する こ と で、 観察者の画像比較を支援する。 そ して、 観察者が異物 自動検出処理を参考に 目 視にて画像を観察 し、 画像を比較する (ス テ ッ プ S 5 1 ) 。
次に、 コ メ ン ト ボタ ン 2 2 5 を選択する と 、 描画機能によ り 参照画像、 比較画像、 画像比較モー ドに よ る観察画像上に コ メ ン ト入力が可能にな り (ステ ッ プ S 5 2 ) 、 補足説明を 書き加える。 ま た、 観察者は、 保存が必要な画像を観察画像 表示領域 2 0 0 に表示させ、 画像保存ボタ ン 2 2 8 を選択す る と 、 保存 したい記憶媒体に画像が保存される (ス テ ッ プ S 5 3 ) 。 なお、 こ の時に、 パ ソ コ ン本体 8 2 は、 保存画像の 観察条件も合わせて保存する。 次に、 観察者は、 さ ら に試料の観察部分を変更 して詳細な 比較観察を続ける かを判断する(ステ 'ッ プ S 5 4 )。 こ こ で、 比較観察を続ける場合は、 ステ ップ S 3 2 に戻って、 上述 し た動作を繰り 返 し、 また、 比較観察を続けない場合は、 観察 を終了する。
従って、 この よ う にすれば、 例えば、 身分証明書などの試 料の観察が必要な部分のテ ィ ーチング画像 (参照画像) を、 これらの観察条件、 つま り 、 マク ロ · ミ ク ロ電動ステージ 7 5 の位置 (デジタル画像の撮 り 込んだ位置) 、 ズーム倍率、 照明方法、 調光、 光路切換え、 T Vカメ ラ 7 6 の設定な どの 各種の条件と と も に登録しておき 、 比較する試料の観察の際 に、 これら観察条件を 自 動的に再現 して比較試料の撮影を行 い、 撮 り 込まれた比較画像 と 参照画像と の比較を行 う よ う に している。 これに よ り 、 テ ィ 一チング画像 (参照画像) と比 較される試料の画像が、 テ ィ ーチング画像の観察条件と 同 じ 条件で観察ができ る と と も に、 テ ィ ーチング画像の特徴と現 在観察 している試料の特徴を容易に同一条件で比較観察する ができ ので、 比較精度を飛躍的に高める こ と ができ 、 印刷物 や身分証明書な どの特殊印刷や加工を施 した ものの鑑識を容 易に、 しかも高精度に行 う こ と ができ る。
また、 ティ 一チング画像 (参照画像) を保存 した時の観察 条件は、 画像データ と 共に保存されるため、 例えば、 共用の 記憶媒体に保存 しておけば、 いかなる システムでも比較する 試料と の画像比較の際に、 常に同 じ観察条件を 自動的に設定 する こ と ができ 、 画像比較作業の効率を大幅に向上する こ と ができ る。
なお、 こ のよ う な画像比較の過程で、 偽造箇所が 1 ケ所で も確認できれば、 試料全てが偽造と判断でき こ と から、 一番 怪 しい部位の画像から比較する こ と が比較判定する時間を短 縮する上で好ま しい。 そ こで、 撮影 した画像のタ ブの表示順 番は、 比較画像 と 参照画像を 2 値化 して、 その一致 していな い面積の多い割合によ り 並べた り 、 過去の偽造の確認件数の 多い順番の部位の画像よ り 並べた り する こ と もでき る。
また、 これま では、 ス タ ン ドア ロ ンで使用 している顕微鏡 画像比較装置について説明 してき たが、 ネ ッ ト ワーク を介 し て画像サーバに必要なデジタル画像と 文書の偽造箇所の説明、 撮影条件な どの情報を保管するネ ッ ト ワーク シス テ ムを構築 する。 そこで、 異なる箇所で新たに見つかった偽造物の画像 や情報を画像サーバにその都度保存 して、 常に最新の参照画 像に更新 してお く 。 これに よ り 、 顕微鏡比較装置のパ ソ コ ン 本体から関連する情報をネ ッ ト ワーク を介 して画像サーバを 検索 し、 常に最新の参照画像を入手でき る よ う になる。 また、 現状多発 している偽造物の情報があれば、 参照画像の表示タ ブの表示順序を更新して保存 し、 始めのほ う に確認する よ う にタ ブを並べ替え、 効率的に偽造文書を確認する こ と ができ る。 こ の場合、 ネ ッ ト ワーク 上に偽造箇所のデータ な どの秘 密情報を通信する こ と になるため、 ユーザ管理およびデータ の暗号化な どの処理を して、 外部に情報が漏れない処理が必 要 と なる。
第 3 の実施の形態に よれば、 参照画像 と 同 じ条件で比較画 像の比較すべき部分を 自 動的に一致させて撮影でき 、 精度の 高い画像比較を行 う こ と ができ る画像比較装置、 画像比較方 法および画像比較を コ ン ピュータ にて実行させるためのプロ グラ ム を提供でき る。
産業上の利用可能性
参照画像と 比較画像の位置合わせを簡単にでき 、 又は参照 画像と 同 じ条件で比較画像の比較すべき部分を 自 動的に一致 させて撮影でき 、 精度の高い画像比較を行 う こ と ができ る画 像比較装置、 画像比較方法お よび画像比較を コ ン ピュータ に て実行させるためのプロ グラ ムを提供する。

Claims

5再 求 の 範 囲
1 . 画像比較装置は、
試料のマク 口 的観察像お よびミ ク 口 的観察像の一方を取 り 込む観察像取 り 込み手段と 、
前記観察像取 り 込み手段によ り 取 り 込まれた観察像を撮影 する撮像手段 と 、
予め用意された参照画像を記録する記録手段と 、
前記撮像手段によ り 撮影される観察像を比較画像 と して表 示する表示手段と 、
前記記録手段に記録された参照画像の位置および倍率が前 記表示手段に表示された比較画像 と 同 じになる よ う に、 前記 参照画像を補正 して、 前記比較画像と 比較可能に前記表示手 段に表示させる制御手段と を具備する。
2 . 請求項 1 記載の画像比較装置において、 前記制御手 段は、 前記比較画像上で指示 される特徴的な 2 つの位置 と 、 該比較画像上の 2 つの位置に対応する前記参照画像上で指示 される 2 つの位置から、 前記参照画像の一方の位置を前記比 較画像の一方の位置に一致させる と と もに、 前記参照画像の 2 つ位置の間を結ぶ直線の距離と傾き を前記比較画像の 2 つ 位置の間を結ぶ直線の距離と傾き に一致させる よ う に、 前記 参照画像を補正する。
3 . 画像比較装置は、
試料のマク 口 的観察像およびミ ク 口 的観察像の一方を取 り 込む観察像取 り 込み手段と 、
前記観察像取 り 込み手段によ り 取 り 込まれた観察像を撮影 する撮像手段と 、
予め用意された参照画像を記録する記録手段 と 、
前記記録手段に記録された参照画像を表示する表示手段と 、 前記撮像手段によ り 撮影される観察像の位置および倍率が 前記表示手段に表示された参照画像と 同 じになる よ う に、 前 記比較画像を補正 して、 前記参照画像と 比較可能に前記表示 手段に表示させる制御手段と を具備する。
4 . 請求項 3 記載の画像比較装置において、 前記制御手 段は、 前記参照画像上で指示される特徴的な 2 つの位置と 、 該参照画像上の 2 つの位置に対応する前記比較画像上で指示 される 2 つの位置から、 前記比較画像の 2 つ位置の間を結ぶ 直線の距離と傾き を前記参照画像の 2 つ位置の間を結ぶ直線 の距離と傾き に一致させる と と も に、 前記比較画像の一方の 位置を前記参照画像の一方の位置に一致させる よ う に、 前記 比較画像を補正する。
5 . 画像比較装置は、
試料のマ ク 口 的観察像およびミ ク 口的観察像の一方を取 り 込む観察像取 り 込み手段 と 、
前記観察像取 り 込み手段によ り 取 り 込まれた観察像を撮影 する撮像手段と 、
前記撮像手段で撮影される観察像 と 前記観察像取 り 込み手 段および前記撮像手段によ る観察条件と を記録する記録手段 と 、
前記記録手段に記録された観察像を参照画像と して表示す る表示手段 と 、 前記記録手段に記録された観察像の観察条件に基づいて前 記観察像取 り 込み手段および前記撮像手段の状態を再現する と と もに、 前記撮像手段によ り 撮影 される観察像を比較画像 と して前記参照画像と 比較可能に前記表示手段に表示させる 制御手段 と を具備する。
6 . 画像比較装置は、
試料の ミ ク 口 的観察像を取 り 込む観察像取 り 込み手段 と 、 前記観察像取 り 込み手段によ り 取 り 込まれた観察像を撮影 する撮像手段 と 、
前記撮像手段で撮影される観察像と 前記観察像取 り 込み手 段および前記撮像手段によ る観察条件と を記録する記録手段 と 、
前記記録手段に記録された観察像を参照画像 と して表示す る表示手段と 、
前記記録手段に記録された観察像の観察条件に基づいて前 記観察像取 り 込み手段および前記撮像手段の状態を再現する と と もに、 前記撮像手段によ り 撮影される観察像を比較画像 と して前記参照画像と 比較可能に前記表示手段に表示させる 制御手段と を具備する。
7 . 請求項 5 または請求項 6 記載の画像比較装置におい て、 前記記録手段に記録される観察条件は、 前記撮像手段で 撮影 される観察像の撮 り 込み位置、 倍率、 照明方法の少な く と も一つであ る。
8 . 画像比較方法は、
試料のマク 口 的観察像および ミ ク 口 的観察像の一方を取 り 込むと と もに、 この取 り 込まれた観察像を撮影 し、 この撮像 された観察像を比較画像と して表示手段に表示 さ せる と と も に、 予め用意された参照画像の位置および倍率が 前記表示手段に表示された比較画像と 同 じにな る よ う に補正 して前記比較画像と比較可能に前記表示手段に表示させる。
9 . 請求項 8 記載の画像比較方法において、 前記比較画 像上で指示される特徴的な 2 つの位置と 、 該比較画像上の 2 つの位置に対応する前記参照画像上で指示される 2 つの位置 から、 前記参照画像の一方の位置を前記比較画像の一方の位 置に一致させる と と も に、 前記参照画像の 2 つ位置の間を結 ぶ直線の距離と傾き を前記比較画像の 2 つ位置の間を結ぶ直 線の距離と傾き に一致させる よ う に補正する。
1 0 . 画像比較方法は、
試料のマ ク 口 的観察像および ミ ク 口 的観察像の一方を取 り 込むと と も に、 この取 り 込まれた観察像を撮影 し、
予め用意された参照画像を表示手段に表示させる と と も に、 前記撮影される観察像の位置および倍率が前記表示手段に表 示された参照画像と 同 じになる よ う に補正 し比較画像と して 前記参照画像と 比較可能に前記表示手段に表示させる。
1 1 . 請求項 1 0 記載の画像比較方法において、 前記参 照画像上で指示 される特徴的な 2 つの位置と 、 該参照画像上 の 2 つの位置に対応する前記比較画像上で指示される 2 つの 位置から、 前記比較画像の 2 つ位置の間を結ぶ直線の距離と 傾き を前記参照画像の 2 つ位置の間を結ぶ直線の距離と傾き に一致させる と と も に、 前記比較画像の一方の位置を前記参 照画像の一方の位置に一致させる よ う に補正する。
1 2 . 画像比較方法は、
試料のマク 口 的観察像およびミ ク 口 的観察像の一方を取 り 込むと と も に、 こ の取 り 込まれた観察像を撮影 し、
この撮影された観察像を、 該観察像の観察条件と と もに記 録し、
この記録された観察像を参照画像 と して表示手段に表示さ せる と と も に、 前記記録された観察像の観察条件に基づいて 前記観察像の取 り 込みおよび撮像の状態を再現 し、 この状態 で撮影 される観察像を比較画像と して参照画像と 比較可能に 前記表示手段に表示させる。
1 3 . 画像比較方法は、
試料の ミ ク ロ 的観察像を取 り 込む と と も に、 こ の取 り 込ま れた観察像を撮影 し、
この撮影された観察像を、 該観察像の観察条件と と もに記 録し、
この記録された観察像を参照画像 と して表示手段に表示さ せる と と もに、 前記記録された観察像の観察条件に基づいて 前記観察像の取 り 込みおよび撮像の状態を再現 し、 この状態 で撮影 される観察像を比較画像 と して参照画像と 比較可能に 前記表示手段に表示させる。
1 4 . 請求項 1 2 または請求項 1 3 記載の画像比較方法 において、 前記記録される観察条件は、 撮影される観察像の 撮 り 込み位置、 倍率、 照明方法の少な く と も一つである。
1 5 . 画像比較を コ ン ピュータ に実行させるためのプロ グラ ムは、
観察像取 り 込み手段によ り 試料のマク 口 的観察像およびミ ク ロ的観察像の一方を取 り 込ませる と と も に、 この取 り 込ま れた観察像を撮像手段によ り 撮影させ、
この撮像された観察像を比較画像と して表示手段に表示さ せる と と もに、 予め用意された参照画像の位置および倍率が 前記表示手段に表示された比較画像と 同 じになる よ う に補正 して前記比較画像と 比較可能に前記表示手段に表示させる。
1 6 . 請求項 1 5 記載のプロ グラ ムにおいて、 前記比較 画像上で指示 される特徴的な 2 つの位置 と 、 該比較画像上の 2 つの位置に対応する前記参照画像上で指示される 2 つの位 置から、 前記参照画像の一方の位置を前記比較画像の一方の 位置に一致させる と と もに、 前記参照画像の 2 つ位置の間を 結ぶ直線の距離と傾き を前記比較画像の 2 つ位置の間を結ぶ 直線の距離と傾き に一致させる よ う に補正する。
1 7 . 画像比較を コ ンピュータ に実行させるためのプロ グラ ムは、
観察像取 り 込み手段によ り 試料のマク 口 的観察像および ミ ク 口的観察像の一方を取 り 込ませる と と も に、 こ の取 り 込まれ た観察像を撮像手段によ り 撮影させ、
予め用意された参照画像を表示手段に表示させる と と もに、 撮影される観察像の位置および倍率が前記表示手段に表示さ れた参照画像 と 同 じになる よ う に補正 し比較画像と して前記 参照画像と比較可能に前記表示手段に表示 させる。
1 8 . 請求項 1 7 記載のプロ グラ ムにおいて、 前記参照 画像上で指示される特徴的な 2 つの位置と 、 該参照画像上の 2 つの位置に対応する前記比較画像上で指示 される 2 つの位 置から、 前記比較画像の 2 つ位置の間を結ぶ直線の距離と傾 き を前記参照画像の 2 つ位置の間を結ぶ直線の距離と傾き に 一致させる と と も に、 前記比較画像の一方の位置を前記参照 画像の一方の位置に一致させる よ う に補正する。
1 9 . 画像比較を コ ン ピ ュータ に実行させるためのプロ グラ ム は、
観察像取 り 込み手段によ り 試料のマク 口 的観察像および ミ ク ロ 的観察像の一方を取 り 込ませる と と も に、 この取 り 込ま れた観察像を撮像手段によ り 撮影させ、
こ の撮像手段で撮影 される観察像を前記観察像取 り 込み手 段および前記撮像手段によ る観察条件と と も に記録手段に記 憶させ、
前記記録手段に記録された観察像を参照画像と して表示手 段に表示させ、
前記記録手段に記録された観察像の観察条件に基づいて前 記観察像取 り 込み手段および前記撮像手段の状態を再現させ る と と もに、 前記撮像手段によ り 撮影される観察像を比較画 像と して前記参照画像と比較可能に前記表示手段に表示させ る。
2 0 . 画像比較を コ ン ピ ュータ に実行させるためのプロ グラ ムは、
観察像取 り 込み手段によ り 試料の ミ ク 口 的観察像を取 り 込 ませる と と も に、 この取 り 込まれた観察像を撮像手段によ り 撮影 させ、
こ の撮像手段で撮影される観察像を前記観察像取 り 込み手 段および前記撮像手段によ る観察条件 と と もに記録手段に記 憶させ、
前記記録手段に記録された観察像を参照画像 と して表示手 段に表示させ、
前記記録手段に記録された観察像の観察条件に基づいて前 記観察像取 り 込み手段および撮像手段の状態を再現させる と と も に、 前記撮像手段によ り 撮影される観察像を比較画像と して前記参照画像と 比較可能に前記表示手段に表示させる。
2 1 . 請求項 1 9 または請求項 2 0記載のプロ グラ ムに おいて、 記録手段に記憶させる観察条件は、 前記撮像手段で 撮影される観察像の撮 り 込み位置、 倍率、 照明方法の少な く と も一つである。
PCT/JP2003/010531 2002-08-20 2003-08-20 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム WO2004019617A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP03792749A EP1549072A4 (en) 2002-08-20 2003-08-20 IMAGE COMPARISON DEVICE, IMAGE COMPARISON METHOD, AND PROGRAM FOR COMPUTER COMPARISON OF IMAGES
US11/060,144 US20050157170A1 (en) 2002-08-20 2005-02-17 Image comparison apparatus, image comparison method, and program to execute image comparison by computer

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002/239617 2002-08-20
JP2002239616A JP4633322B2 (ja) 2002-08-20 2002-08-20 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム
JP2002239617A JP2004078690A (ja) 2002-08-20 2002-08-20 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム
JP2002/239616 2002-08-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/060,144 Continuation US20050157170A1 (en) 2002-08-20 2005-02-17 Image comparison apparatus, image comparison method, and program to execute image comparison by computer

Publications (1)

Publication Number Publication Date
WO2004019617A1 true WO2004019617A1 (ja) 2004-03-04

Family

ID=31949544

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/010531 WO2004019617A1 (ja) 2002-08-20 2003-08-20 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム

Country Status (2)

Country Link
EP (1) EP1549072A4 (ja)
WO (1) WO2004019617A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH066807A (ja) * 1992-06-19 1994-01-14 Olympus Optical Co Ltd 画像比較装置
JPH0646361U (ja) * 1992-11-30 1994-06-24 オリンパス光学工業株式会社 基板外観検査装置
JPH1145334A (ja) * 1997-05-29 1999-02-16 Dainippon Screen Mfg Co Ltd 画像の比較表示方法及び記録媒体
JP2003066339A (ja) * 2001-08-29 2003-03-05 Olympus Optical Co Ltd 画像比較装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4644172A (en) * 1984-02-22 1987-02-17 Kla Instruments Corporation Electronic control of an automatic wafer inspection system
US5220614A (en) * 1991-02-22 1993-06-15 Professional Coin Grading Service, Inc. Automated coin grading system
US5257325A (en) * 1991-12-11 1993-10-26 International Business Machines Corporation Electronic parallel raster dual image registration device
JP4114959B2 (ja) * 1995-06-20 2008-07-09 キヤノン株式会社 画像処理方法及び装置
US6434264B1 (en) * 1998-12-11 2002-08-13 Lucent Technologies Inc. Vision comparison inspection system
DE10025751A1 (de) * 2000-05-24 2001-12-06 Atg Test Systems Gmbh Verfahren zum Untersuchen einer leiterplatte an einem vorbestimmten Bereich der Leiterplatte und Vorrichtung zum Durchführen des Verfahrens
JP2002033365A (ja) * 2000-07-14 2002-01-31 Seiko Instruments Inc ウエハパターン観察方法及び装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH066807A (ja) * 1992-06-19 1994-01-14 Olympus Optical Co Ltd 画像比較装置
JPH0646361U (ja) * 1992-11-30 1994-06-24 オリンパス光学工業株式会社 基板外観検査装置
JPH1145334A (ja) * 1997-05-29 1999-02-16 Dainippon Screen Mfg Co Ltd 画像の比較表示方法及び記録媒体
JP2003066339A (ja) * 2001-08-29 2003-03-05 Olympus Optical Co Ltd 画像比較装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1549072A4 *

Also Published As

Publication number Publication date
EP1549072A4 (en) 2006-12-06
EP1549072A1 (en) 2005-06-29

Similar Documents

Publication Publication Date Title
US7050622B2 (en) Image comparison apparatus, image comparison method, and program for causing computer to execute image comparison
US8073207B2 (en) Method for displaying face detection frame, method for displaying character information, and image-taking device
JP4770493B2 (ja) 遠隔指示システム及び遠隔指示方法
RU2437169C2 (ru) Устройство отображения изображения, устройство съемки изображения
US9241100B2 (en) Portable device with display function
US11112952B2 (en) Interface for display of multi-layer images in digital microscopy
EP1293927A2 (en) Image comparison device, image comparison method, and computer readable medium storing program to execute image comparison with computer
JPH11325819A (ja) 顕微鏡用電子カメラ
US20050157170A1 (en) Image comparison apparatus, image comparison method, and program to execute image comparison by computer
JP2004078690A (ja) 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム
JP4633322B2 (ja) 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム
US9300878B2 (en) Imaging apparatus and method for controlling imaging apparatus
JP3448847B2 (ja) 顕微鏡静止画像観察システム
US7078664B2 (en) Confocal laser microscope displaying target images side by side
KR100897674B1 (ko) 표본 검사 시스템 및 표본 검사 방법
JP2005266718A (ja) 顕微鏡画像撮影システム
WO2004019617A1 (ja) 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム
US20150146072A1 (en) Image focusing
JP4811249B2 (ja) 遠隔指示システム
JP3393168B2 (ja) 画像入力装置
EP2413602A1 (en) Image display device, image capture device, image display system, image display method, and image combining device
KR20000057920A (ko) 현미경 화상 전송 시스템, 현미경 화상 처리 방법 및현미경 화상 처리에 이용하는 기록 매체
JPH11344676A (ja) 顕微鏡画像撮影システム
JP3321435B2 (ja) 顕微鏡静止画像観察システム
JP2005057368A (ja) 顕微鏡用画像処理システム及び画像処理装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11060144

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2003792749

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2003792749

Country of ref document: EP