WO2017018044A1 - 内視鏡システム及び内視鏡画像の生成方法 - Google Patents

内視鏡システム及び内視鏡画像の生成方法 Download PDF

Info

Publication number
WO2017018044A1
WO2017018044A1 PCT/JP2016/065894 JP2016065894W WO2017018044A1 WO 2017018044 A1 WO2017018044 A1 WO 2017018044A1 JP 2016065894 W JP2016065894 W JP 2016065894W WO 2017018044 A1 WO2017018044 A1 WO 2017018044A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
inspection
pixel
blade
rotation
Prior art date
Application number
PCT/JP2016/065894
Other languages
English (en)
French (fr)
Inventor
小林 英一
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to EP16830149.7A priority Critical patent/EP3327483B1/en
Priority to JP2017531053A priority patent/JP6674464B2/ja
Publication of WO2017018044A1 publication Critical patent/WO2017018044A1/ja
Priority to US15/876,520 priority patent/US10504262B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F01MACHINES OR ENGINES IN GENERAL; ENGINE PLANTS IN GENERAL; STEAM ENGINES
    • F01DNON-POSITIVE DISPLACEMENT MACHINES OR ENGINES, e.g. STEAM TURBINES
    • F01D17/00Regulating or controlling by varying flow
    • F01D17/02Arrangement of sensing elements
    • F01D17/06Arrangement of sensing elements responsive to speed
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F01MACHINES OR ENGINES IN GENERAL; ENGINE PLANTS IN GENERAL; STEAM ENGINES
    • F01DNON-POSITIVE DISPLACEMENT MACHINES OR ENGINES, e.g. STEAM TURBINES
    • F01D21/00Shutting-down of machines or engines, e.g. in emergency; Regulating, controlling, or safety means not otherwise provided for
    • F01D21/003Arrangements for testing or measuring
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05DINDEXING SCHEME FOR ASPECTS RELATING TO NON-POSITIVE-DISPLACEMENT MACHINES OR ENGINES, GAS-TURBINES OR JET-PROPULSION PLANTS
    • F05D2270/00Control
    • F05D2270/80Devices generating input signals, e.g. transducers, sensors, cameras or strain gauges
    • F05D2270/802Calibration thereof
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05DINDEXING SCHEME FOR ASPECTS RELATING TO NON-POSITIVE-DISPLACEMENT MACHINES OR ENGINES, GAS-TURBINES OR JET-PROPULSION PLANTS
    • F05D2270/00Control
    • F05D2270/80Devices generating input signals, e.g. transducers, sensors, cameras or strain gauges
    • F05D2270/804Optical devices
    • F05D2270/8041Cameras

Definitions

  • the present invention relates to an endoscope system and an endoscope image generation method, and more particularly, to an endoscope system and an endoscope image generation method for obtaining an image of a rotating examination object.
  • an inspection object for example, a jet engine
  • an observation scope such as an endoscope
  • the inspector may determine, for example, the presence or absence of a defect in the subject or measure the size of the defect based on the image in the subject acquired using the observation scope inserted into the inspection target, that is, the inspection image. it can.
  • a jet engine has a plurality of rotor blades (hereinafter referred to as blades) as inspection parts, and an access port corresponding to each blade group is provided in the casing of the engine.
  • the examiner inserts a borescope that is an endoscope into the access port, and obtains a blade group image that can be observed from the access port.
  • the inspector rotates the rotor.
  • the endoscope image about the blade group corresponding to the next access port is acquired by rotating the shaft.
  • the proposed method described above is based on the coincidence point (intersection) between the luminance value on the predetermined line and the average luminance value on the pile image including the obtained plurality of blade images. Then, the pile image is corrected, and a process for making the width and position of each inspection image uniform is performed.
  • an object of the present invention is to provide an endoscope system and an endoscope image generation method that can acquire an endoscope image that is not affected by the rotation unevenness of an inspection target.
  • An endoscope system includes an endoscope in which a first inspection target image of the inspection target along a direction orthogonal to a rotation direction of a rotatable inspection target is inserted into the inspection target.
  • a first image acquisition unit that captures and acquires a plurality of the inspection objects at predetermined time intervals, and a second inspection object image of the inspection object along the rotation direction of the inspection object
  • a second image acquisition unit that captures and acquires a plurality of the inspection targets at the predetermined time interval in synchronization with the acquisition timing of the inspection target images, and acquires the acquired second inspection target images over time.
  • the first inspection target image of the inspection target along the direction orthogonal to the rotation direction of the rotatable inspection target is inserted into the inspection target.
  • a plurality of the inspection objects are captured and acquired at predetermined time intervals by an endoscope, and a second inspection object image of the inspection object along the rotation direction of the inspection object is obtained from the first inspection object image.
  • a plurality of the inspection targets are imaged at the predetermined time interval to acquire a plurality of times, and the second image to be acquired is arranged in time series image information, and the second Each image data of the plurality of first inspection target images is reproduced based on correspondence information between a position of a pixel having a predetermined feature amount or a predetermined luminance value in the inspection target image and a rotation angle amount of the inspection target.
  • FIG. 1 It is a flowchart which shows the example of the flow of the preparation process of a correction table concerning embodiment of this invention.
  • FIG. 1 is a perspective view showing a state of inspection of a jet engine (hereinafter simply referred to as an engine) according to the present embodiment.
  • FIG. 2 is a configuration diagram showing the configuration of the endoscope system according to the present embodiment.
  • the endoscope system 1 is a blade inspection system, and includes a plurality of borescopes 11A for acquiring blade images, a single borescope 11B for detecting a rotation angle, and a personal computer (hereinafter referred to as a PC) as an inspection image generation device. ) 12.
  • the plurality of borescopes 11A, 11B and the PC 12 are connected via a signal cable (hereinafter referred to as a cable) 13.
  • Each borescope 11A, 11B has an insertion portion 11a inserted into an engine E having a plurality of blades B to be inspected, and a gripping portion 11b provided at the proximal end portion of the insertion portion 11a.
  • the engine E is a jet engine, and includes an intake portion E1, a compressor portion E2, a combustion portion (not shown), and an exhaust portion (not shown) from the intake side toward the exhaust side.
  • a rotor blade (hereinafter simply referred to as a blade) B which is a plurality of compressor blades in a compressor unit E2 provided behind the intake unit E1 is inspected by the endoscope system 1.
  • a turning tool T is connected to a gear box (not shown) of the engine E so that the plurality of blades B can be rotated around the rotation axis AR.
  • the turning tool T and the PC 12 are connected by a cable 14, and the turning tool T is controlled to rotate the rotation axis AR in accordance with an instruction from the PC 12.
  • the casing C of the engine E has a plurality (here, three) access ports AP at a predetermined position.
  • the insertion portion 11a of each borescope 11A, 11B can be inserted into the casing C through the hole of the corresponding access port AP, and has an elongated diameter and length so that the blade B can be observed. It is a rigid endoscope.
  • the fixture F When inserting the insertion portions 11a of the borescopes 11A and 11B, which are endoscopes, into the casing C, the fixture F is attached to the access port AP into which the insertion portion 11a is inserted.
  • the fixture F is a device for supporting and fixing the insertion portion 11a of each borescope 11A, 11B at the position of the access port AP of the casing C. That is, the fixture F can be attached to the access port AP, and has an insertion hole through which the insertion portion 11a is inserted, and is configured to support the borescopes 11A and 11B.
  • Each borescope 11A, 11B is provided with an illuminating device (not shown) for illuminating each blade B which is an inspection site.
  • a plurality of blades are periodically arranged along the circumferential direction on the outer peripheral surface of the rotation axis AR of the engine E.
  • a plurality of blades for one round corresponding to each access port AP is one blade group and is an inspection target.
  • the plurality of blade groups have different numbers of blades.
  • each blade group to be inspected includes a plurality of blades B as a plurality of inspection parts having the same shape.
  • FIG. 3 is a diagram for explaining the configuration of the borescope 11A and the imaging region of the borescope 11A.
  • the borescope 11A is a side view endoscope.
  • An observation window 21 is provided in the insertion portion 11a.
  • an optical member 22 including a mirror 22a, an objective optical system 22b, and a relay optical system 22c is disposed in the insertion portion 11a.
  • the mirror 22a is disposed behind the observation window 21 so as to reflect the light incident from the observation window 21 and guide it to the relay optical system 22c via the objective optical system 22b.
  • a camera unit 23 is provided in the grip portion 11b.
  • the camera unit 23 includes an imaging optical system (not shown) that forms light from the subject image, and a line sensor 23a that is a solid-state imaging device that photoelectrically converts the subject image by the light imaged by the imaging optical system. Have.
  • the line sensor 23a of the camera unit 23 is arranged so as to acquire a one-dimensional image along a direction substantially parallel to the axis BO of the blade B.
  • the camera unit 23 acquires an image of an angle of view ⁇ including the entire blade B along a direction substantially parallel to the major axis of the blade B (that is, the direction of the axis BO).
  • FIG. 4 is a diagram for explaining the configuration of the borescope 11B and the imaging region of the borescope 11B.
  • the borescope 11B is a side-view endoscope.
  • An observation window 24 is provided in the insertion portion 11a.
  • an optical member 25 including a mirror 25a, an objective optical system 25b, and a relay optical system 25c is disposed in the insertion portion 11a.
  • the mirror 25a is disposed behind the observation window 24 so as to reflect the light incident from the observation window 24 and guide it to the relay optical system 25c via the objective optical system 25b.
  • a camera unit 26 is provided in the grip portion 11b.
  • the camera unit 26 includes an imaging optical system (not shown) that forms light from the subject image, and a line sensor 26a that is a solid-state imaging device that photoelectrically converts the subject image by the light imaged by the imaging optical system.
  • the line sensor 26 a of the camera unit 26 is arranged so as to acquire a one-dimensional image along a direction substantially orthogonal to the axis BO of the blade B. Then, the camera unit 26 acquires an image with an angle of view ⁇ including the width of at least one blade B along a direction substantially orthogonal to the major axis of the blade B (that is, the direction of the axis BO).
  • the borescope 11B is arranged at a position where a part of two adjacent blades B are photographed so that the edge portion BE of each blade B can be photographed.
  • the camera unit 26 acquires an image with an angle of view ⁇ that always includes the edge portion BE of the blade B along a direction substantially orthogonal to the long axis of the blade B (that is, the direction of the axis BO).
  • a signal line 13 b extending from the camera unit 26 is connected to the PC 12 through the cable 13. Therefore, the imaging signal that is a video signal obtained in each camera unit 23, 26 is output to the PC 12 via the cable 13.
  • the camera units 23 and 26 continuously acquire and output images at a predetermined period ⁇ TI that is sufficiently faster than the moving speed of the blade B. Therefore, the camera unit 23 stores the inspection target image of the blade B by the line sensor 23a in the engine E along the direction substantially orthogonal to the rotation direction of the blade group that is a rotatable inspection target (that is, the direction of the axis BO).
  • An image acquisition unit is configured to acquire a plurality of images by imaging the blade group with a period ⁇ TI that is a predetermined time interval by the inserted borescope 11A.
  • the camera unit 26 synchronizes the inspection target image of the blade B by the line sensor 26a along the rotation direction of the blade group with the same time interval (period ⁇ TI) in synchronization with the acquisition timing of the inspection target image acquired by the line sensor 23a.
  • an image acquisition unit for acquiring a plurality of images by imaging the blade group with the borescope 11B is configured.
  • the light from the subject acquired through the observation windows 21 and 24 passes through optical members such as mirrors 22a and 25a provided in the insertion portion 11a, respectively, and the camera portion 23 provided in the grip portion 11b.
  • 26, line sensors 23a, 26a may be arranged behind the observation windows 21, 24 together with the objective optical system to acquire the image of the blade B, respectively.
  • FIG. 5 is a diagram showing an image acquisition area IPA of the blade B obtained in the line sensor 26a of the camera unit 26 of the borescope 11B.
  • the line sensor 26a of the camera unit 26 acquires a one-dimensional image along a direction substantially orthogonal to the axis BO of the blade B.
  • the image acquisition area IPA of the camera unit 26 is acquired. Is a one-dimensional area, and the one-dimensional linear direction of the image acquisition area IPA is substantially parallel to the moving direction A1 of each blade B indicated by an arrow A.
  • the line sensor 23a of the camera unit 23 of the borescope 11A acquires a one-dimensional image along the axis BO of the blade B, but as shown in FIG. 5, the image acquisition region IPB of the camera unit 26 of the borescope 11B. Is a one-dimensional region, and the one-dimensional linear direction of the image acquisition region IPB is a direction substantially parallel to the moving direction A1 of each blade B indicated by an arrow A.
  • a portion near the observation window 24 of the blade B is a pixel having a high luminance value, and a portion far from the observation window 24 of the blade B has a luminance value.
  • Lower pixel A portion where the difference between the luminance values of two adjacent pixels is a predetermined value or more corresponds to the edge portion BE of the blade B.
  • the image acquisition area IPA is set to an area or range that includes at least one such edge when shooting a rotating blade group. Is done.
  • the camera unit 23 outputs a line image Bi along the direction of the axis BO of each blade B according to the rotation, and the PC 12 receives the received line image Bi. From this, a two-dimensional image of each blade B can be generated.
  • the camera unit 26 When the blade group rotates in the direction indicated by the arrow A, the camera unit 26 outputs the line image IPAi including the position information of the edge portion of each blade B according to the rotation, and the PC 12 receives the received line image IPAi. From this, a rotation angle information image (described later) of the blade B can be generated.
  • the borescopes 11A and 11B differ in the positions of the observation windows 21 and 24, the members of the optical members 22 and 25, and the like, but the borescope 11B is oriented in the direction of the line sensor 26a from the line sensor 23a.
  • the configuration may be substantially the same as that of the borescope 11A only by being different.
  • FIG. 6 is a block diagram showing the configuration of the PC 12.
  • the PC 12 includes a control unit 31, a trigger generation unit 32, an image recording unit 33, a rotation state recording unit 34, an image reconstruction unit 35, a correction table storage unit 36, and a turning tool driving unit 37.
  • the control unit 31 includes a central processing unit (hereinafter referred to as CPU), ROM and RAM, and executes various programs stored in the ROM.
  • the various programs include an inspection processing program to be described later.
  • the trigger generating unit 32 generates a trigger signal for simultaneous photographing by the plurality of borescopes 11A and 11B under the control of the control unit 31, and the plurality of borescopes 11A and 11B via the signal line 13c included in the cable 13. It is a circuit for supplying to.
  • the image recording unit 33 is a circuit that receives image signals from the plurality of borescopes 11A and records them in the internal storage unit 33a under the control of the control unit 31.
  • the rotation state recording unit 34 receives the image signal from the borescope 11B under the control of the control unit 31, generates a rotation angle information image RS (described later) indicating the rotation angle of the rotation axis AR, It is a circuit which records to the memory
  • the image reconstruction unit 35 receives the image signals from the plurality of borescopes 11A recorded in the image recording unit 33, the rotation angle information image RS recorded in the rotation state recording unit 34, and This is a circuit that performs processing for reconstruction based on a correction table CT described later.
  • the correction table storage unit 36 stores a correction table CT described later.
  • the correction table CT stores correspondence information indicating the correspondence between the position of the pixel of the edge portion BE on the line image obtained in the borescope 11B and the rotation angle of the rotation axis AR.
  • the turning tool drive unit 37 is a circuit that outputs a drive signal to the turning tool T via the cable 14 in order to rotate the rotation axis AR under the control of the control unit 31.
  • FIG. 7 is a flowchart illustrating an example of a flow of blade inspection processing executed by the control unit 31 of the PC 12.
  • a user who is an inspector inserts a borescope 11A into each of a plurality of access ports AP corresponding to a plurality of blade groups to be inspected for a plurality of blade groups in the engine E, and each blade B of each blade group It is fixed at a predetermined position where an image can be acquired.
  • each of the borescopes 11A is inserted and fixed at a position and orientation in which adjacent blades B do not overlap and the entire shape of each blade B can be photographed.
  • the user inserts the borescope 11B into one of the plurality of access ports AP, and fixes the borescope 11B at a predetermined position where the image in the image acquisition area IPA can be acquired.
  • the image acquisition area IPA is set to an area or range in which at least one edge portion BE of the blade B is always included so that the continuity of rotation of each blade group can be secured.
  • the control unit 31 of the PC 12 When the user inputs a predetermined command to the PC 12, the control unit 31 of the PC 12 reads out and executes the inspection processing program corresponding to the command input from the ROM, whereby the blade inspection processing of FIG. 7 is executed. .
  • control unit 31 executes a correction table creation process (S1), and executes a blade inspection process after the correction table creation process (S2).
  • S1 a correction table creation process
  • S2 a blade inspection process after the correction table creation process
  • FIG. 8 is a diagram for explaining the change of the line image IPAi in the image acquisition area IPA over time. A part of the blade group is shown on the upper side of FIG. 8, and the rotation angle information image RS generated from the line image IPAi of the image acquisition area IPA obtained in the borescope 11B is shown on the lower side. .
  • the vertical axis of the rotation angle information image RS in FIG. 8 corresponds to the time t that elapses from top to bottom, and the horizontal axis corresponds to the position of each pixel in the line image IPAi.
  • the line image IPAi has a plurality of pixels from the leftmost pixel P1 to the rightmost pixel Pmax.
  • the rotation angle information image RS shows a change in the edge position of the edge portion BE included in the line image IPAi at the time T when the rotation axis AR of the engine E rotates once.
  • the edge position of the edge portion BE is indicated by a pixel EP as an edge pixel.
  • the determination of the pixel EP that is the edge pixel corresponding to the edge portion BE can be performed, for example, by comparing the pixel values of two adjacent pixels and determining whether the difference between the pixel values is equal to or greater than a predetermined value.
  • the line image IPAi in the rotation angle information image RS is replaced with pixel information indicating the position of the detected pixel EP of the edge portion BE, and the above-described rotation state recording unit 34 includes the line including the pixel EP of the edge portion BE.
  • the image IPAi is superimposed along the time axis direction of time t to generate a rotation angle information image RS as shown in FIG. 8, and records it in the storage unit 34a.
  • the borescope 11B is installed so that the line image IPAi always includes the pixel EP corresponding to at least one edge portion BE. Further, each of the camera units 23 and 26 continuously acquires images at a period ⁇ TI that is sufficiently faster than the moving speed of the blade B. Therefore, when the blade group rotates in the rotation direction indicated by the arrow A in FIG. 5, the position of the pixel EP of the edge portion BE on the line image IPAi changes with the passage of time t as shown in FIG.
  • the pixel EP of the edge portion BE that was at time t1 has moved to the right at time t2.
  • the pixel EP of the next edge portion BE is included.
  • one pixel EP of the edge portion BE exists in the line image IPAi at time ta, but two pixels EP of the edge portion BE exist in the line image IPAi at time tb.
  • the position of the pixel EP corresponding to the edge portion BE in the image acquisition area IPA moves as shown by a solid line in FIG.
  • the period ⁇ TB that is the appearance period of the blade image of the blade B included in the blade group is It is represented by the following formula (1).
  • FIG. 9 is a diagram showing a correction curve CC showing the correspondence between the position of the pixel EP of the edge portion BE on the line image IPAi and the angle change amount ⁇ of the rotation angle of the rotation axis AR.
  • the horizontal axis in FIG. 9 corresponds to the position of the pixel EP of the edge portion BE on the line image IPAi, and the vertical axis corresponds to the angle change amount ⁇ of the rotation angle of the rotation axis AR.
  • Information of the correction curve CC is stored in the correction table storage unit 36 as a correction table CT.
  • the correction table CT is created in the inspection process as will be described later.
  • the correction curve CC shown in FIG. 9 is determined by the aberration in the optical system including the observation window 24 and the optical member 25 in the borescope 11B, the angle of the one-dimensional straight line of the image acquisition area IPA with respect to the moving direction of the blade B, and the like.
  • the adjacent edge portion BE The angle change amount ⁇ about the rotation axis AR is ⁇ B described above. Further, as described above, the appearance period of the edge portion BE is ⁇ TB.
  • the rotation angle ⁇ of the rotation axis AR from the time t1 is expressed by the following equation (3).
  • ⁇ B ⁇ M + ⁇ (3)
  • the elapsed time Tt from the time t1 of the rotation axis AR is expressed by the following equation (4), where ⁇ T ⁇ is the amount of time change within the period ⁇ TB.
  • the rotation angle ⁇ and the elapsed time Tt from the start of rotation of the rotation axis AR can be calculated from the information on the position of the pixel EP on the line image IPAi.
  • the rotation of the rotation axis AR has uneven rotation due to a gear box backlash or the like. Therefore, although not shown in FIG. 8, the movement of the position of the pixel EP on the line image IPAi corresponding to the edge portion BE also varies depending on the rotation unevenness of the rotation axis AR, and the obtained line image IPAi The imaging range of the included blade B does not correspond to the rotation angle of the rotation axis AR.
  • a correction table which is a correspondence table associated with the rotation angle around the AR axis, is created (S1). This correspondence table is used to reconstruct image signals from the plurality of borescopes 11A in order to generate an image signal without rotation unevenness from an image signal with rotation unevenness. Since the correspondence table is used for correction such as rearrangement and deletion with respect to the blade image recorded in the image recording unit 33 at the time of reconstruction, it is hereinafter referred to as a correction table.
  • FIG. 10 is a diagram for explaining the rotation unevenness of the rotation axis AR in the rotation angle information image RS. If there is no uneven rotation of the rotation axis AR, the position of the pixel EP corresponding to the edge portion BE included in the line image IPAi changes along the curve EPi indicated by a two-dot chain line in FIG. 10 in the rotation angle information image RS. . On the other hand, when the rotation of the rotation axis AR is uneven, the position of the pixel EP corresponding to the edge portion BE included in the line image IPAi changes, for example, as shown by a solid line in FIG.
  • FIG. 8 shows the rotation angle information image RS when there is no rotation unevenness on the rotation axis AR.
  • the appearance period of the edge portion BE of the blade B is as described above. It becomes a fixed cycle at ⁇ TB.
  • the rotation of the rotation axis AR is uneven, as shown in FIG. 10, the period ⁇ T1 between the times ta1 and ta2 at which the edge portion BE appears in the pixel P1 and the time at which the edge portion BE appears in the pixel P1.
  • the period ⁇ T2 between ta2 and ta3 does not coincide with the period ⁇ TB.
  • the image of each blade group obtained by the borescope 11 ⁇ / b> A may be expanded or compressed along the rotation direction of the blade B, either entirely or partially. Therefore, the image recording unit 33 does not accurately generate images of the plurality of blades B obtained by reception.
  • the blade image obtained by the borescope 11A is corrected and reconstructed using the correction table CT and the rotation angle information image RS with uneven rotation.
  • the correction table CT is created.
  • the correction table CT which is correspondence information indicating the correspondence between the pixel position of the edge BE on the line image IPAi and the rotation angle of the rotation axis AR, is based on the line image IPAi obtained by actually rotating the inspection object. Created.
  • FIG. 11 is a flowchart illustrating an exemplary flow of a correction table creation process.
  • the control unit 31 controls the turning tool driving unit 37 to drive the turning tool T to rotate the rotation axis AR at a constant speed, so that the line image IPAi of the image acquisition area IPA is transferred from the borescope 11B with a period ⁇ TI.
  • a rotation angle information image creating process is executed to obtain the rotation angle information image RS and record it in the storage unit 34a (S11).
  • the rotation angle information image RS is an image including information on rotation unevenness of the rotation axis AR, that is, rotation angle unevenness.
  • the rotation axis AR is rotated for a predetermined time, and a plurality of curves of the pixel EP corresponding to the edge portion BE are generated.
  • control unit 31 performs predetermined statistical processing on the point of the pixel EP of the edge portion BE, which is a predetermined feature point, included in the rotation angle information image RS, and generates a correction curve CL (S12). .
  • the control unit 31 generates an image in which the locus of the pixel EP in the rotation angle information image RS is overlapped with a predetermined pixel position being matched. Then, the control unit 31 calculates and obtains an average point, for example, the point with the most overlap, from the point of the pixel EP which is a predetermined feature point, and generates a correction curve CL from the obtained point. .
  • FIG. 12 is a diagram illustrating a correction curve CL including a point having the largest overlap from a plurality of curves including a point of the pixel EP which is a predetermined feature point, and including a locus of the obtained point.
  • the locus of the point where the plurality of curves (indicated by dotted lines) of the pixel EP where the positions of the pixel P1 coincide with each other most overlaps is obtained as a correction curve CL by statistical processing in S12.
  • the superimposed image generated in S12 is an image in which the trajectory of the pixel EP is superimposed by matching the predetermined pixel position (P1) where the characteristic amount of the line image IPAi exists, and the feature amount Is a feature amount indicating an edge in the line image IPAi.
  • the correction curve CL corresponds to the correction curve CC shown in FIG. 9 indicating the correspondence between the position of the pixel EP of the edge BE on the line image IPAi and the angle change amount ⁇ of the rotation angle of the rotation axis AR.
  • I a curve that is inverted by reversing and is position change information that indicates a change in the position of the pixel EP on the line image IPAi.
  • the control unit 31 generates correction table data of the correction table CT as shown in FIG. 10 from the correction curve CL obtained in S12, and executes correction table data generation processing stored in the correction table storage unit 36 (S13). ).
  • the turning axis AR of the engine E is rotated at a constant speed by using the turning tool T, and a plurality of curves of the pixel EP with uneven rotation are acquired and recorded, and the curve of the recorded pixel EP is recorded.
  • a correction curve CL in a constant speed rotation state is estimated from the trajectory obtained by averaging, and correction table data is generated from the correction curve CL.
  • the position of ⁇ TB in FIG. 9 indicates that the locus of the pixel EP starting from the pixel P1 is moving within the range of the pixel P1 to Pmax of the line image IPAi and the next edge portion in the locus of the pixel EP. It is set to the position of the average time of the times when the BE pixel EP appears at the position of the pixel P1.
  • the range of the line image IPAi is divided into a plurality of regions, and the locus of the point with the most overlap is obtained for each divided region, and the plurality of obtained locuses are connected to obtain the correction table data. May be.
  • FIG. 13 is a diagram illustrating a state where the range of the line image IPAi is divided into a plurality of regions.
  • the image acquisition area IPA is divided at two positions of pixels PA and PB and is divided into three areas. For each of the divided areas, the locus of the point with the most overlap is obtained.
  • the image acquisition area IPA is divided into three areas here, it may be divided into two or four or more areas.
  • FIG. 14 is a diagram for explaining a method for obtaining a trajectory of an average point, for example, a point having the largest overlap, from a plurality of curves of the overlapped pixels EP for each divided region.
  • the locus of the point where the plurality of curved lines (indicated by dotted lines) having the same position of the pixel P1 are the most overlapped. CL1 is obtained by statistical processing.
  • the locus CL2 of the point where the plurality of curves (indicated by dotted lines) with the same position of the pixel PA most overlapped is obtained by statistical processing. It is done.
  • the locus CL3 of the point where the plurality of curves (indicated by dotted lines) having the same position of the pixel PB most overlapped is obtained by statistical processing.
  • correction curve CL is obtained by connecting the end points so that the three trajectories CL1, CL2, CL3 obtained in each region are continuous.
  • Correction table data is generated from the correction curve CC generated by connecting the three loci CL1, CL2, CL3 (S13).
  • the position of ⁇ TB in FIG. 9 indicates that the locus of the pixel EP starting from the pixel P1 is moving within the range of the pixel P1 to Pmax of the line image IPAi and the next edge in the locus of the pixel EP.
  • the average time of the time at which the pixel EP of the part BE appears at the position of the pixel P1 is set.
  • the correction table data of the correction table CT stored in the correction table storage unit 36 is generated.
  • the image data of the line image IPAi that does not include the pixel EP is overlaid every period ⁇ TB without performing the statistical processing as described above, and
  • the correction curve CC may be obtained from the luminance distribution at each pixel position.
  • FIG. 15 is a flowchart illustrating an example of a flow of a correction table CT creation process according to a modification.
  • the control unit 31 controls the turning tool driving unit 37 to drive the turning tool T to rotate the rotation axis AR at a constant speed, and to change the line image IPAi in the image acquisition area IPA from the borescope 11B every cycle ⁇ TI.
  • a periodic image recording process for recording periodic images for each predetermined period ⁇ TB is executed (S21).
  • the periodic image recorded for each period ⁇ TB is an image in a range wider than the range of the period ⁇ TB including image data in the range of the period ⁇ TB.
  • the predetermined period ⁇ TB can be determined by the above-described equation (1).
  • the control unit 31 divides the periodic image for each predetermined period ⁇ TB by a predetermined period ⁇ TB along the time t, and superimposes the divided periodic images for each period ⁇ TB, thereby maximizing each pixel position.
  • a correction curve CL is generated from the luminance time (S22).
  • the superimposed image is an image obtained by extracting and superimposing a plurality of images having pixel values every predetermined period ⁇ TB.
  • the correction curve CL generated from the time of maximum brightness at each pixel position can also be referred to as a curve generated from the average time of the pixels EP.
  • FIG. 16 is a diagram for explaining a method of generating the correction curve CL based on the maximum luminance value included in the pixel data cut out every predetermined period ⁇ TB in S22.
  • the correction curve CL is generated so as to connect the positions of the times corresponding to the maximum luminance values for the respective pixel positions.
  • the position of the time corresponding to the vertex of the luminance distribution (indicated by the dotted line) at each of the four pixel positions of the pixels P1, PA, PB, and Pmax is determined as the time of the maximum luminance.
  • the position of ⁇ TB in FIG. 9 is that the pixel EP having the maximum luminance value is the pixel P1 in the locus of the pixel EP while the locus of the pixel EP starting from the pixel P1 is moving within the range of the line image IPAi. It is set to the position of the average time of the time of appearance at the position.
  • correction table data generation processing is executed (S23).
  • the process of S23 is the same as the process of S13. Therefore, also by this modification, the correction table data of the correction table CT stored in the correction table storage unit 36 can be generated.
  • the PC 12 is a correction information generation device that generates a correction table CT that is correction information.
  • the line image IPAi acquired by the line sensor 26a is arranged along with the passage of time, and a line of pixels having a predetermined feature amount of an image such as an edge portion or a pixel having a predetermined pixel value.
  • a position change information extraction unit that extracts position change information indicating a position change on the image IPAi is configured.
  • the position change information extraction unit of S12 and S22 generates a superimposed image obtained by superimposing the acquired plurality of images, here the line image IPAi, over time, and has the image feature amount from the superimposed image.
  • a correction curve CL which is position change information on the image of a pixel or a pixel having a predetermined pixel value, is extracted.
  • the position change information is information on a correction curve that is generated based on a trajectory of the position of the pixel having the feature amount of the image in the superimposed image or the position of the pixel value in the image.
  • the above-described processing of S13 and S23 generates correspondence information that generates correspondence information between the position of the pixel in the line image IPAi and the rotation angle of the blade group that is the inspection target from the position change information extracted in S12 and S22. Parts.
  • the correspondence information generation unit of S13 and S23 generates a correspondence table indicating the correspondence between the position of the pixel in the image and the rotation angle of the inspection object as the correspondence information.
  • FIG. 17 is a flowchart illustrating an example of the flow of the blade inspection process in S2.
  • the control unit 31 controls the trigger generating unit 32 to supply a trigger signal simultaneously to the plurality of borescopes 11A and 11B at a predetermined period ⁇ TI, to photograph each blade group with the plurality of borescopes 11A, and The image acquisition area IPA is photographed by the scope 11B (S31).
  • the process of S31 is executed in the image recording unit 33 and the rotation state recording unit 34.
  • a line image BI of each blade B (hereinafter referred to as a blade line image BI) is recorded in the image recording unit 33.
  • the rotation state recording unit 34 images the image acquisition area IPA with the borescope 11B and generates a rotation angle information image RS.
  • FIG. 18 is a diagram illustrating a correspondence between a plurality of blade line images BI recorded in the image recording unit 33 and the rotation angle information image RS recorded in the rotation state recording unit 34.
  • FIG. 18 two blade images BG1 and BG2 obtained by the borescope 11A in the first access port AP1 and the second access port AP2, and a rotation angle information image by the borescope 11B in the access port for the borescope 11B. RS is shown.
  • the passage of time t is the same in each blade line image BI and the rotation angle information image RS. That is, in FIG. 18, the image data of each blade line image BI and the rotation angle information image RS at the same position in the vertical axis direction is image data obtained by photographing at the same timing. For example, the image data BG1j, BG2j of each blade line image BI and the image data RSj of the rotation angle information image RS at time tj are image data photographed at the same timing.
  • the rotation axis AR rotates faster, and the pixel EP appears earlier in time than when there is no rotation unevenness indicated by a two-dot chain line.
  • the rotation of the rotation axis AR is stopped, and the pixels EP are continuously present at the same pixel position.
  • the position of the pixel EP corresponding to each edge portion BE corresponds to the angle change amount ⁇ within the period ⁇ TB.
  • Information of the correction table CT corresponding to the correction curve CC of FIG. 9 is created in S13 (or S23) and stored in the correction table storage unit 36.
  • control unit 31 uses the rotation angle information image RS created in S31 and the correction table CT created in S13 (or S23) to photograph with the plurality of borescopes 11A created in S31.
  • the obtained blade image of each blade group is reconstructed (S32).
  • the correction table CT stored in the correction table storage unit 36 is a table corresponding to the correction curve CC when there is no rotation unevenness as shown in FIG.
  • the control unit 31 arranges the correction table CT of the correction curve CC for each period ⁇ TB, and the rotation angle indicating the locus of the pixel EP when there is no rotation unevenness as shown in FIG. Create an information image RSR.
  • the control unit 31 rearranges (moves,) the image data of each blade group obtained in S31 to the position of the image data where the position of the pixel EP in each image data in the rotation angle information image RSR matches. (Including deletion, duplication, interpolation, etc.) to reconstruct the blade image.
  • the image data BG1k, BG2K,... Of each blade image BG1, BG2,. Is done.
  • each blade image BG 1, BG2 based on the rotation angle information image RS obtained in S31 and the correction table CT stored in the correction table storage unit 36, each blade image BG 1, BG2,.
  • the change in angle over time is constant by moving or deleting the image data in each blade image BG 1, BG2,...
  • the process of S32 includes time-series image information in which images to be inspected acquired by the line sensor 26a are arranged over time, a predetermined feature amount or a predetermined luminance in the image to be inspected.
  • the correction table CT which is the correspondence information between the position of the pixel having the value and the rotation angle amount of the inspection object
  • each image data of the inspection object image acquired by the line sensor 23a is matched with the rotation angle of the inspection object.
  • An image data reconstruction unit to be reconstructed is configured.
  • the pixel in the correspondence information is a pixel having a predetermined feature amount or a predetermined luminance value in each image of the plurality of blades B.
  • the image data reconstruction unit in S32 arranges each image data of the inspection target image obtained by the borescope 11A for each period ⁇ TI that is a predetermined time interval based on the correction table CT that is the correspondence information.
  • FIG. 19 is a diagram illustrating the correspondence between the plurality of blade line images BI recorded in the image recording unit 33 and the rotation angle information image RS after the blade image is reconstructed.
  • the image data BG1j, BG2j,... Of each blade line image BI within the period tpa are deleted by thinning or the like, and the period tpa is shortened.
  • Image data BG1j, BG2j,... Of each blade line image BI within the period tpb is added by duplication, interpolation, etc., and the period tpb is long.
  • each image data of the reconstructed blade image is set so that the image data BG1j, BG2j,... Of each blade line image BI obtained by photographing at a predetermined time interval are at a constant time interval.
  • the image data BG1j, BG2j,... Of each blade line image BI reconstructed in S32 is image data obtained when rotating at a constant rotational speed without uneven rotation.
  • the control unit 31 performs predetermined defect processing on the image data BG1j, BG2j,... Of each blade line image BI obtained in S32 (S33).
  • defect processing for example, determination of the presence / absence of a defect, determination of the type of defect, measurement of the size of the defect, and the like are performed by image processing.
  • FIG. 20 is a diagram for explaining an image of the blade group obtained by the endoscope system 1 according to the above-described embodiment.
  • a part of the image of the upper blade group shows an image BGA of the blade group before being reconstructed using the correction table CT
  • a part of the image of the lower blade group is obtained by the correction table CT.
  • An image BGB of the blade group after being reconstructed is shown.
  • an endoscope that can acquire an endoscope image that is free from the influence of rotation unevenness of the inspection object is obtained from the endoscope image obtained by rotating the inspection object.
  • a system can be provided.
  • a correction information generating device that generates correction information for acquiring an inspection image that is not affected by the rotation unevenness of the inspection target, and correction information generation for correcting the image of the rotating inspection target.
  • a method can be provided.
  • the correction curve CC is calculated by actually rotating the engine E to create the correction table CT.
  • the correction table is calculated from the design information or specification information of the engine E. It may be prepared in advance and stored in the correction table storage unit 36, and the correction table CT may be used. That is, the correspondence information indicating the correspondence between the position of the pixel having the predetermined feature amount or the predetermined luminance value in the line image IPAi and the rotation angle amount of the inspection target is set in advance based on design information about the inspection target and the like. It may be information.
  • the borescope 11B photographs the edge portion BE of the blade B.
  • a predetermined mark is provided on the rotation axis AR at the base of the blade B and the mark is photographed.
  • a correction table may be created. Since the part of the rotation axis AR at the base of the blade B is not damaged by the use of the engine E, the information on the rotation state can be acquired more reliably.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

内視鏡システム1は、回転可能な検査対象の回転方向に直交する方向BOに沿ったラインセンサ23aによる第1の検査対象画像を、所定の時間間隔ΔTIで撮像して複数取得するボアスコープ11Aと、検査対象の回転方向に沿ったラインセンサ26aによる第2の検査対象画像を、第1の検査対象画像の取得タイミングと同期して所定の時間ΔTI間隔で撮像して複数取得するボアスコープ11Bと、PC12を含む。PC12では、第2の検査対象画像を時間経過に沿って並べた時系列画像情報と、第2の検査対象画像中の所定の特徴量を有する画素EPの位置と検査対象の回転角度量の補正テーブルCTとに基づいて、複数の第1の検査対象画像の各画像データを再構築する。

Description

内視鏡システム及び内視鏡画像の生成方法
 本発明は、内視鏡システム及び内視鏡画像の生成方法に関し、特に、回転する検査対象の画像を得るための内視鏡システム及び内視鏡画像の生成方法に関する。 
 従来より、内視鏡などの観察スコープを用いて、検査対象、例えばジェットエンジン、の内部の観察が行われている。検査者は、検査対象内に挿入した観察スコープを用いて取得した被写体内の画像すなわち検査画像に基づいて、例えば被写体の欠陥の有無を判定したり、欠陥の大きさを計測したりすることができる。
 例えば、ジェットエンジンには検査部位としてのロータブレード(以下、ブレードという)が複数あり、エンジンのケーシングには、各ブレード群に対応したアクセスポートが設けられている。検査者は、アクセスポートに内視鏡であるボアスコープを挿入して、そのアクセスポートから観察できるブレード群画像を取得する。
 アクセスポートに挿入されたボアスコープにより、ジェットエンジンの回転軸の周方向に沿って周期的に配置された1つのブレード群についての内視鏡画像を取得し終わると、検査者は、ロータの回転軸を回転させて、次のアクセスポートに対応するブレード群についての内視鏡画像を取得する。
 このような順番に同様の内視鏡画像を撮影していく方法では、検査に長い時間が掛ってしまう。そこで、複数のブレード群に対応する複数のアクセスポートの各々に、ボアスコープを挿入し、エンジンの回転軸を回転させながら、複数のブレード群を複数のボアスコープで同時に撮影する方法が、米国特許出願公開第2014/0253715号明細書に提案されている。
 この提案の方法によれば、複数のブレード群を同時に撮影できるので、1本のボアスコープを各アクセスポートに順番に挿入して各ブレード群を順番に撮影していく方法に比較して効率的に内視鏡画像の取得ができる。
 また、検査対象である複数のブレード群をターニングツール等を用いて回転させる場合、外部へエンジンの回転エネルギを出力するためにエンジンに設けられたギアボックスのバックラッシュ、ギアボックスに接続された油圧ポンプなどの付属装置、等の影響により、回転にむらが生じる場合がある。回転むらがあると、ボアスコープで得られる各ブレード群の検査画像が、全体的にあるいは部分的に、ブレードの回転方向に沿って伸張されたり、あるいは圧縮されたりしまい、得られる各ブレードの画像が正確に得られないという問題がある。
 そのため、この問題を解決するため、上述した提案の方法では、得られた複数のブレード画像を含むパイル画像上における所定のライン上の輝度値と平均輝度値との一致点(交点)に基づいて、パイル画像に対して補正を行い、各検査画像の幅及び位置の均一化する処理が行われる。
 しかし、上記提案の方法では、パイル画像上における所定のライン上の輝度値と平均輝度値との一致点(交点)のみに基づいてパイル画像に対して補正を行っているため、交点間における回転むらは考慮されておらず、得られる各検査画像が回転むらの影響を完全に受けない画像にならない、という問題がある。
 そこで、本発明は、検査対象の回転むらによる影響のない内視鏡画像を取得することができる内視鏡システム及び内視鏡画像の生成方法を提供することを目的とする。 
 本発明の一態様の内視鏡システムは、回転可能な検査対象の回転方向に直交する方向に沿った前記検査対象の第1の検査対象画像を、前記検査対象内に挿入された内視鏡により前記検査対象を所定の時間間隔で撮像して複数取得する第1の画像取得部と、前記検査対象の前記回転方向に沿った前記検査対象の第2の検査対象画像を、前記第1の検査対象画像の取得タイミングと同期して前記所定の時間間隔で前記検査対象を撮像して複数取得する第2の画像取得部と、取得された前記第2の検査対象画像を時間経過に沿って並べた時系列画像情報と、前記第2の検査対象画像中の所定の特徴量あるいは所定の輝度値を有する画素の位置と前記検査対象の回転角度量の対応情報とに基づいて、前記複数の第1の検査対象画像の各画像データを再構築する画像データ再構築部と、を有する。
 本発明の一態様の内視鏡画像の生成方法は、回転可能な検査対象の回転方向に直交する方向に沿った前記検査対象の第1の検査対象画像を、前記検査対象内に挿入された内視鏡により前記検査対象を所定の時間間隔で撮像して複数取得し、前記検査対象の前記回転方向に沿った前記検査対象の第2の検査対象画像を、前記第1の検査対象画像の取得タイミングと同期して前記所定の時間間隔で前記検査対象を撮像して複数取得し、取得された前記第2の検査対象画像を時間経過に沿って並べた時系列画像情報と、前記第2の検査対象画像中の所定の特徴量あるいは所定の輝度値を有する画素の位置と前記検査対象の回転角度量の対応情報に基づいて、前記複数の第1の検査対象画像の各画像データを再構築する。
本発明の実施の形態に係わるジェットエンジンの検査の様子を示す斜視図である。 本実施の形態に係わる内視鏡システムの構成を示す構成図である。 本発明の実施の形態に係わる、ボアスコープ11Aの構成と、ボアスコープ11Aの撮像領域を説明するための図である。 本発明の実施の形態に係わる、ボアスコープ11Bの構成と、ボアスコープ11Bの撮像領域を説明するための図である。 本発明の実施の形態に係わる、ボアスコープ11Bのカメラ部26のラインセンサ26aにおいて得られるブレードBの画像取得領域IPAを示す図である。 本発明の実施の形態に係わるPC12の構成を示すブロック図である。 本発明の実施の形態に係わる、PC12の制御部31が実行するブレード検査処理の流れの例を示すフローチャートである。 本発明の実施の形態に係わる、画像取得領域IPAのライン画像IPAiの時間経過による変化を説明するための図である。 本発明の実施の形態に係わる、ライン画像IPAi上のエッジ部BEの画素EPの位置と回転軸ARの回転角度の角度変化量Δθとの対応関係を示す補正曲線CCを示す図である。 本発明の実施の形態に係わる、回転角度情報画像RSにおける回転軸ARの回転むらを説明するための図である。 本発明の実施の形態に係わる、補正テーブルの作成処理の流れの例を示すフローチャートである。 本発明の実施の形態に係わる、所定の特徴点である画素EPの点からなる複数の曲線から、最も重なりの多かった点を求め、その求めた点の軌跡からなる補正曲線CLを示す図である。 本発明の実施の形態に係わる、ライン画像IPAiの範囲が複数の領域に分割された状態を示す図である。 本発明の実施の形態に係わる、分割された領域毎に、重ね合わせた画素EPの複数の曲線から、平均的な点、例えば最も重なりの多かった点、の軌跡を求める方法を説明するための図である。 本発明の実施の形態の変形例に係る、補正テーブルCTの作成処理の流れの例を示すフローチャートである。 本発明の実施の形態の変形例に係る、S22において、所定の周期ΔTB毎に切り出した画素データに含まれる最大輝度値に基づく補正曲線CLを生成する方法を説明するための図である。 本発明の実施の形態に係わる、S2のブレード検査処理の流れの例を示すフローチャートである 本発明の実施の形態に係わる、画像記録部33に記録された複数のブレードライン画像BIと、回転状態記録部34に記録された回転角度情報画像RSとの対応を示す図である。 本発明の実施の形態に係わる、ブレード画像の再構築後の、画像記録部33に記録された複数のブレードライン画像BIと、回転角度情報画像RSとの対応を示す図である。 本発明の実施の形態に係わる、実施の形態の内視鏡システム1により得られるブレード群の画像を説明するための図である。
 以下、図面を参照して本発明の実施の形態を説明する。
(システム構成)
 図1は、本実施の形態に係わるジェットエンジン(以下、単にエンジンという)の検査の様子を示す斜視図である。図2は、本実施の形態に係わる内視鏡システムの構成を示す構成図である。
 内視鏡システム1は、ブレード検査システムであり、ブレード画像取得用の複数のボアスコープ11Aと、回転角度検出用の1つのボアスコープ11Bと、検査画像生成装置としてのパーソナルコンピュータ(以下、PCという)12とを含んで構成される。複数のボアスコープ11A、11BとPC12とは、信号ケーブル(以下、ケーブルという)13を介して接続されている。各ボアスコープ11A、11Bは、検査対象であるブレードBを複数有するエンジンEに挿入される挿入部11aと、挿入部11aの基端部に設けられた把持部11bとを有している。
 本実施の形態では、エンジンEは、ジェットエンジンであり、吸気側から排気側に向かって、吸気部E1、コンプレッサ部E2、燃焼部(図示せず)、及び排気部(図視せず)を有している。本実施の形態では、吸気部E1の後ろ側に設けられたコンプレッサ部E2内の複数のコンプレッサブレードであるロータブレード(以下、単にブレードという)Bが、内視鏡システム1により検査される場合について説明する。また、エンジンEのギアボックス(図示せず)には、ターニングツールTが接続され、複数のブレードBを、回転軸AR回りに回転させることができるようになっている。 
 また、ターニングツールTとPC12とは、ケーブル14により接続されており、PC12からの指示に応じて、回転軸ARを回転させるようにターニングツールTは制御される。
 なお、ここでは、コンプレッサブレードの例を説明するが、本実施の形態のブレード検査システムによれば、タービンブレード等の他のブレードの検査も、同様に行うことができる。
 エンジンEのケーシングCは、所定の位置に複数(ここでは3つ)のアクセスポートAPを有する。各ボアスコープ11A、11Bの挿入部11aは、対応するアクセスポートAPの孔を介してケーシングC内に挿入可能で、ブレードBを観察することができるような直径と長さを有している細長い硬性鏡である。
 内視鏡である各ボアスコープ11A、11Bの挿入部11aをケーシングC内に挿入するとき、固定具Fが、挿入部11aを挿入するアクセスポートAPに取り付けられる。固定具Fは、各ボアスコープ11A、11Bの挿入部11aを、ケーシングCのアクセスポートAPの位置で支持して固定するための装置である。すなわち、固定具Fは、アクセスポートAPに取り付けることができ、かつ挿入部11aが挿通される挿通孔を有して、各ボアスコープ11A、11Bを支持することができるように構成されている。
 また、各ボアスコープ11A、11Bには、検査部位である各ブレードBを照明するための照明装置(図示せず)が設けられている。 
 エンジンEの回転軸ARの外周面には、複数のブレードが周方向に沿って周期的に配置されている。各アクセスポートAPに対応する一周分の複数のブレードが、1つのブレード群であり検査対象である。複数のブレード群は、ブレードの枚数が互いに異なっている。
 各ブレード群に含まれる複数のブレードBは、同一のサイズと形状を有する。すなわち、検査対象である各ブレード群は、同一形状の複数の検査部位としてのブレードBを含む。(ボアスコープの構成)
 図3は、ボアスコープ11Aの構成と、ボアスコープ11Aの撮像領域を説明するための図である。 
 ボアスコープ11Aは、側視の内視鏡である。挿入部11aには、観察窓21が設けられている。
 観察窓21に対応して、挿入部11a内には、ミラー22a、対物光学系22b及びリレー光学系22cを含む光学部材22が配設されている。ミラー22aは、観察窓21から入射した光を反射して対物光学系22bを介してリレー光学系22cへ導くように、観察窓21の後ろ側に配設されている。
 把持部11bには、カメラ部23が設けられている。カメラ部23は、被写体像からの光を結像する撮像光学系(図示せず)と、撮像光学系によって結像された光による被写体像を光電変換する固体撮像素子であるラインセンサ23aとを有している。 
 カメラ部23のラインセンサ23aは、ブレードBの軸BOに略平行な方向に沿った一次元画像を取得するように配置される。カメラ部23は、ブレードBの長軸に略平行な方向(すなわち軸BOの方向)に沿って、ブレードBの全体を含む画角αの画像を取得する。
 カメラ部23から延出する信号線13aは、ケーブル13を通ってPC12に接続されている。 
 図4は、ボアスコープ11Bの構成と、ボアスコープ11Bの撮像領域を説明するための図である。
 ボアスコープ11Bは、側視の内視鏡である。挿入部11aには、観察窓24が設けられている。 
 観察窓24に対応して、挿入部11a内には、ミラー25a、対物光学系25b及びリレー光学系25cを含む光学部材25が配設されている。ミラー25aは、観察窓24から入射した光を反射して対物光学系25bを介してリレー光学系25cへ導くように、観察窓24の後ろ側に配設されている。
 把持部11bには、カメラ部26が設けられている。カメラ部26は、被写体像からの光を結像する撮像光学系(図示せず)と、撮像光学系によって結像された光による被写体像を光電変換する固体撮像素子であるラインセンサ26aとを有している。 
 カメラ部26のラインセンサ26aは、ブレードBの軸BOに略直交する方向に沿った一次元画像を取得するように配置される。そして、カメラ部26は、ブレードBの長軸(すなわち軸BOの方向)に略直交する方向に沿って、少なくとも1つのブレードBの幅を含むような画角βの画像を取得する。
 ボアスコープ11Bは、各ブレードBのエッジ部BEが撮影できるように隣り合う2つのブレードBの一部が重なって撮影される位置に配置される。すなわち、カメラ部26は、ブレードBの長軸(すなわち軸BOの方向)に略直交する方向に沿って、ブレードBのエッジ部BEが常に含まれるような画角βの画像を取得する。
 カメラ部26から延出する信号線13bは、ケーブル13を通ってPC12に接続されている。 
 よって、各カメラ部23、26において得られた映像信号である撮像信号は、ケーブル13を介してPC12へ出力される。
 なお、各カメラ部23,26は、ブレードBの移動速度よりも十分に速い所定の周期ΔTIで画像を連続的に取得して出力する。 
 よって、カメラ部23は、回転可能な検査対象であるブレード群の回転方向に略直交する方向(すなわち軸BOの方向)に沿ったラインセンサ23aによるブレードBの検査対象画像を、エンジンE内に挿入されたボアスコープ11Aによりブレード群を所定の時間間隔である周期ΔTIで撮像して、複数取得する画像取得部を構成する。
 カメラ部26は、ブレード群の回転方向に沿ったラインセンサ26aによるブレードBの検査対象画像を、ラインセンサ23aにより取得される検査対象画像の取得タイミングと同期して、同じ時間間隔(周期ΔTI)でボアスコープ11Bによりブレード群を撮像して、複数取得する画像取得部を構成する。
 さらになお、ここでは、観察窓21,24を通して取得される被写体からの光は、それぞれ挿入部11a内に設けられたミラー22a,25a等の光学部材を通して、把持部11bに設けられたカメラ部23,26に導かれているが、観察窓21,24の後ろ側にそれぞれ対物光学系と共にラインセンサ23a、26aを配置してブレードBの画像を取得するようにしてもよい。
 図5は、ボアスコープ11Bのカメラ部26のラインセンサ26aにおいて得られるブレードBの画像取得領域IPAを示す図である。 
 上述したように、カメラ部26のラインセンサ26aは、ブレードBの軸BOに略直交する方向に沿った一次元画像を取得するが、図5に示すように、カメラ部26の画像取得領域IPAは、一次元領域であり、画像取得領域IPAの一次元の直線方向は、矢印Aで示す各ブレードBの移動方向A1に略平行である。
 すなわち、ボアスコープ11Aのカメラ部23のラインセンサ23aは、ブレードBの軸BOに沿った一次元画像を取得するが、図5に示すように、ボアスコープ11Bのカメラ部26の画像取得領域IPBは、一次元領域であり、画像取得領域IPBの一次元の直線方向は、矢印Aで示す各ブレードBの移動方向A1に略平行な方向である。
 図4及び図5に示すように、画像取得領域IPAのライン画像IPAi中、ブレードBの観察窓24に近い部分は輝度値の高い画素となり、ブレードBの観察窓24から遠い部分は輝度値の低い画素となる。隣り合う2つの画素の輝度値の差が所定値以上の部分が、ブレードBのエッジ部BEに対応する。
 複数のブレードBの回転の連続性を担保するために、回転しているブレード群を撮影しているときに、このようなエッジ部を少なくとも1つ含む領域あるいは範囲に、画像取得領域IPAは設定される。
 よって、ブレード群が矢印Aで示す方向に回転すると、カメラ部23は、その回転に応じた各ブレードBの軸BOの方向に沿ったライン画像Biを出力し、PC12は、受信したライン画像Biから各ブレードBの二次元画像を生成することができる。
 また、ブレード群が矢印Aで示す方向に回転すると、カメラ部26は、その回転に応じた各ブレードBのエッジ部の位置情報を含むライン画像IPAiを出力し、PC12は、受信したライン画像IPAiから、ブレードBの回転角度情報画像(後述する)を生成することができる。
 なお、ここでは、ボアスコープ11Aと11Bは、観察窓21と24の位置、光学部材22と25の部材等において異なっているが、ボアスコープ11Bは、ラインセンサ26aがラインセンサ23aとは向きが異なるだけでボアスコープ11Aと略同じ構成であってもよい。
(PCの構成)
 図6は、PC12の構成を示すブロック図である。PC12は、制御部31、トリガー発生部32、画像記録部33、回転状態記録部34、画像再構築部35、補正テーブル記憶部36及びターニングツール駆動部37を有して構成されている。
 制御部31は、中央処理装置(以下、CPUという)、ROM及びRAMを含み、ROMに記憶された各種プログラムを実行する。各種プログラムには、後述する検査処理プログラムが含まれる。
 トリガー発生部32は、制御部31の制御の下、複数のボアスコープ11A、11Bによる同時撮影ためのトリガー信号を発生し、ケーブル13に含まれる信号線13cを介して複数のボアスコープ11A、11Bに供給するための回路である。
 画像記録部33は、制御部31の制御の下、複数のボアスコープ11Aからの画像信号を受信して、内部の記憶部33aへ記録する回路である。 
 回転状態記録部34は、制御部31の制御の下、ボアスコープ11Bからの画像信号を受信して、回転軸ARの回転角度を示す回転角度情報画像RS(後述する)を生成して、内部の記憶部34aへ記録する回路である。
 画像再構築部35は、制御部31の制御の下、画像記録部33に記録された複数のボアスコープ11Aからの画像信号を、回転状態記録部34に記録された回転角度情報画像RSと、後述する補正テーブルCTとに基づいて、再構築する処理を行う回路である。
 補正テーブル記憶部36は、後述する補正テーブルCTを記憶する。補正テーブルCTは、ボアスコープ11Bにおいて得られたライン画像上のエッジ部BEの画素の位置と回転軸ARの回転角度との対応を示す対応情報を格納している。
 ターニングツール駆動部37は、制御部31の制御の下、回転軸ARを回転させるために、ケーブル14を介してターニングツールTへ駆動信号を出力する回路である。
(作用)
 次に、ブレードBの検査処理について説明する。
 図7は、PC12の制御部31が実行するブレード検査処理の流れの例を示すフローチャートである。 
 検査者であるユーザは、エンジンE内の複数のブレード群について、検査したい複数のブレード群に対応する複数のアクセスポートAPのそれぞれに、ボアスコープ11Aを挿入し、各ブレード群の各ブレードBの画像が取得できる所定の位置に固定する。例えば、隣り合うブレードBが重ならず、各ブレードBの全体形状が撮影できる位置と向きに、各ボアスコープ11Aは挿入されて固定される。
 さらに、ユーザは、複数のアクセスポートAPの中の1つにボアスコープ11Bを挿入して、上述した画像取得領域IPAの画像が取得できる所定の位置にボアスコープ11Bを固定する。上述したように、画像取得領域IPAは、各ブレード群の回転の連続性が確保できるように、ブレードBの少なくとも一箇所のエッジ部BEが常に含まれる領域あるいは範囲に設定される。
 そして、ユーザが所定のコマンドをPC12に入力すると、PC12の制御部31が、ROMから入力されたコマンドに対応する検査処理プログラムを読み出して実行することにより、図7のブレード検査処理が実行される。
 図7に示すように、制御部31は、補正テーブル作成処理を実行し(S1)、補正テーブル作成処理の後、ブレード検査処理を実行する(S2)。 
 S1の処理を説明する前に、ボアスコープ11Bにおいて得られる画像について説明する。
 図8は、画像取得領域IPAのライン画像IPAiの時間経過による変化を説明するための図である。図8の上側には、ブレード群の一部がに示され、下側には、ボアスコープ11Bにおいて得られる画像取得領域IPAのライン画像IPAiから生成された回転角度情報画像RSが示されている。
 図8の回転角度情報画像RSの縦軸は、上から下に向かって経過する時間tに対応し、横軸は、ライン画像IPAiの各画素の位置に対応する。ここでは、ライン画像IPAiは、左端の画素P1から右端の画素Pmaxまでの複数の画素を有している。 
 回転角度情報画像RSは、エンジンEの回転軸ARが1回転する時間Tにおけるライン画像IPAiに含まれるエッジ部BEのエッジ位置の変化を示している。具体的には、エッジ部BEのエッジ位置は、エッジ画素としての画素EPで示されている。エッジ部BEに対応するエッジ画素である画素EPの決定は、例えば、隣接する2つの画素の画素値を比較し、画素値の差が所定値以上であるか否かによって行うことができる。
 すなわち、回転角度情報画像RSにおけるライン画像IPAiは、検出されたエッジ部BEの画素EPの位置を示す画素情報で置き換えられ、上述した回転状態記録部34は、エッジ部BEの画素EPを含むライン画像IPAiを時間tの時間軸方向に沿って重ね合わせて、図8に示すような回転角度情報画像RSを生成し、記憶部34aに記録する。
 上述したように、ライン画像IPAiは、少なくとも1つのエッジ部BEに対応する画素EPを常に含むように、ボアスコープ11Bは設置される。さらに、各カメラ部23,26は、ブレードBの移動速度よりも十分に速い周期ΔTIで画像を連続的に取得する。よって、ブレード群が図5において矢印Aで示す回転方向に回転すると、ライン画像IPAi上におけるエッジ部BEの画素EPの位置は、図8に示すように、時間tの経過と共に変化する。
 図8の場合、時刻t1のときにあったエッジ部BEの画素EPは、時刻t2では、右側に移動している。時刻t1には、エッジ部BEの画素EPが一つであったが、時刻t2では、次のエッジ部BEの画素EPが含まれている。図8では、時刻taでは、エッジ部BEの画素EPは、ライン画像IPAi中に1つ存在するが、時刻tbでは、エッジ部BEの画素EPは、ライン画像IPAi中に2つ存在する。
 すなわち、回転軸ARの回転に応じて、画像取得領域IPAにおけるエッジ部BEに対応する画素EPの位置は、図8において実線で示すように移動する。 
 回転軸ARが1回転するのに掛かる時間をTとし、あるブレード群に含まれるブレードBの数をNとすると、そのブレード群に含まれるブレードBのブレード画像の出現周期である周期ΔTBは、次の式(1)で表される。
     ΔTB=T/N            ・・・(1)
 よって、ブレードBのエッジ部BEの出現周期も、ΔTBとなる。ΔTBに対応する回転軸ARの角度変化ΔθBは、次の式(2)で表される。
     ΔθB=360(度)/N       ・・・(2)
 エッジ部BEの位置は、回転軸ARの回転角度位置に対応するので、ライン画像IPAi中のエッジ部BEに対応する画素EPの位置も、回転軸ARの回転角度位置に対応する。
 図9は、ライン画像IPAi上のエッジ部BEの画素EPの位置と回転軸ARの回転角度の角度変化量Δθとの対応関係を示す補正曲線CCを示す図である。図9の横軸は、ライン画像IPAi上のエッジ部BEの画素EPの位置に対応し、縦軸は、回転軸ARの回転角度の角度変化量Δθに対応する。補正曲線CCの情報が、補正テーブルCTとして、補正テーブル記憶部36に記憶される。なお、補正テーブルCTは、後述するように、検査処理において作成される。
 図9に示す補正曲線CCは、ボアスコープ11Bにおける、観察窓24及び光学部材25を含む光学系における収差、画像取得領域IPAの一次元直線の、ブレードBの移動方向に対する角度、などによって決定される。
 図9に示すように、回転軸ARの回転に応じて、時間tの経過と共に、エッジ部BEの画素EPの位置が画素P1から画素Pmaxの位置の間で移動したとき、隣り合うエッジ部BE間の回転軸AR回りの角度変化量Δθは、上述したΔθBである。また、上述したように、エッジ部BEの出現周期は、ΔTBである。
 よって、ライン画像IPAi上の画素EPが同じ位置に出現する周期(サイクル数)(あるいは回数を、最初の時刻t1後からカウントし、かつ各周期内におけるライン画像IPAi上の画素EPの位置に基づいて角度変化量Δθαを算出すれば、回転軸ARの回転中の時刻t1からの回転角度θを求めることができる。
 例えば、画素EPの出現回数をMとし、次の周期ΔTB内における角度変化量をΔθαとすると、回転軸ARの時刻t1からの回転角度θは、次の式(3)で表される。 
    θ=ΔθB×M+Δθα          ・・・(3)
 また、回転軸ARの時刻t1からの経過時間Ttは、周期ΔTB内における時間変化量をΔTαとすると、次の式(4)で表される。
    Tt=ΔTB×M+ΔTα          ・・・(4)
 以上のように、ライン画像IPAi上の画素EPの位置の情報から、回転軸ARの回転開始からの回転角度θと経過時間Ttを算出することができる。
 ところが、上述したように、回転軸ARの回転には、ギアボックスのバックラッシュ等により回転むらがある。そのため、図8では図示していないが、エッジ部BEに対応するライン画像IPAi上の画素EPの位置の移動にも、回転軸ARの回転むらに応じてむらが生じ、得られるライン画像IPAiに含まれるブレードBの撮影範囲は、回転軸ARの回転角度と対応しない。
 そこで、ターニングツールTを用いて回転軸ARを定速回転させながら連続して撮影して得られる複数のライン画像IPAiから、ライン画像IPAi中のエッジ部BEの各画素EPの位置と、回転軸ARの軸回りの回転角との対応付ける対応テーブルである補正テーブルの作成が行われる(S1)。この対応テーブルは、回転むらのある画像信号から回転むらのない画像信号を生成するために複数のボアスコープ11Aからの画像信号を再構築するために用いられる。対応テーブルは、再構築時に、画像記録部33に記録されたブレード画像に対して再配置、削除などの補正をするために用いられるので、以下、補正テーブルという。
(補正テーブルの作成処理)
 図10は、回転角度情報画像RSにおける回転軸ARの回転むらを説明するための図である。回転軸ARの回転にむらがなければ、ライン画像IPAiに含まれるエッジ部BEに対応する画素EPの位置は、回転角度情報画像RSにおいて図10において二点鎖線で示す曲線EPiに沿って変化する。これに対して、回転軸ARの回転にむらがある場合、ライン画像IPAiに含まれるエッジ部BEに対応する画素EPの位置は、例えば図10において実線で示すように、変化する。
 図8は回転軸ARに回転むらがないときの回転角度情報画像RSを示しており、上述したように、回転軸ARの回転むらが無ければ、ブレードBのエッジ部BEの出現周期は上述したΔTBで一定周期となる。しかし、回転軸ARの回転にはむらがあるため、図10に示すように、画素P1におけるエッジ部BEの出現した時刻ta1とta2間の周期ΔT1、及び画素P1におけるエッジ部BEの出現した時刻ta2とta3間の周期ΔT2は、周期ΔTBと一致しない。
 図10に示すような回転むらがあると、ボアスコープ11Aで得られる各ブレード群の画像が、全体的にあるいは部分的に、ブレードBの回転方向に沿って伸張されたり、あるいは圧縮されたりしてしまい、画像記録部33では、受信して得られる複数のブレードBの画像は、正確に生成されない。
 そこで、本実施の形態では、補正テーブルCTと回転むらのある回転角度情報画像RSとを用いて、ボアスコープ11Aにより得られたブレード画像は補正されて再構築される。図7のS1では、この補正テーブルCTの作成が行われる。ライン画像IPAi上のエッジ部BEの画素の位置と回転軸ARの回転角度との対応を示す対応情報である補正テーブルCTは、検査対象を実際に回転させて得られたライン画像IPAiに基づいて作成される。
 図11は、補正テーブルの作成処理の流れの例を示すフローチャートである。 
 まず、制御部31は、ターニングツール駆動部37を制御して、ターニングツールTを駆動して回転軸ARを定速回転させて、ボアスコープ11Bから画像取得領域IPAのライン画像IPAiを周期ΔTIで取得して、回転角度情報画像RSを作成して記憶部34aに記録する回転角度情報画像作成処理を実行する(S11)。
 S11により、図10に示すようなライン画像IPAiを積み重ねて形成された回転角度情報画像RSが得られる。回転角度情報画像RSは、回転軸ARの回転むらすなわち回転角度むらの情報を含む画像である。回転角度情報画像作成処理では、例えば、回転軸ARを所定時間回転させて、エッジ部BEに対応する画素EPの曲線が複数生成される。
 次に、制御部31は、回転角度情報画像RSに含まれる、所定の特徴点であるエッジ部BEの画素EPの点についての所定の統計処理を施して、補正曲線CLを生成する(S12)。
 制御部31は、回転角度情報画像RS中の画素EPの軌跡を、所定の画素位置を一致させて重ね合わせた画像を生成する。そして、制御部31は、所定の特徴点である画素EPの点から、平均的な点、例えば最も重なりの多かった点、を算出して求め、その求めた点から、補正曲線CLを生成する。
 図12は、所定の特徴点である画素EPの点からなる複数の曲線から、最も重なりの多かった点を求め、その求めた点の軌跡からなる補正曲線CLを示す図である。 
 図12に示すように、画素P1の位置を一致させた画素EPの複数の曲線(点線で示す)の最も重なりの多かった点の軌跡が、補正曲線CLとしてS12において統計処理により求められる。
 以上のように、S12において生成される重ね合わせ画像は、ライン画像IPAiの特徴量が存在する所定の画素位置(P1)を一致させて画素EPの軌跡を重ね合わせた画像であり、その特徴量は、ライン画像IPAi中のエッジを示す特徴量である。
 補正曲線CLは、図9に示した、ライン画像IPAi上のエッジ部BEの画素EPの位置と回転軸ARの回転角度の角度変化量Δθとの対応関係を示す補正曲線CCを時間軸の向きを逆にして反転した曲線であり、ライン画像IPAi上の画素EPの位置の変化を示す位置変化情報である。
 制御部31は、S12で求めた補正曲線CLから、図10に示すような補正テーブルCTの補正テーブルデータを生成して、補正テーブル記憶部36に記憶する補正テーブルデータ生成処理を実行する(S13)。
 以上のように、ターニングツールTを用いてエンジンEの回転軸ARを定速回転させながら、回転むらのある画素EPの複数の曲線を取得して記録し、その記録された画素EPの曲線を平均化して得られた軌跡から、定速回転状態における補正曲線CLを推定して、その補正曲線CLから補正テーブルデータが生成される。
 なお、図12において、図9におけるΔTBの位置は、画素P1を起点する画素EPの軌跡がライン画像IPAiの画素P1からPmaxの範囲内において移動中に、画素EPの軌跡において、次のエッジ部BEの画素EPが画素P1の位置に出現した時刻の平均時刻の位置に設定される。
 なお、ライン画像IPAiの範囲を複数の領域に分割して、分割された領域毎に、最も重なりの多かった点の軌跡を求め、求めた複数の軌跡をつなげて、補正テーブルデータを求めるようにしてもよい。
 図13は、ライン画像IPAiの範囲が複数の領域に分割された状態を示す図である。図13に示すように、画像取得領域IPAは、画素PAとPBの2つの位置で分割され、3つの領域に分けられている。その分割された領域毎に、最も重なりの多かった点の軌跡が求められる。なお、ここでは、画像取得領域IPAは、3つの領域に分けられているが、2つあるいは4つ以上に分けてもよい。
 図14は、分割された領域毎に、重ね合わせた画素EPの複数の曲線から、平均的な点、例えば最も重なりの多かった点、の軌跡を求める方法を説明するための図である。 
 図14に示すように、第1の領域(P1から(PA-1)の画素の範囲)では、画素P1の位置が一致した複数の曲線(点線で示す)の最も重なりの多かった点の軌跡CL1が、統計処理により求められる。第2の領域(PAから(PB-1)の画素の範囲)では、画素PAの位置が一致した複数の曲線(点線で示す)の最も重なりの多かった点の軌跡CL2が、統計処理により求められる。第3の領域(PBからPmaxの画素の範囲)では、画素PBの位置が一致した複数の曲線(点線で示す)の最も重なりの多かった点の軌跡CL3が、統計処理により求められる。
 各領域で求められた3つの軌跡CL1,CL2,CL3を連続するように端点同士を繋いて、補正曲線CLが求められる。3つの軌跡CL1,CL2,CL3を繋げて生成された補正曲線CCから、補正テーブルデータが生成される(S13)。
 なお、図14においても、図9におけるΔTBの位置は、画素P1を起点する画素EPの軌跡がライン画像IPAiの画素P1からPmaxの範囲内において移動中に、画素EPの軌跡において、次のエッジ部BEの画素EPが画素P1の位置に出現した時刻の平均時刻の位置に設定される。
 以上のようにして、補正テーブル記憶部36に記憶される補正テーブルCTの補正テーブルデータが生成される。 
 なお、補正テーブルデータの生成方法の変形例として、上述したような統計処理を行わずに、画素EPを含まないライン画像IPAiの画像データを周期ΔTB毎に重ね合わせて、その重ね合わせた画像の各画素位置の輝度分布から補正曲線CCを求めるようにしてもよい。
 図15は、変形例に係る、補正テーブルCTの作成処理の流れの例を示すフローチャートである。 
 まず、制御部31は、ターニングツール駆動部37を制御して、ターニングツールTを駆動して回転軸ARを定速回転させて、ボアスコープ11Bから画像取得領域IPAのライン画像IPAiを周期ΔTI毎に取得して所定の周期ΔTB毎の周期画像を記録する周期画像記録処理を実行する(S21)。周期ΔTB毎に記録される周期画像は、周期ΔTBの範囲の画像データを含む、周期ΔTBの範囲よりも広い範囲の画像である。所定の周期ΔTBは、上述した式(1)により決定することができる。
 次に、制御部31は、所定の周期ΔTB毎の周期画像を時間tに沿って所定の周期ΔTBで分割し、分割された複数の周期画像を、周期ΔTB毎重ね合わせ、各画素位置における最大輝度の時刻から補正曲線CLを生成する(S22)。すなわち、その重ね合わせ画像は、画素値の複数の画像を所定の周期ΔTB毎に抽出して重ね合わせた画像である。そして、各画素位置における最大輝度の時刻から生成された補正曲線CLも、画素EPの平均的な時刻から生成された曲線ということができる。
 図16は、S22において、所定の周期ΔTB毎に切り出した画素データに含まれる最大輝度値に基づく補正曲線CLを生成する方法を説明するための図である。 
 図16に示すように、画素の位置毎の最大輝度値となる時刻の位置をつなげるようにして補正曲線CLは、生成される。図16では、画素P1,PA,PB,Pmaxの4つの画素位置の各々における輝度分布(点線で示す)の頂点に対応する時刻の位置が最大輝度の時刻として判定されている。
 図16においても、図9におけるΔTBの位置は、画素P1を起点する画素EPの軌跡がライン画像IPAiの範囲内において移動中に、画素EPの軌跡において、最大輝度値の画素EPが画素P1の位置に出現した時刻の平均時刻の位置に設定される。
 S22の後、補正テーブルデータ生成処理が実行される(S23)。S23の処理は、S13の処理と同じである。 
 よって、本変形例によっても、補正テーブル記憶部36に記憶される補正テーブルCTの補正テーブルデータを生成することができる。
 以上のように、PC12は、補正情報である補正テーブルCTを生成する補正情報生成装置である。上述したS12、S22の処理が、ラインセンサ26aにおいて取得されたライン画像IPAiを時間経過に沿って並べて、エッジ部などの画像の所定の特徴量を有する画素あるいは所定の画素値を有する画素のライン画像IPAi上の位置変化を示す位置変化情報を抽出する位置変化情報抽出部を構成する。
 そして、S12、S22の位置変化情報抽出部は、取得した複数の画像ここではライン画像IPAiを時間経過に沿って重ね合わせた重ね合わせ画像を生成し、その重ね合わせ画像から画像の特徴量を有する画素あるいは所定の画素値を有する画素の、画像上の位置変化情報である補正曲線CLを抽出する。位置変化情報は、重ね合わせ画像における画像の特徴量を有する画素あるいは画素値の画像における位置の時間経過に伴う軌跡に基づいて生成される補正曲線の情報である。
 さらに、上述したS13、S23の処理が、S12、S22で抽出された位置変化情報から、ライン画像IPAi中の画素の位置と検査対象であるブレード群の回転角度の対応情報を生成する対応情報生成部を構成する。S13、S23の対応情報生成部は、対応情報として画像中の画素の位置と検査対象の回転角度の対応を示す対応テーブルを生成する。
 図7に戻り、補正テーブルの作成後、制御部31は、ブレード検査処理を実行する(S2)。図17は、S2のブレード検査処理の流れの例を示すフローチャートである。 
 制御部31は、トリガー発生部32を制御して、トリガー信号を所定の周期ΔTIで複数のボアスコープ11Aと11Bに同時に供給して、複数のボアスコープ11Aにより各ブレード群を撮影し、かつボアスコープ11Bにより画像取得領域IPAを撮影する(S31)。S31の処理は、画像記録部33と回転状態記録部34において実行される。
 その結果、各ブレード群の画像すなわち各ブレードBのライン画像BI(以下ブレードライン画像BIという)は、画像記録部33に記録される。同時に、回転状態記録部34は、ボアスコープ11Bにより画像取得領域IPAを撮影して、回転角度情報画像RSを生成する。
 図18は、画像記録部33に記録された複数のブレードライン画像BIと、回転状態記録部34に記録された回転角度情報画像RSとの対応を示す図である。図18では、第1のアクセスポートAP1と第2のアクセスポートAP2においてボアスコープ11Aにより得られた2つのブレード画像BG1とBG2と、ボアスコープ11B用のアクセスポートにおいてボアスコープ11Bにより回転角度情報画像RSとが示されている。
 図18では、時間tの経過は、各ブレードライン画像BIと回転角度情報画像RSとにおいて一致している。すなわち、図18において、縦軸方向において同じ位置の各ブレードライン画像BIと回転角度情報画像RSの画像データは、同じタイミングで撮影されて得られた画像データである。例えば、時刻tjにおける、各ブレードライン画像BIの画像データBG1j,BG2j、・・と回転角度情報画像RSの画像データRSjは、同じタイミングで撮影された画像データである。
 図18では、回転角度情報画像RS中、時間tの経過における期間tpaにおいては、回転軸ARの回転が遅くなっており、二点鎖線で示す回転むらのない場合よりも時間的に遅れて、画素EPが出現している。
 期間tpbの後半においては、回転軸ARの回転が速くなっており、二点鎖線で示す回転むらのない場合よりも時間的に早めに画素EPが出現している。 
 また、期間tpcでは、回転軸ARの回転が停止しており、同じ画素位置に画素EPが連続して存在している。
 期間tpdにおいては、回転軸ARの回転が一時的に反転しており、画素EPの位置が、一次的に画素P1側に向かって移動して、その後戻っていることが示されている。 
 以上のように、回転むらには、いろいろな場合があるが、縦軸方向において同じ位置の複数のブレードライン画像BIと回転角度情報画像RSは、同じタイミングで撮影して得られた画像データを時間経過に沿って並べた時系列画像情報である。
 図9に示すように、各エッジ部BEに対応する画素EPの位置は、周期ΔTB内における角度変化量Δθαと対応している。図9の補正曲線CCに対応する補正テーブルCTの情報は、S13(あるいはS23)において作成され、補正テーブル記憶部36に記憶されている。
 よって、制御部31は、S31において作成された回転角度情報画像RSと、S13(あるいはS23)において作成された補正テーブルCTとを用いて、S31において作成された複数のボアスコープ11Aにより撮影して得られた各ブレード群のブレード画像を再構築する(S32)。
 具体的には、補正テーブル記憶部36に記憶されている補正テーブルCTは、図8に示すような回転むらのない場合の補正曲線CCに対応するテーブルである。制御部31は、その補正テーブルCTに基づいて、周期ΔTB毎に、補正曲線CCの補正テーブルCTを配置して、図8に示すような回転むらのない場合の画素EPの軌跡を示す回転角度情報画像RSRを作成する。そして、制御部31は、S31で得られた各ブレード群の画像データを、回転角度情報画像RSR中の各画像データ中の画素EPの位置が一致する画像データの位置に、再配置(移動、削除、複製、補間などを含む)するようにして、ブレード画像の再構築を行う。
 例えば、図18において点線で示すように、時刻tkにおける各ブレード画像BG1,BG2,・・・の画像データBG1k,BG2K,・・・は、回転むらの無いときの本来有るべき時刻の位置に移動される。
 すなわち、S31において得られた回転角度情報画像RSと、補正テーブル記憶部36に記憶されている補正テーブルCTとに基づいて、各ブレード画像BG 1,BG2,・・・が一定速度で回転しているときの画像になるように、S31において得られた各ブレード画像BG 1,BG2,・・・中の画像データを移動等させたり、削除したり等して、時間経過に伴う角度変化が一定になるように各ブレード画像BG 1,BG2,・・・が再構築される。
 以上のように、S32の処理が、ラインセンサ26aにより取得された検査対象の画像を時間経過に沿って並べた時系列画像情報と、その検査対象の画像中の所定の特徴量あるいは所定の輝度値を有する画素の位置と検査対象の回転角度量の対応情報である補正テーブルCTとに基づいて、ラインセンサ23aにより取得された検査対象の画像の各画像データを検査対象の回転角度に合わせて再構築する画像データ再構築部を構成する。その対応情報における画素は、複数のブレードBの各画像における所定の特徴量あるいは所定の輝度値を有する画素である。そして、S32の画像データ再構築部は、対応情報である補正テーブルCTに基づいて、ボアスコープ11Aにより得られた検査対象画像の各画像データを所定の時間間隔である周期ΔTI毎に配置することにより再構築する。
 図19は、ブレード画像の再構築後の、画像記録部33に記録された複数のブレードライン画像BIと、回転角度情報画像RSとの対応を示す図である。
 S23における再構築処理により、期間tpa内の各ブレードライン画像BIの画像データBG1j,BG2j、・・・は、間引きなどにより削除されて、期間tpaは短くなっている。期間tpb内の各ブレードライン画像BIの画像データBG1j,BG2j、・・・は、複製、補間などにより追加されて、期間tpbは長くなっている。
 また、期間tpc内の各ブレードライン画像BIの画像データBG1j,BG2j、・・・は、停止している間の画像データの削除等がされている。その結果、図18では、ブレードBの一部の欠け部が、回転軸ARの回転の停止により伸びて大きいが、図19では、回転の停止期間の画像データが削除されて伸びのない大きさに修正されている。
 期間tpd内の各ブレードライン画像BIの画像データBG1j,BG2j、・・・は、逆回転している間の画像データの削除等がされている。 
 言い換えれば、再構築されたブレード画像の各画像データは、所定の時間間隔で撮影して得られた各ブレードライン画像BIの画像データBG1j,BG2j、・・・を一定の時間間隔になるように並び替えて再配置した画像データである。
 その結果、S32により再構築された各ブレードライン画像BIの画像データBG1j,BG2j、・・・は、回転むらのない一定の回転速度で回転したときにおいて得られた画像データとなる。
 制御部31は、S32で得られた各ブレードライン画像BIの画像データBG1j,BG2j、・・・に対して所定の欠陥処理を実行する(S33)。欠陥処理では、例えば、画像処理により、欠陥の有無の判定、欠陥の種類の判定、欠陥のサイズの測定などが行われる。
 図20は、上述した実施の形態の内視鏡システム1により得られるブレード群の画像を説明するための図である。 
 図20において、上段のブレード群の画像の一部は、補正テーブルCTを用いて再構築される前のブレード群の画像BGAを示し、下段のブレード群の画像の一部は、補正テーブルCTにより再構築された後のブレード群の画像BGBを示している。
 S22で再構築される前のブレード群の画像BGAでは、各ブレードBの回転方向の幅は、回転軸ARの回転むらにより異なっているが、S22で再構築された後のブレード群の画像BGBでは、各ブレードBの回転方向の幅は、同じになっている。
 以上のように、上述した実施の形態によれば、検査対象を回転させて得られる内視鏡画像に、検査対象の回転むらの影響のない内視鏡画像を取得することができる内視鏡システムを提供することができる。
 さらに、上述した実施の形態によれば、検査対象の回転むらによる影響のない検査画像を取得するための補正情報を生成する補正情報生成装置及び回転する検査対象の画像補正のための補正情報生成方法を提供することができる。
 なお、上述した実施の形態では、補正曲線CCをエンジンEを実際に回転させて算出して、補正テーブルCTを作成しているが、エンジンEの設計情報あるいは仕様情報から補正テーブルを算出して予め用意して補正テーブル記憶部36に記憶しておき、その補正テーブルCTを用いるようにしてもよい。すなわち、ライン画像IPAi中の所定の特徴量あるいは所定の輝度値を有する画素の位置と検査対象の回転角度量の対応を示す対応情報は、検査対象についての設計情報等に基づいて予め設定された情報でもよい。
 さらになお、上述した例では、ボアスコープ11Bは、ブレードBのエッジ部BEを撮影するようにしているが、ブレードBの根元の回転軸AR等に所定のマークを設けて、そのマークを撮影することにより、補正テーブルを作成するようにしてもよい。ブレードBの根元の回転軸ARの部分等は、エンジンEの使用によって損傷しないので、より確実に回転状態の情報を取得することができる。
 本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
 本出願は、2015年7月24日に日本国に出願された特願2015-146718号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (6)

  1.  回転可能な検査対象の回転方向に直交する方向に沿った前記検査対象の第1の検査対象画像を、前記検査対象内に挿入された内視鏡により前記検査対象を所定の時間間隔で撮像して複数取得する第1の画像取得部と、
     前記検査対象の前記回転方向に沿った前記検査対象の第2の検査対象画像を、前記第1の検査対象画像の取得タイミングと同期して前記所定の時間間隔で前記検査対象を撮像して複数取得する第2の画像取得部と、
     取得された前記第2の検査対象画像を時間経過に沿って並べた時系列画像情報と、前記第2の検査対象画像中の所定の特徴量あるいは所定の輝度値を有する画素の位置と前記検査対象の回転角度量の対応情報とに基づいて、前記複数の第1の検査対象画像の各画像データを再構築する画像データ再構築部と、を有することを特徴とする内視鏡システム。
  2.  前記検査対象は、同一形状の複数の検査部位を含み、
     前記対応情報における前記画素は、前記複数の検査部位の各画像における前記所定の特徴量あるいは前記所定の輝度値を有する前記画素であることを特徴とする請求項1に記載の内視鏡システム。
  3.  前記対応情報は、前記検査対象についての情報に基づいて予め設定された情報であることを特徴とする請求項1に記載の内視鏡システム。
  4.  前記対応情報は、前記検査対象を回転させて得られた前記第2の検査対象画像に基づいて作成された情報であることを特徴とする請求項1に記載の内視鏡システム。
  5.  前記画像データ再構築部は、前記対応情報に基づいて、前記第1の検査対象画像の前記各画像データを前記所定の時間間隔毎に配置することにより再構築することを特徴とする請求項1に記載の内視鏡システム。
  6.  回転可能な検査対象の回転方向に直交する方向に沿った前記検査対象の第1の検査対象画像を、前記検査対象内に挿入された内視鏡により前記検査対象を所定の時間間隔で撮像して複数取得し、
     前記検査対象の前記回転方向に沿った前記検査対象の第2の検査対象画像を、前記第1の検査対象画像の取得タイミングと同期して前記所定の時間間隔で前記検査対象を撮像して複数取得し、
     取得された前記第2の検査対象画像を時間経過に沿って並べた時系列画像情報と、前記第2の検査対象画像中の所定の特徴量あるいは所定の輝度値を有する画素の位置と前記検査対象の回転角度量の対応情報に基づいて、前記複数の第1の検査対象画像の各画像データを再構築する、ことを特徴とする内視鏡画像の生成方法。
PCT/JP2016/065894 2015-07-24 2016-05-30 内視鏡システム及び内視鏡画像の生成方法 WO2017018044A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16830149.7A EP3327483B1 (en) 2015-07-24 2016-05-30 Endoscope system with means for imaging a rotating target and with an image data reconstruction unit and an associated imaging method
JP2017531053A JP6674464B2 (ja) 2015-07-24 2016-05-30 内視鏡システム及び内視鏡画像の生成方法
US15/876,520 US10504262B2 (en) 2015-07-24 2018-01-22 Endoscope system and endoscope image generation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-146718 2015-07-24
JP2015146718 2015-07-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/876,520 Continuation US10504262B2 (en) 2015-07-24 2018-01-22 Endoscope system and endoscope image generation method

Publications (1)

Publication Number Publication Date
WO2017018044A1 true WO2017018044A1 (ja) 2017-02-02

Family

ID=57885593

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/065894 WO2017018044A1 (ja) 2015-07-24 2016-05-30 内視鏡システム及び内視鏡画像の生成方法

Country Status (4)

Country Link
US (1) US10504262B2 (ja)
EP (1) EP3327483B1 (ja)
JP (1) JP6674464B2 (ja)
WO (1) WO2017018044A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017057021A1 (ja) * 2015-09-28 2017-04-06 オリンパス株式会社 画像解析装置、画像解析システム、画像解析装置の作動方法
JP6988592B2 (ja) * 2018-03-13 2022-01-05 オムロン株式会社 画像検査装置、画像検査方法及び画像検査プログラム
FR3082313B1 (fr) * 2018-06-06 2020-08-28 Safran Aircraft Engines Procede et systeme de detection de la position angulaire des aubes d'une roue a aubes d'une turbomachine
US20190376411A1 (en) * 2018-06-11 2019-12-12 General Electric Company System and method for turbomachinery blade diagnostics via continuous markings
US10704413B2 (en) * 2018-09-06 2020-07-07 Raytheon Technologies Corporation Systems and methods for variable alignment aerodynamic probes
CN111458336B (zh) * 2019-01-22 2023-07-21 迷你士制作有限公司 全自动内面内视检查系统
CN111764974B (zh) * 2020-07-08 2023-02-17 山东核电有限公司 一种基于矩阵表的ap1000汽轮机停机保护逻辑的测试方法
US11516406B2 (en) 2020-10-28 2022-11-29 Baker Hughes Oilfield Operations Llc Adaptive borescope inspection
US20240192831A1 (en) * 2022-12-12 2024-06-13 Baker Hughes Holdings Llc Merge menu directed inspections from multiple borescope inspections into a single inspection and report

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07113749A (ja) * 1993-10-18 1995-05-02 Olympus Optical Co Ltd タービンブレード検査システム
US20140253715A1 (en) * 2013-03-09 2014-09-11 Olympus Corporation Photography system and photography method
JP2014215395A (ja) * 2013-04-24 2014-11-17 オリンパス株式会社 内視鏡システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050036046A1 (en) * 2003-08-14 2005-02-17 Nokia Corporation Method of or device for processing image data, a processed image data format, and a method of or device for displaying at least one image from the processed image data
US7619728B2 (en) * 2007-07-26 2009-11-17 General Electric Company Methods and systems for in-situ machinery inspection
EP2284797B1 (en) * 2009-07-16 2018-09-05 Olympus Corporation Image processing apparatus and image processing method
US8675950B2 (en) * 2009-07-31 2014-03-18 Olympus Corporation Image processing apparatus and image processing method
US8791998B2 (en) * 2009-07-31 2014-07-29 Olympus Corporation Image processing apparatus and method for displaying images
DE102011114541A1 (de) * 2011-09-30 2013-04-04 Lufthansa Technik Ag Endoskopiesystem und korrespondierendesVerfahren zur Untersuchung von Gasturbinen
US8781209B2 (en) * 2011-11-03 2014-07-15 United Technologies Corporation System and method for data-driven automated borescope inspection
US8761490B2 (en) * 2011-11-03 2014-06-24 United Technologies Corporation System and method for automated borescope inspection user interface
US8744166B2 (en) * 2011-11-03 2014-06-03 United Technologies Corporation System and method for multiple simultaneous automated defect detection
US8792705B2 (en) * 2011-11-03 2014-07-29 United Technologies Corporation System and method for automated defect detection utilizing prior data
US9471057B2 (en) * 2011-11-09 2016-10-18 United Technologies Corporation Method and system for position control based on automated defect detection feedback
US8781210B2 (en) * 2011-11-09 2014-07-15 United Technologies Corporation Method and system for automated defect detection
US8896661B2 (en) * 2012-01-31 2014-11-25 Siemens Energy, Inc. System and method for online inspection of turbines including aspheric lens
US9154743B2 (en) * 2012-01-31 2015-10-06 Siemens Energy, Inc. System and method for optical inspection of off-line industrial gas turbines and other power generation machinery while in turning gear mode
US9297720B2 (en) * 2012-12-21 2016-03-29 United Technologies Corporation Gas turbine engine vane embedded beam interrupt optical tip-timing probe system
US9588332B2 (en) * 2013-03-13 2017-03-07 Olympus Corporation Photography system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07113749A (ja) * 1993-10-18 1995-05-02 Olympus Optical Co Ltd タービンブレード検査システム
US20140253715A1 (en) * 2013-03-09 2014-09-11 Olympus Corporation Photography system and photography method
JP2014215395A (ja) * 2013-04-24 2014-11-17 オリンパス株式会社 内視鏡システム

Also Published As

Publication number Publication date
EP3327483B1 (en) 2020-05-20
JP6674464B2 (ja) 2020-04-01
US10504262B2 (en) 2019-12-10
EP3327483A1 (en) 2018-05-30
JPWO2017018044A1 (ja) 2018-05-10
EP3327483A4 (en) 2019-04-10
US20180158223A1 (en) 2018-06-07

Similar Documents

Publication Publication Date Title
WO2017018044A1 (ja) 内視鏡システム及び内視鏡画像の生成方法
WO2017018045A1 (ja) 補正情報生成装置及び回転する検査対象の画像補正のための補正情報生成方法
US11536670B2 (en) System and method for engine inspection
CN106442569B (zh) 孔检查装置
US9709463B2 (en) Method and system for surface profile inspection of off-line industrial gas turbines and other power generation machinery
US9778141B2 (en) Video inspection system with deformable, self-supporting deployment tether
JP2016519968A (ja) 生体内マルチカメラカプセルからの画像再構築
JPWO2007139187A1 (ja) 3次元画像構築装置及び方法並びにプログラム
WO2013047215A1 (ja) 内視鏡用画像処理装置、内視鏡装置及び画像処理方法
JP2010112811A (ja) 原木の3次元形状測定装置および方法
FR2920085A1 (fr) Systeme d'imagerie pour l'observation tridimensionnelle d'un champ operatoire
US11995815B2 (en) Method and device for inspecting hard-to-reach components
CN109512402B (zh) 近距离多维度的精准医用人体红外热成像的方法
US9813674B2 (en) Photography system and photography method
WO2017158896A1 (ja) 画像処理装置、画像処理システム、画像処理装置の作動方法
US9588332B2 (en) Photography system
JP6238555B2 (ja) 内視鏡システム
US9366600B2 (en) Linear array to image rotating turbine components
JP2016209460A (ja) 内視鏡システム
JPWO2022202520A5 (ja)
JP7007525B1 (ja) ボアスコープ検査方法及び装置
KR101506393B1 (ko) 내시경 시스템 및 이를 이용한 영상 획득 방법
RU2021112071A (ru) Система и способ измерения профиля детали
JP2003315024A (ja) 孔内面観察方法及び孔内面観察装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16830149

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017531053

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016830149

Country of ref document: EP