WO2021014514A1 - 航空機検査支援装置および航空機検査支援方法 - Google Patents

航空機検査支援装置および航空機検査支援方法 Download PDF

Info

Publication number
WO2021014514A1
WO2021014514A1 PCT/JP2019/028553 JP2019028553W WO2021014514A1 WO 2021014514 A1 WO2021014514 A1 WO 2021014514A1 JP 2019028553 W JP2019028553 W JP 2019028553W WO 2021014514 A1 WO2021014514 A1 WO 2021014514A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection
dimensional model
aircraft
unit
image
Prior art date
Application number
PCT/JP2019/028553
Other languages
English (en)
French (fr)
Inventor
洪爾 森田
堀川　浩司
寛 八木
Original Assignee
株式会社島津製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社島津製作所 filed Critical 株式会社島津製作所
Priority to US17/628,143 priority Critical patent/US20220281617A1/en
Priority to PCT/JP2019/028553 priority patent/WO2021014514A1/ja
Priority to JP2021534872A priority patent/JP7188596B2/ja
Publication of WO2021014514A1 publication Critical patent/WO2021014514A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/60—Testing or inspecting aircraft components or systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an aircraft inspection support device and an aircraft inspection support method.
  • an aircraft inspection support device for inspecting an inspection object has been known.
  • Such an aircraft inspection support device is disclosed in, for example, Japanese Patent No. 6415034.
  • Japanese Patent No. 6415034 discloses an aircraft inspection support device for inspecting damage caused to an aircraft.
  • an image of a predetermined area of an aircraft is acquired, and by comparing the acquired image with a reference image, an abnormality occurs in the acquired image. Judge whether or not. If an abnormality is found in the acquired image, a detailed inspection of the damage is performed by non-destructive inspection such as near infrared spectroscopy.
  • non-destructive inspection such as near infrared spectroscopy.
  • the orientation of the non-destructive inspection device is adjusted based on the azimuth and elevation angles (pan angle and tilt angle) of the camera when the image is acquired. The configuration to be used is disclosed.
  • Japanese Patent No. 6415034 specifies the inspection position using the design data of the aircraft.
  • Japanese Patent No. 6415034 discloses a configuration in which a digital record that correlates an inspection position on design data, an inspection result, and image data is stored in a computer memory.
  • the inspection position is specified based on the design data as described above.
  • parts such as rivets, which are parts for joining a plurality of plate materials, in which thousands to tens of thousands are used per aircraft are described in detail one by one in the design data. It may not be remembered in.
  • the shape of a part is changed with respect to the time of manufacture, such as when repairs are performed during maintenance during operation, the information of the part is not stored in the design data. In these cases, there is a problem that it becomes difficult to associate the inspection position of the inspection object with the inspection result.
  • the present invention has been made to solve the above problems, and one object of the present invention is the inspection position of the inspection object even when the inspection object is not stored in the aircraft design data. It is to provide an aircraft inspection support device and an aircraft inspection support method that can store the inspection result in association with each other.
  • the aircraft inspection support device in the first aspect of the present invention includes a three-dimensional model generation unit that generates a three-dimensional model of the shape of an aircraft by acquiring shape data from a plurality of positions.
  • the inspection position acquisition unit that acquires the inspection position of the inspection object that is a part of the aircraft, the 3D model position corresponding to the inspection position on the 3D model, and the inspection position while acquiring the inspection result of the inspection object.
  • a control unit that controls to associate and store the inspection result.
  • the aircraft inspection support method in the second aspect of the present invention inspects an inspection object which is a part of an aircraft, acquires an inspection result of the inspection object, acquires an inspection position of the inspection object, and displays it on a three-dimensional model.
  • the three-dimensional model position corresponding to the inspection position, the inspection position, and the inspection result are stored in association with each other.
  • the three-dimensional model generator that generates the three-dimensional model of the shape of the aircraft, the three-dimensional model position corresponding to the inspection position on the three-dimensional model, and the inspection position , It is provided with a control unit that controls to associate and store the inspection result.
  • a control unit that controls to associate and store the inspection result.
  • the inspection position and the inspection result can be associated and stored.
  • the inspector can confirm the inspection position in the three-dimensional model, so that the inspection position can be grasped three-dimensionally.
  • the inspection position can be grasped more intuitively as compared with the case where the inspection position is confirmed in, for example, a two-dimensional model.
  • it is possible to associate and store the inspection position and the inspection result so that by accumulating the data, it is possible to compare with the past data, and the inspection result can be compared with time. Can grasp the changes.
  • operational data such as flight time and flight cycle
  • the inspection object is inspected even when the inspection object is not stored in the aircraft design data, as in the aircraft inspection support device in the first aspect. It is possible to provide an aircraft inspection support method capable of associating and storing the inspection position of an object and the inspection result.
  • the aircraft inspection support device 100 supports the inspector 30 who performs the inspection work on the inspection object 40 in the vicinity of the inspection object 40 by using the inspection unit 10. It is configured as.
  • the inspection object 40 includes, for example, an object in which dents, chips, corrosion, cracks (cracks or cracks), wear, etc. occur in an aircraft.
  • the inspection object 40 is a rivet 41 and a plate 42 for joining a plurality of plates 42 constituting the fuselage of the aircraft. That is, the inspection object 40 is the vicinity of the rivet fastening portion and the rivet fastening portion, and the plate 42.
  • the vicinity of the inspection target 40 is, for example, a range of positions where the inspector 30 can bring the measurement probe 12 described later into contact with the inspection target 40 (position where the inspection target 40 can be accessed). Specifically, for example, it is an area including an inspection object 40 and a work position (scaffolding portion) facing the inspection object 40.
  • the distance between the plurality of rivets 41 is, for example, about 1 inch to several inches.
  • FIG. 1 shows an example in which a plurality of rivets 41 are arranged in a matrix on a plate 42. As a result, thousands to tens of thousands of rivets 41 are provided for each aircraft. Further, in this inspection, the inspector 30 inspects all the rivets 41 for the fatigue state of the rivet 41 and whether or not cracks are generated from the rivet holes in the plate 42 by using the inspection unit 10. In addition, the inspector 30 conducts the inspection while riding on a scaffolding provided along the fuselage of the aircraft, for example.
  • the aircraft inspection support device 100 is configured as an information system that exchanges information (data) with the server device 121 provided in the control room 120 by wireless communication or the like. As shown in FIG. 2, the control room 120 is provided with a communication device 122 when wirelessly communicating with the server device 121.
  • the server device 121 is configured to store (manage and store) information (images, etc.) acquired from the aircraft inspection support device 100 via the communication device 122. Further, the server device 121 has a database constructed based on the information acquired from the aircraft inspection support device 100 (one data file 80 described later), and this database has been acquired from the aircraft inspection support device 100 in the past. The information is configured so that the newly acquired information can be compared.
  • the communication device 122 is configured to perform wireless communication with the aircraft inspection support device 100.
  • the inspection unit 10 is configured to inspect the inspection object 40.
  • the inspection unit 10 is configured as a device for the inspector 30 to perform a non-destructive inspection.
  • the inspection unit 10 is configured as, for example, an eddy current flaw detector or an ultrasonic flaw detector.
  • the inspection unit 10 is a maintenance manual prepared by the aircraft manufacturer or a specific measuring instrument corresponding to the maintenance regulations of the aircraft maintenance company approved by the Civil Aviation Administration (for example, the US Federal Aviation Administration (FAA)) of each country. is there.
  • the inspection unit 10 includes an inspection unit main body 10a, an inspection unit side display unit 11, and a measurement probe 12.
  • the inspection unit main body 10a includes a box-shaped housing.
  • the inspection unit side display unit 11 is provided on one side surface of the inspection unit main body 10a. Further, the inspection unit side display unit 11 includes, for example, a liquid crystal display.
  • the inspection unit side display unit 11 is configured to display the inspection result 50 from the measurement probe 12 as the measurement information image 60.
  • the measuring probe 12 is connected to the inspection unit main body 10a via a cable 12a, and is configured to transmit the inspection result 50 to the inspection unit main body 10a.
  • the measuring probe 12 is configured to be grippable by the inspector 30, and is configured in a pen shape, for example.
  • the inspection result 50 is transmitted to the inspection unit main body 10a as a digital signal.
  • the aircraft inspection support device 100 includes an inspection unit 1 and a data processing unit 2.
  • the inspection unit 1 includes an inspection unit 10, a marker light generation unit 13, and a communication unit 14.
  • the inspection unit 1 is configured to perform a non-destructive inspection of the inspection object 40.
  • the marker light generating unit 13 is configured to irradiate or emit the marker light indicating the inspection position 53 when the inspection result 50 is confirmed and the inspection image 61 (see FIG. 6) is imaged.
  • the detailed configuration of the marker light generating unit 13 will be described later.
  • the communication unit 14 is configured to transmit to the communication unit 24 of the data processing unit 2 as a wireless signal of the inspection result 50 acquired by the inspection unit 10.
  • the measurement information image 60 is continuously transmitted to the communication unit 24 as a moving image.
  • the data processing unit 2 includes a head-mounted display (hereinafter referred to as “HMD”) 21, an imaging unit 22, a storage unit 23, a communication unit 24, and a control unit 25. Further, the storage unit 23, the communication unit 24, and the control unit 25 are arranged in the controller box 2a (see FIG. 1).
  • the data processing unit 2 is configured to perform processing for associating the inspection result 50 of the inspection object 40 with the inspection position 53.
  • the controller box 2a is configured to be carried or worn by the inspector 30.
  • the controller box 2a is configured to be attached to the waist of the inspector 30 by using a belt or the like.
  • the HMD 21 as a display unit is configured to display an image 62 (see FIG. 6) captured in the field of view of the inspector 30.
  • the HMD 21 is configured as an HMD 21 that displays an inspection area including the inspection object 40 and an inspection position 53 in the inspection object 40. That is, the aircraft inspection support device 100 is configured as an HMD system.
  • the HMD 21 is mounted on the head of the inspector 30 and is configured to display an inspection image 61 of the inspection object 40 imaged by the imaging unit 22 or an image 62 reflected in the field of view of the inspector 30.
  • the HMD 21 includes an HMD mounting member 21a.
  • the HMD mounting member 21a is, for example, formed in a belt shape to be mounted on the head of the inspector 30, or has a helmet shape (see FIG. 1).
  • the image 62 captured in the field of view of the inspector 30 includes, for example, an image of a plurality of rivets 41 and an image of the plate 42.
  • the HMD 21 includes a display screen 21b.
  • the display screen 21b includes, for example, a liquid crystal display. As shown in FIG. 1, the display screen 21b of the HMD 21 is fixed to the HMD mounting member 21a and is arranged between the eyes of the inspector 30 and the inspection object 40.
  • the display screen 21b is formed in a visor shape, for example.
  • the display screen 21b is a scene that is visually recognized through the display screen 21b at the time of inspection (a scene of a region corresponding to the image 62 that appears in the field of view of the inspector 30) and an inspection that is displayed on the display screen 21b. It is possible to superimpose the result 50 and visually recognize it.
  • the HMD 21 is configured to display the inspection result 50 in a semi-transparent state in a part of the display screen 21b.
  • the HMD 21 is configured to display (project) the inspection image 61 captured by the imaging unit 22 or the image 62 reflected in the visual field range of the inspector 30 on the display screen 21b.
  • the inspector 30 can directly confirm the inspection image 61 projected on the HMD 21 or the image 62 reflected in the field of view of the inspector 30, so that the orientation and the arrangement position of the imaging unit 22 may be changed depending on the situation. It is possible to modify such things.
  • the imaging unit 22 is attached to the head of the inspector 30, and is configured as a so-called wearable camera.
  • the image pickup unit 22 is fixed to the HMD mounting member 21a.
  • the HMD 21 is configured so that the imaging unit 22 can be mounted on the head of the examiner 30 via the HMD mounting member 21a.
  • the image pickup unit 22 is provided with, for example, an optical component (lens or the like) and an image pickup element. Further, the imaging unit 22 is configured to image the inspection object 40. Specifically, the imaging unit 22 is configured to acquire an image 62 captured in the field of view of the inspector 30. The imaging unit 22 is configured to acquire an image 62 captured in the visual field range of the inspector 30 as an inspection image 61 that captures a region including an inspection object 40 at the time of inspection.
  • the imaging unit 22 is configured to enable wireless communication (or wired communication) with the control unit 25 via the communication unit 24. Then, the imaging unit 22 is configured to transmit the image 62 captured in the visual field range of the inspector 30 as an image to the control unit 25 via the communication unit 24, for example. Further, the imaging unit 22 acquires an inspection image 61, a plurality of images 63 (see FIG. 3) for generating a three-dimensional model 52 (see FIG. 4), and an image 62 captured in the visual field range of the inspector 30. It is configured to do.
  • the storage unit 23 is configured as a non-volatile memory. Then, the storage unit 23 is configured to store the three-dimensional model 52, the inspection position 53, and the inspection result 50, which will be described later, based on the command from the control unit 25. Further, the storage unit 23 stores various programs executed by the control unit 25. Further, the storage unit 23 is configured to be removable from the controller box 2a.
  • the storage unit 23 is configured as an SD card (registered trademark).
  • the storage unit 23 may be directly attached to the controller box 2a, or may be connected to the controller box 2a by arranging a cable so as to be externally attached to the controller box 2a. That is, the storage unit 23 is a removable medium (portable storage medium).
  • the communication unit 24 is configured to be capable of wireless communication with the communication unit 14, and is also configured to be capable of wireless communication with the imaging unit 22. Further, the communication unit 24 is configured to enable wireless communication with the communication device 122 of the control room 120.
  • the control unit 25 is configured to control each unit of the aircraft inspection support device 100. Further, the control unit 25 acquires the inspection result 50 of the inspection object 40, and associates the three-dimensional model position 54 corresponding to the inspection position 53 on the three-dimensional model 52 with the inspection position 53 and the inspection result 50. It is configured to control the storage.
  • the control unit 25 includes a central processing unit (CPU: Central Processing Unit), an image processing unit (GPU: Graphics Processing Unit), and the like.
  • the inspection result 50 is the measurement data of the inspection object 40 acquired by the inspection unit 10.
  • the control unit 25 includes a three-dimensional model generation unit 25a, an inspection position acquisition unit 25b, a design data acquisition unit 25c, and an appearance shape inspection unit 25d.
  • the control unit 25 can be used as a three-dimensional model generation unit 25a, an inspection position acquisition unit 25b, a design data acquisition unit 25c, and an appearance shape inspection unit 25d by executing various programs stored in the storage unit 23.
  • the inspection position 53 is a position where the inspection of the inspection object 40 is performed, and includes three-dimensional position coordinates.
  • the three-dimensional model position 54 includes three-dimensional position coordinates indicating a position like the three-dimensional model 52.
  • the three-dimensional model generation unit 25a is configured to generate a three-dimensional model 52 of the shape of an aircraft by acquiring shape data from a plurality of positions.
  • the three-dimensional model 52 includes the shape information of the aircraft and is generated based on the image 63 acquired by the imaging unit 22.
  • the detailed configuration in which the three-dimensional model generation unit 25a generates the three-dimensional model 52 will be described later.
  • the inspection position acquisition unit 25b is configured to acquire the inspection position 53 in which the inspection of the inspection object 40 has been performed.
  • the inspection position 53 is a position where the inspection is performed on the inspection object 40, and includes three-dimensional position coordinates. The detailed configuration in which the inspection position acquisition unit 25b acquires the inspection position 53 will be described later.
  • the design data acquisition unit 25c acquires the three-dimensional design data 56 of the inspection area including at least the inspection object 40. Specifically, the design data acquisition unit 25c is configured to acquire the three-dimensional design data 56 stored in the server device 121 in advance.
  • the appearance shape inspection unit 25d is configured to inspect the state change of the appearance shape of the inspection object 40 based on at least the three-dimensional model 52.
  • the detailed configuration in which the appearance shape inspection unit 25d inspects the state change of the appearance shape of the inspection object 40 will be described later.
  • the three-dimensional model generation unit 25a is configured to generate the three-dimensional model 52 based on a plurality of images 63 captured while changing the imaging position.
  • the three-dimensional model generation unit 25a is configured to generate the three-dimensional model 52 by using so-called Visual SLAM (Simulataneus Localization and Mapping).
  • the inspection object 40 is imaged while changing the position of the imaging unit 22.
  • the inspection object 40 includes a plurality of feature points 70, and the position of the feature points 70 in the image 62 changes according to the imaging position.
  • the three-dimensional model generation unit 25a generates the three-dimensional model 52 based on the positional relationship of the feature points 70 appearing in the plurality of images 63 captured while changing the imaging position. That is, the three-dimensional model 52 is a three-dimensional map of an aircraft obtained by estimating the three-dimensional position coordinates of each feature point 70 from the positional relationship of each feature point 70 in a plurality of images 63.
  • FIG. 4 is a schematic diagram of the three-dimensional model 52 generated by the three-dimensional model generation unit 25a.
  • the three-dimensional model 52 of the aircraft is generated in advance and stored in the storage unit 23 before the inspection by the inspection unit 10 is performed.
  • the marker light generating unit 13 includes a housing 13a, a switch 13b, and a light emitting unit 13c. Further, the housing 13a is provided with an opening 13d into which the finger 31 (finger) of the inspector 30 is inserted.
  • the marker light generating unit 13 is configured so that when the switch 13b is pressed, the marker light is emitted from the light emitting unit 13c at the inspection position 53 of the inspection object 40.
  • the light emitting unit 13c includes, for example, an LED (Light Emitting Diode) and the like.
  • the inspector 30 grips the measurement probe 12 with the marker light generating unit 13 attached to the finger 31 (fingers) and inspects the inspection object 40.
  • the marker light generation unit 13 is configured to be capable of emitting at least a first marker light indicating that the inspection has passed and a second marker light indicating that the inspection has failed at the inspection position 53 of the inspection object 40.
  • the marker light generating unit 13 is configured so that the emission color of the first marker light and the emission color of the second marker light can be made different from each other. Thereby, the inspector 30 can identify the inspection result 50.
  • FIG. 6 is a schematic view of an inspection image 61 (image 62 reflected in the visual field range) when the inspector 30 emits the first marker light. That is, the example shown in FIG. 6 is an inspection image 61 (image 62 reflected in the visual field range) when the inspection is passed.
  • FIG. 7 is a schematic view of an inspection image 61 (image 62 reflected in the visual field range) when the inspector 30 emits the second marker light. That is, the example shown in FIG. 7 is a schematic view of the inspection image 61 (image 62 reflected in the visual field range) when the inspection fails.
  • the inspector 30 emits the first marker light and the second marker light based on the inspection result 50.
  • the inspection result 50 acquired when the inspection object 40 (rivet 41) is inspected by the measurement probe 12 is displayed on the HMD 21.
  • the inspector 30 selects and emits the first marker light and the second marker light based on the inspection result 50 displayed on the HMD 21.
  • the difference between the emission color of the first marker light and the emission color of the second marker light is shown due to the difference in hatching.
  • the inspection position acquisition unit 25b is configured to acquire the inspection position 53 by acquiring the position of the marker light reflected in the inspection image 61.
  • the control unit 25 associates the inspection position 53 of the inspection object 40 with the three-dimensional model position 54, and the three-dimensional model 52 in which the three-dimensional model position 54 and the inspection position 53 are associated with each other. It is configured to control storage in the storage unit 23. Specifically, the control unit 25 acquires the inspection position 53 of the inspection object 40 based on the inspection image 61, and controls to associate the acquired inspection position 53 with the three-dimensional model position 54. It is configured. In the present embodiment, the control unit 25 is configured to perform control to store the three-dimensional model position 54 corresponding to the inspection position 53 on the three-dimensional model 52, the inspection position 53, and the inspection result 50 in association with each other. ing.
  • the control unit 25 controls to store the inspection determination result 51 of the inspection object 40 in addition to the three-dimensional model position 54, the inspection position 53, and the inspection result 50. It is configured in.
  • the inspection determination result 51 is information indicating whether or not the inspection object 40 acquired by the inspection unit 10 needs to be repaired or replaced.
  • the inspection determination result 51 is acquired based on the inspection result 50.
  • the inspection determination result 51 includes, for example, a "pass” that does not require repair or replacement of the inspection object 40, and a "failure” that requires repair or replacement of the inspection object 40.
  • the imaging unit 22 takes an image of the inspection object 40 in a state where the inspector 30 emits marker light (first marker light or second marker light) to the inspection object 40.
  • the inspection image 61 is acquired.
  • the control unit 25 is configured to acquire the inspection determination result 51 based on the marker light reflected in the inspection image 61. That is, the control unit 25 determines that the inspection has passed when the first marker light is reflected in the inspection image 61. Further, the control unit 25 determines that the inspection has failed when the second marker light is reflected in the inspection image 61.
  • the control unit 25 associates the three-dimensional model position 54, the inspection image 61, the inspection result 50, and the inspection determination result 51 by storing them as one data file 80.
  • the data file 80 is configured to be editable as a database in the storage unit 23.
  • the measurement information image 60 and the inspection image 61 are composed of digital signals, for example, JPEG (Joint Photographic Experts Group) format, MPEG (Moving Picture Experts Group) format, and AVI. It is stored in the storage unit 23 as an image format (moving image format or still image format) such as the (Audio Video Interleave) format.
  • the control unit 25 when the inspection determination result 51 is "pass", the control unit 25 stores an image in which a pattern indicating "pass” is drawn as the inspection determination result 51.
  • the control unit 25 stores, for example, an image in which “ ⁇ ” is drawn as a pattern indicating “pass” as an inspection determination result 51.
  • the inspection determination result 51 is "fail”
  • the control unit 25 stores an image in which a pattern indicating "fail” is drawn as the inspection determination result 51.
  • the control unit 25 stores an image in which “x” is drawn as an inspection determination result 51 as a pattern indicating “failure”.
  • the control unit 25 is configured to acquire information 81 (see FIG. 1) regarding aircraft inspection stored in advance in the server device 121. Then, the control unit 25 is configured to store one data file 80 in association with the information 81 related to the aircraft inspection.
  • the information 81 related to aircraft inspection is composed of information such as the model number of the target aircraft, the date and time of inspection, the inspection worker, and the inspection site.
  • FIG. 9 also illustrates the steps performed by the inspector 30 as a flowchart. The steps performed by the inspector 30 are shown by broken lines.
  • step 201 the three-dimensional model generation unit 25a generates a three-dimensional model 52 of the shape of the aircraft by acquiring shape data from a plurality of positions.
  • the process of step 201 may be executed in advance before the start of the inspection.
  • step 202 the inspector 30 inspects the inspection object 40, which is a part of the aircraft.
  • step 203 the inspector 30 confirms the inspection result 50.
  • step 204 the inspector 30 determines whether or not the inspection result 50 is acceptable. If the test result 50 is acceptable, the process proceeds to step 205. If the inspection result 50 fails, the process proceeds to step 206.
  • step 205 the inspector 30 uses the marker light generator 13 to emit the first marker light at the inspection position 53 of the inspection object 40.
  • the inspector 30 uses the marker light generator 13 to emit the second marker light at the inspection position 53 of the inspection object 40.
  • step 207 the control unit 25 acquires the inspection image 61.
  • step 208 the inspection position acquisition unit 25b acquires the inspection position 53 in which the inspection target 40 is inspected.
  • step 209 the control unit 25 acquires the inspection result 50 and the inspection determination result 51.
  • step 210 the three-dimensional model position 54 corresponding to the inspection position 53 on the three-dimensional model 52, the inspection position 53, the inspection result 50, and the inspection determination result 51 are stored in association with each other.
  • step 211 it is determined whether or not there is an inspection object 40 that has not been inspected.
  • the control unit 25 determines whether or not there is an inspection object 40 that has not been inspected, based on an inspection plan or the like in which the inspection object 40 to be inspected is determined in advance. If there is an inspection object 40 that has not been inspected, the process proceeds to step 202. If there is no inspection object 40 that has not been inspected, the process ends.
  • the control unit 25 Based on the image 62 captured in the visual field range and the three-dimensional model 52 in which the three-dimensional model position 54 and the inspection position 53 are associated with each other, the control unit 25 displays the image 62 captured in the visual field range at least during the previous inspection. It is configured to control the display of the past inspection result 57 in. The control unit 25 is configured to acquire the past inspection result 57 and store it in the storage unit 23 in advance before the inspection is performed.
  • the control unit 25 displays the image 62 reflected in the visual field range on the display screen 21b of the HMD 21, and with respect to the inspection position 53 on the image 62 reflected in the visual field range. It is configured to control the display of the inspection result 50.
  • the inspection object 40 (rivet 41) whose inspection result 50 (inspection determination result 51) has failed is shown with hatching.
  • the inspection result 50 displayed for the inspection position 53 on the image 62 reflected in the visual field range may be the previous inspection result 57 (at the time of the previous inspection) or earlier (two times before). It may be the inspection result 57 (before the inspection). Further, the previous inspection result 57 and the previous inspection result 57 may be displayed together.
  • step 301 the control unit 25 acquires the 3D model 52 in which the 3D model position 54 and the inspection position 53 are associated with each other.
  • step 302 the control unit 25 acquires the image 62 captured in the visual field range of the inspector 30.
  • step 303 the control unit 25 acquires the inspection result 50 of the inspection target 40 in the image 62 reflected in the visual field range. Specifically, the control unit 25 identifies the inspection object 40 in the three-dimensional model 52 based on the inspection position 53 of the inspection object 40 in the image 62 reflected in the visual field range, and is associated with the three-dimensional model 52. The inspection result 50 is acquired.
  • step 304 the control unit 25 displays the image 62 reflected in the visual field range on the display screen 21b of the HMD 21, and superimposes the inspection result 50 on the inspection position 53 on the image 62 captured in the visual field range. To display. After that, the process ends.
  • the aircraft inspection support device 100 is configured to inspect dents, defects, corrosion, cracks (cracks or cracks), wear, etc. as changes in the appearance shape.
  • FIG. 12 is a schematic view showing an example of inspecting a dent 71 in a main wing portion as a state change of an external shape.
  • the appearance shape inspection unit 25d has an image 61 reflected in the visual field range, a three-dimensional model 52 in which the three-dimensional model position 54 and the inspection position 53 are associated with each other, and an appearance shape inspection result showing a state change of the appearance shape at the inspection position 53. Based on 58, it is configured to control the display of the appearance shape inspection result 58 with respect to the inspection position 53 on the image 61 reflected in the visual field range.
  • the appearance shape inspection unit 25d includes the three-dimensional model 52 generated by the three-dimensional model generation unit 25a and the three-dimensional design data 56 acquired by the design data acquisition unit 25c. Based on the comparison of the above, it is configured to inspect the state change of the appearance shape of the inspection area including the inspection object 40. Specifically, the appearance shape inspection unit 25d extracts the three-dimensional design data 56 corresponding to the inspection area including the inspection object 40 for inspecting the appearance shape from the three-dimensional design data 56. The control unit 25 is configured to inspect the state change of the appearance shape by acquiring the shape change of the three-dimensional model 52 with respect to the extracted three-dimensional design data 56.
  • the control unit 25 acquires the appearance shape inspection result 58 as the inspection result of the state change of the appearance shape.
  • the control unit 25 shows the shape and size of the dent 71 according to the shape and size of the hatched region 72 in the appearance shape inspection result 58.
  • the depth of the dent 71 is shown due to the difference in hatching. That is, it means that the dent 71 becomes deeper as the hatching becomes darker.
  • step 401 the control unit 25 acquires the three-dimensional model 52.
  • step 402 the control unit 25 acquires the three-dimensional design data 56.
  • step 403 the appearance shape inspection unit 25d inspects the appearance shape of the inspection area of the inspection object 40 based on the comparison between the three-dimensional model 52 and the extracted three-dimensional design data 56.
  • step 404 the control unit 25 stores the three-dimensional model position 54, the inspection image 61, and the appearance shape inspection result 58 in association with each other.
  • the appearance shape inspection result 58 includes the size (vertical and horizontal dimensions) and depth of the portion where the appearance shape has changed.
  • the control unit 25 acquires the size (vertical and horizontal dimensions) and depth of the portion where the appearance shape is changed based on the shape change of the three-dimensional model 52 with respect to the three-dimensional design data 56. It is configured.
  • step 405 the control unit 25 determines whether or not all the inspection areas have been inspected. When the inspection of all the inspection areas is completed, the process ends. If all inspection areas have not been completed, the process proceeds to step 402.
  • the inspection position 53 of the inspection object 40 and the inspection result 50 are associated with each other. Can be remembered. Further, by including the control unit 25, the three-dimensional model position 54 corresponding to the inspection position 53 on the generated three-dimensional model 52, the inspection position 53, and the inspection result 50 can be stored in association with each other. As a result, even when the inspection object 40 is not stored in the three-dimensional design data 56 of the aircraft, the inspection position 53 and the inspection result 50 can be stored in association with each other.
  • the inspector 30 can confirm the inspection position 53 in the three-dimensional model 52, so that the inspection position 53 can be grasped three-dimensionally.
  • the inspection position 53 in the aircraft can be grasped more intuitively as compared with the case where the inspection position 53 is confirmed in the two-dimensional model.
  • the inspection position 53 and the inspection result 50 can be associated and stored, so that by accumulating the data, it becomes possible to compare with the past data, and the inspection result can be compared. It is possible to grasp the change over time of 50.
  • operational data such as flight time and flight cycle
  • the three-dimensional model 52, the inspection position 53, and the storage unit 23 for storing the inspection result 50 are further provided, and the control unit 25 is the inspection position 53 of the inspection object 40.
  • the three-dimensional model position 54 are associated with each other, and the three-dimensional model 52 in which the three-dimensional model position 54 and the inspection position 53 are associated with each other is controlled to be stored in the storage unit 23.
  • This is different from the configuration in which the three-dimensional model 52 in which the three-dimensional model position 54 and the inspection position 53 are associated with each other is stored in a storage unit provided in a place different from the aircraft inspection support device 100, such as the control room 120.
  • the 3D model 52 in which the 3D model position 54 and the inspection position 53 are associated with each other can be stored without providing the communication unit 24 or the like. As a result, it is possible to suppress an increase in the number of parts.
  • the control unit 25 includes the imaging unit 22 that acquires the inspection image 61 that images the region including the inspection object 40, and the control unit 25 is based on the inspection image 61. It is configured to acquire the inspection position 53 of the inspection object 40 and to control the association between the acquired inspection position 53 and the three-dimensional model position 54. As a result, the inspection position 53 is acquired based on the inspection image 61. Therefore, by imaging the plurality of inspection objects 40, the inspection positions 53 of the plurality of inspection objects 40 are acquired from one inspection image 61. be able to. As a result, for example, the inspection position 53 can be efficiently acquired as compared with the configuration in which the inspector 30 inputs the position coordinates of the inspection position 53 of the inspection object 40 one by one.
  • the control unit 25 stores the inspection determination result 51 of the inspection object 40 in addition to the three-dimensional model position 54, the inspection position 53, and the inspection result 50. It is configured to control the operation. As a result, not only the inspection result 50 but also the inspection determination result 51 can be confirmed. As a result, by confirming the inspection determination result 51, it is possible to easily determine the pass / fail of the inspection at first glance.
  • the marker light generating unit 13 that irradiates or emits the marker light indicating the inspection position 53 is further provided.
  • the inspection result 50 can be easily grasped on the inspection image 61 by confirming the marker light reflected on the inspection image 61.
  • the inspection result 50 can be grasped at a glance, so that the convenience of the user can be improved.
  • the marker light generating unit 13 has at least the first marker light indicating the inspection pass and the second marker light indicating the inspection failure with respect to the inspection position 53 of the inspection object 40. It is configured to be able to irradiate or emit light with a marker light. Thereby, the inspection result 50 can be more easily grasped by confirming whether the first marker light is irradiated or emitted from the inspection object 40 or the second marker light is irradiated or emitted. .. As a result, it becomes possible to easily grasp whether the inspection result 50 passes or fails at first glance, so that the convenience of the user can be further improved.
  • the three-dimensional model generation unit 25a is configured to generate the three-dimensional model 52 based on the plurality of images 63 captured while changing the imaging position. There is.
  • the three-dimensional model 52 can be easily acquired by capturing images at a plurality of imaging positions.
  • the appearance shape inspection unit 25d for inspecting the state change of the appearance shape of the inspection object 40 is further provided based on at least the three-dimensional model 52. As a result, even if the three-dimensional design data 56 cannot be acquired, the inspection of the state change of the appearance shape can be performed by acquiring the three-dimensional model 52.
  • the design data acquisition unit 25c for acquiring the three-dimensional design data 56 of the inspection area including at least the inspection object 40 is further provided, and the appearance shape inspection unit 25d generates a three-dimensional model.
  • the inspection of the state change of the appearance shape of the inspection area including the inspection object 40 is performed. It is configured to do.
  • the appearance shape is inspected by comparing the three-dimensional design data 56 with the three-dimensional model 52. Therefore, as compared with the case where the appearance shape state change is inspected only by the three-dimensional model 52, Subtle changes in appearance shape can also be inspected. As a result, the inspection accuracy of the state change of the appearance shape can be improved.
  • the HMD 21 is further provided as a display unit for displaying the image 62 captured in the visual field range of the inspector 30, and the control unit 25 includes the image 62 captured in the visual field range and the three-dimensional model.
  • both the inspection object 40 and the past inspection result 57 can be visually recognized at a glance.
  • the inspection object 40 to be carefully inspected can be easily identified at a glance based on the past inspection result 57.
  • the control unit 25 has the image 62 captured in the visual field range, the three-dimensional model 52 in which the three-dimensional model position 54 and the inspection position 53 are associated with each other, and the appearance at the inspection position 53. Based on the appearance shape inspection result 58 indicating the change in the state of the shape, it is configured to control the display of the appearance shape inspection result 58 with respect to the inspection position 53 on the image 62 reflected in the visual field range. As a result, the appearance shape inspection result 58 is displayed for the inspection object 40, so that, for example, the inspection object 40 that needs to be re-inspected or the inspection object 40 to be repaired can be easily identified. .. Therefore, the inspection object 40 to be re-inspected or repaired and the inspection object 40 which does not need to be re-inspected or repaired can be easily distinguished at a glance. As a result, the work efficiency of re-inspection or repair can be improved.
  • the HMD 21 as a display unit is configured as an HMD 21 that displays an inspection area including the inspection object 40 and an inspection position 53 in the inspection object 40.
  • the imaging unit 22 acquires the inspection image 61, the plurality of images 63 for generating the three-dimensional model 52, and the image 62 captured in the field of view of the inspector 30. It is configured to do.
  • the inspection image 61, the plurality of images 63 for generating the three-dimensional model 52, and the image 62 captured in the visual field range of the inspector 30 can be acquired by one imaging unit 22.
  • the control unit 25 determines the image 62 captured in the visual field range based on the image 62 captured in the visual field range and the three-dimensional model 52 in which the three-dimensional model position 54 and the inspection position 53 are associated with each other.
  • the inspection position 53 By displaying the inspection position 53 above, the inspection object 40a (rivet 41a) that has not been inspected and the inspection object 40b (rivet 41b) that has been inspected are controlled to be displayed so as to be distinguishable from each other. It is configured in.
  • FIG. 14 the inspection result 50 is displayed on the inspection object 40 on the display screen 21b of the HMD 21, but the present invention is not limited to this.
  • the control unit 25 determines the image 62 captured in the visual field range based on the image 62 captured in the visual field range and the three-dimensional model 52 in which the three-dimensional model position 54 and the inspection position 53 are associated with each other.
  • step 501 the control unit 25 acquires the three-dimensional model 52.
  • step 502 the control unit 25 acquires the image 62 captured in the visual field range of the inspector 30.
  • step 503 the control unit 25 determines whether or not the inspection result 50 is stored for the inspection object 40 in the image 62 reflected in the visual field range. If the test result 50 is stored, the process proceeds to step 504. If the test result 50 is not stored, the process proceeds to step 505.
  • step 504 the control unit 25 displays the inspection object 40 as having been inspected.
  • step 505 the control unit 25 displays the inspection object 40 as not inspected.
  • step 506 the control unit 25 determines whether or not it has been confirmed whether or not the inspection result 50 is stored for all the inspection objects 40 in the image 62 reflected in the visual field range. When all the inspection objects 40 are confirmed, the process ends. If the confirmation has not been completed for all the inspection objects 40, the process proceeds to step 502.
  • the display unit may be a portable display device 26 that identifiablely displays the inspection position 53 of the inspection object 40 on the image 62 reflected in the visual field range.
  • the portable display device 26 includes, for example, a tablet terminal and the like.
  • the inspector 30 may perform the inspection while holding the portable display device 26 in his / her hand, as shown in FIG.
  • the display unit is configured as a portable display device 26, so that the portable display device 26 can be arranged at an arbitrary position, such as when the inspector 30 performs an inspection by hand. ..
  • the portable display device 26 can be arranged at a position where the inspector 30 can easily see it, so that the convenience of the user can be improved.
  • the inspection position 53 may be displayed by irradiating the inspection object 40 (aircraft fuselage) with light, as in the projector 521 of the aircraft inspection support device 100 according to the third modification shown in FIG. In the example shown in FIG. 19, by hatching, the inspection object 40 whose state has changed is displayed in an identifiable manner.
  • an inspection unit 10 that outputs an inspection result 50 of an analog signal may be used.
  • the inspection unit 10 is a specific measuring instrument associated with the aircraft model or the inspection object 40 (for example, an aircraft part or a maintenance item). Therefore, the inspection unit 10 may not have a function of storing the inspection result 50 (analog signal) and may not have a function of performing data communication. That is, the inspection unit 10 may be configured as an analog type device that does not use a digital signal.
  • the control unit 25 cannot handle the inspection result 50 (analog signal). Therefore, as shown in FIG. 20, the inspection result imaging unit 15 for capturing the measurement information image 60 may be provided, and the measurement information image 60 of the inspection unit side display unit 11 may be imaged.
  • the control unit 25 may be configured to store the measurement information image 60 as the inspection result 50 by the inspection unit 10 in association with the three-dimensional model position 54, the inspection position 53, and the inspection result 50.
  • the inspection result imaging unit 15 is composed of, for example, a camera or a combination of a photodetection element and optical components (mirror, lens, and filter). Further, the inspection result imaging unit 15 is configured to be able to capture a still image or a moving image.
  • the inspection result 50 acquired by the inspection unit 10 is compatible with the data that can be handled by the control unit 25. May have no sex. Even in such a case, if the configuration is as described in the fourth modification, the control unit 25 displays the measurement information image 60 as the inspection result 50 by the inspection unit 10 at the three-dimensional model position 54 and the inspection position 53. And can be stored in association with the test result 50.
  • the control unit 25 may be configured to determine “attention required” in addition to “pass” and “fail” based on the inspection result 50.
  • the marker light generating unit 13 may be configured to be able to irradiate the third marker light indicating the need for attention in addition to the first marker light and the second marker light.
  • control unit 25 includes an inspection image 61, a three-dimensional model position 54, an inspection result 50, and an inspection determination result 51 on the inspection object 40, which is "attention required”. It may be configured to associate and memorize.
  • the inspection determination result 51 of "need attention” is shown as an image in which a triangular mark is drawn. Further, the third marker light is shown with hatching different from that of the first marker light and the second marker light.
  • the control unit 25 sets "pass", “fail”, and “caution required", as well as “follow-up required” and “re-inspection (including detailed inspection)”. It may be configured to determine.
  • the design data acquisition unit 25c acquires the three-dimensional design data 56 stored in the server device 121 in advance is shown, but the present invention is not limited to this.
  • the design data acquisition unit 25c may be configured to acquire the three-dimensional model 52 generated at the time of manufacturing the aircraft or before the inspection as the three-dimensional design data 56. With this configuration, even when the three-dimensional design data 56 cannot be acquired or the inspection target 40 is not stored in the three-dimensional design data 56, the state change of the appearance shape can be inspected.
  • step 201 When the design data acquisition unit 25c acquires the three-dimensional model 52 generated at the time of manufacturing the aircraft or before the inspection as the three-dimensional design data 56, it is in the inspection flow of the inspection object 40 of the above embodiment.
  • the process of step 201 can be omitted.
  • the aircraft inspection support device 100 may be configured so that the acquired three-dimensional model 52 or the like is transmitted to the server device 121 by the communication unit 24 without providing the storage unit 23. Further, without providing the communication unit 24, the storage unit 23 is attached and detached, the storage unit 23 separated from the aircraft inspection support device 100 is connected to the server device 121, and the three-dimensional model 52 and the like are transferred to the server device 121. You may let me.
  • an example of a configuration for inspecting an aircraft body (rivet 41 and plate 42) as an aircraft part has been shown, but the present invention is not limited to this.
  • equipment such as a turbine inside an engine as an aircraft component may be inspected.
  • an inspection device other than the eddy current flaw detector or ultrasonic flaw detector this is used in inspections using a borescope when observing the situation of bird strikes, or in other tests or inspections using measuring instruments. The invention may be applied.
  • a communication unit 24 is provided in the aircraft inspection support device 100 to enable wireless communication, but the present invention is not limited to this. That is, the configuration for wireless communication described in the above embodiment may be configured as a configuration for wired communication using a cable.
  • control unit 25 may be configured to acquire the inspection result 50 based on the inspection result 50.
  • the determination data obtained by measuring the inspection object 40 that has been scratched or the like and the inspection object 40 that has not been scratched or the like is stored in the storage unit 23 in advance.
  • the control unit 25 may be configured to acquire the inspection result 50 based on the inspection result 50 of the inspection object 40 and the determination data.
  • the above-described embodiment and the above-mentioned modification may be configured by appropriately combining them.
  • the inspection object 40 that has not been inspected and the inspection object 40 that has been inspected may be identifiablely displayed at the time of inspection.
  • control unit 25 controls to store the inspection result 50 by the inspection unit 10 in addition to the three-dimensional model position 54, the inspection position 53, and the inspection result 50.
  • the present invention is not limited to this. If the control unit 25 stores the three-dimensional model position 54, the inspection position 53, and the inspection result 50 in association with each other, the inspection result 50 does not have to be further associated and stored.
  • control unit 25 may be configured to irradiate the first marker light and the second marker light by controlling the marker light generation unit 13 based on the inspection result 50.
  • the three-dimensional model generation unit 25a acquires the positional relationship of the inspection target 40 by irradiating the laser beam with Lidar SLAM (Light Detection and Ranking SLAM), three-dimensional laser scan, GPS (Global Positioning System), and ultrasonic waves.
  • Lidar SLAM Light Detection and Ranking SLAM
  • three-dimensional laser scan three-dimensional laser scan
  • GPS Global Positioning System
  • ultrasonic waves A gyro sensor, an acceleration sensor, or a combination thereof may be used to generate a three-dimensional model 52.
  • the plurality of images 63 may be acquired by using a monocular camera, a stereo camera, an RGBD camera, or the like.
  • the display unit is configured as the HMD 21
  • the present invention is not limited to this.
  • the display unit may be configured as a glasses-type wearable display device.
  • control unit 25 associates the inspection position 53, the three-dimensional model position 54, and the inspection result 50 by storing them as one data file 80 is shown.
  • the control unit 25 may be configured in any way as long as the inspection position 53, the three-dimensional model position 54, and the inspection result 50 can be associated with each other.
  • the control unit 25 may be configured to associate the inspection position 53, the three-dimensional model position 54, and the inspection result 50 by assigning a common identifier (ID).
  • ID common identifier
  • control unit 25 displays the inspection result 50 on the inspection object 40 that has failed the inspection is shown, but the present invention is not limited to this.
  • control unit 25 may be configured to display the inspection result 50 even for the inspection object 40 that has passed the inspection.
  • the appearance shape inspection unit 25d inspects the state change of the appearance shape of the inspection object 40 by comparing the three-dimensional design data 56 with the three-dimensional model 52 .
  • the present invention is not limited to this.
  • the appearance shape inspection unit 25d uses moire, digital image correlation (DIC: Digital Image Correlation), etc. in addition to comparison between the three-dimensional design data 56 and the three-dimensional model 52 to display the inspection object 40. It may be configured to inspect a state change in appearance shape.
  • the aircraft inspection support device 100 and the communication device 122 perform wireless communication is shown, but the present invention is not limited to this.
  • the aircraft inspection support device 100 and the communication device 122 may be configured to exchange data via a storage medium.
  • the controller box 2a is carried or attached by the inspector 30, but the present invention is not limited to this.
  • the controller box 2a may be provided on the inspection unit 10 side.
  • the controller box 2a may be integrated with the inspection unit 10 by using a band or the like.
  • the controller box 2a may be arranged on the trolley on which the inspection unit 10 is arranged.
  • the marker light generating unit 13 emits the marker light at the inspection position 53
  • the present invention is not limited to this.
  • the marker light generating unit 13 may be configured to irradiate the inspection position 53 with the marker light.
  • the marker light generating unit 13 has shown an example of a configuration in which the emission color of the first marker light and the emission color of the second marker light are different, but the present invention is not limited to this.
  • the marker light generation unit 13 may be configured so that the light emission pattern of the first marker light and the light emission pattern of the second marker light are different.
  • the inspector 30 may visually inspect the inspection target 40.
  • the inspection target 40 is irradiated with the marker light by the marker light generating unit 13 to acquire the inspection position 53, and the three-dimensional model position 54 and the inspection position
  • the 53 and the test result 50 may be associated and stored.
  • an example of a configuration in which a plurality of images 63 for generating a three-dimensional model 52 and an image 62 captured in the field of view of the inspector 30 are acquired by the same imaging unit 22 is shown.
  • the imaging unit that acquires a plurality of images 63 and the imaging unit that acquires the images 62 that appear in the field of view may be separate.
  • the imaging unit for acquiring a plurality of images 63 may be configured to be portable to the inspector 30. With this configuration, it is possible for the inspector to acquire a plurality of images 63 while holding the imaging unit in his / her hand. Therefore, the imaging unit 22 mounted on the head acquires the plurality of images 63. Compared with, work efficiency can be improved.
  • the communication unit 14 may be configured to transmit the measurement information image 60 as a still image to the communication unit 24.
  • a 3D model generator that generates a 3D model of the shape of an aircraft by acquiring shape data from multiple positions.
  • the inspection position acquisition unit that acquires the inspection position of the inspection object that is a part of the aircraft
  • a control unit that acquires the inspection result of the inspection object and controls to store the three-dimensional model position corresponding to the inspection position on the three-dimensional model, the inspection position, and the inspection result in association with each other. Equipped with an aircraft inspection support device.
  • a storage unit for storing the three-dimensional model, the inspection position, and the inspection result is further provided.
  • the control unit associates the inspection position of the inspection object with the three-dimensional model position, and stores the three-dimensional model in which the three-dimensional model position and the inspection position are associated with each other in the storage unit.
  • the aircraft inspection support device according to item 1, which is configured to perform control.
  • the aircraft inspection support device At the time of inspection, it includes an imaging unit that acquires an inspection image that captures an image of a region including the inspection object.
  • the control unit is configured to acquire the inspection position of the inspection object based on the inspection image and control to associate the acquired inspection position with the three-dimensional model position.
  • the aircraft inspection support device according to item 2.
  • Item 3 is configured such that the control unit performs control for storing the inspection determination result of the inspection object in addition to the three-dimensional model position, the inspection position, and the inspection result. Aircraft inspection support device described in.
  • the marker light generating unit is configured to be capable of irradiating or emitting at least a first marker light indicating an inspection pass and a second marker light indicating an inspection failure with respect to the inspection position of the inspection object.
  • the aircraft inspection support device according to item 5.
  • the aircraft inspection support device according to item 1, further comprising an appearance shape inspection unit that inspects a state change of the appearance shape of the inspection object based on at least the three-dimensional model.
  • the appearance shape inspection unit includes the inspection object based on a comparison between the three-dimensional model generated by the three-dimensional model generation unit and the three-dimensional design data acquired by the design data acquisition unit.
  • Item 8 The aircraft inspection support device according to item 8, which is configured to inspect a state change of the appearance shape of an inspection area.
  • Item 10 The aircraft inspection support device according to item 9, wherein the design data acquisition unit is configured to acquire the three-dimensional model generated at the time of manufacturing the aircraft or before the inspection as the three-dimensional design data. ..
  • (Item 11) It also has a display unit that displays the image in the field of view of the inspector. Based on the image captured in the visual field range and the three-dimensional model in which the three-dimensional model position and the inspection position are associated with each other, the control unit sets the inspection area including the inspection object at least at the time of the previous inspection. Item 1 is configured to display by projecting the past inspection result in the above, or to control the display of the past inspection result of the inspection object on the image reflected in the visual field range. Aircraft inspection support device described in.
  • the control unit projects the inspection position onto an inspection area including the inspection object based on the image captured in the visual field range and the three-dimensional model in which the three-dimensional model position and the inspection position are associated with each other.
  • the inspection object that has not been inspected and the inspection object that has been inspected are displayed so as to be distinguishable from each other, or the inspection position is displayed on the image reflected in the visual field range.
  • the aircraft inspection support device wherein the inspection target that has not been inspected and the inspection target that has been inspected are controlled to be displayed so as to be distinguishable from each other.
  • the control unit uses the image captured in the visual field range, the three-dimensional model in which the three-dimensional model position and the inspection position are associated with each other, and the appearance shape inspection result showing the state change of the appearance shape at the inspection position. Based on this, the appearance shape inspection result is displayed by projecting onto the inspection position in the inspection area including the inspection object, or the inspection position on the image reflected in the visual field range is displayed.
  • the aircraft inspection support device according to item 9, which is configured to control the display of the appearance shape inspection result.
  • HMD Head Mounted Display
  • Display 22 Imaging unit 25 Control unit 25a 3D model generation unit 25b Inspection position acquisition unit 25c Design data acquisition unit 25d Appearance shape inspection unit 26
  • Portable display device (display unit) 30 Inspector 40 Inspection object 50 Inspection result 51 Inspection judgment result 52 3D model 53 Inspection position 54 3D model position 55 3D design data 56 3D design data 57 Past inspection result 58

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Software Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

この航空機検査支援装置（１００）は、３次元モデル生成部（２５ａ）と、検査位置取得部（２５ｂ）と、検査対象物（４０）の検査結果（５０）を取得するとともに、３次元モデル（５２）上の検査位置（５３）に対応する３次元モデル位置（５５）と、検査位置（５３）と、検査結果（５０）とを関連付けて記憶させる制御を行う制御部（２５）とを備える。

Description

航空機検査支援装置および航空機検査支援方法
　本発明は、航空機検査支援装置および航空機検査支援方法に関する。
　従来、検査対象物を検査する際の航空機検査支援装置が知られている。このような航空機検査支援装置は、たとえば、特許第６４１５０３４号公報に開示されている。
　上記特許第６４１５０３４号公報には、航空機に生じた損傷を検査するための航空機検査支援装置が開示されている。上記特許第６４１５０３４号公報に開示されている構成は、航空機の所定領域を撮像した画像を取得するとともに、取得した画像と、基準画像とを比較することにより、取得した画像内において異常が生じているか否かを判定する。取得した画像内において異常が見つかった場合には、近赤外分光法などの非破壊検査によって、損傷の詳細な検査が行われる。上記特許第６４１５０３４号公報には、非破壊検査を実施する際には、画像を取得した際のカメラの方位角および仰角（パン角およびチルト角）に基づいて、非破壊検査装置の向きを調整する構成が開示されている。
　そして、上記特許第６４１５０３４号公報に開示されている航空機検査支援装置は、航空機の設計データを用いて検査位置を特定する。上記特許第６４１５０３４号公報には、設計データ上における検査位置と、検査結果と、画像データとを相互に関連付けるデジタル記録をコンピュータメモリに保存する構成が開示されている。
特許第６４１５０３４号公報
　上記特許第６４１５０３４号公報に開示されている航空機検査支援装置では、上記の通り、設計データに基づいて検査位置を特定している。しかしながら、たとえば、複数の板材を接合するための部品であるリベットのように、航空機一機当たりにおいて、数千個～数万個使用されている部品などは、設計データにおいて、１つ1つ詳細に記憶されていない場合がある。また、運用中の整備等において補修などを行った場合など、製造時に対し一部部位の形状が変更された際に、当該部位の情報を設計データに記憶されない。これらの場合、検査対象物の検査位置と検査結果とを関連付けることが困難になるという問題点がある。
　この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、航空機の設計データにおいて検査対象物が記憶されていない場合でも、検査対象物の検査位置と検査結果とを関連付けて記憶することが可能な航空機検査支援装置および航空機検査支援方法を提供することである。
　上記目的を達成するために、この発明の第１の局面における航空機検査支援装置は、複数の位置から形状データを取得することにより、航空機の形状の３次元モデルを生成する３次元モデル生成部と、航空機の部品である検査対象物の検査位置を取得する検査位置取得部と、検査対象物の検査結果を取得するとともに、３次元モデル上の検査位置に対応する３次元モデル位置と、検査位置と、検査結果とを関連付けて記憶させる制御を行う制御部とを備える。
　この発明の第２の局面における航空機検査支援方法は、航空機の部品である検査対象物の検査し、検査対象物の検査結果を取得し、検査対象物の検査位置を取得し、３次元モデル上の検査位置に対応する３次元モデル位置と、検査位置と、検査結果とを関連付けて記憶する。
　本発明の第１の局面では、上記のように、航空機の形状の３次元モデルを生成する３次元モデル生成部と、３次元モデル上の検査位置に対応する３次元モデル位置と、検査位置と、検査結果とを関連付けて記憶させる制御を行う制御部とを備える。上記制御部を備えることにより、航空機の設計データにおいて検査対象物が記憶されていない場合でも、検査対象物の検査位置と検査結果とを関連付けて記憶することができる。また、上記制御部を備えることにより、生成された３次元モデル上の検査位置に対応する３次元モデル位置と、検査位置と、検査結果とを関連付けて記憶することができる。その結果、航空機の設計データにおいて検査対象物が記憶されていない場合でも、検査位置と検査結果とを関連付けて記憶することができる。また、上記制御部を備えることにより、検査者は、３次元モデルにおいて検査位置を確認することが可能となるので、検査位置を立体的に把握することができる。その結果、たとえば、２次元モデルにおいて検査位置を確認する場合と比較して、検査位置をより直感的に把握することができる。また、上記制御部を備えることにより、検査位置と検査結果とを関連付けて記憶することが可能となるので、データを蓄積することにより、過去のデータと比較することが可能となり、検査結果の経時的な変化を把握することができる。その結果、検査結果と、飛行時間およびフライトサイクルなどの運用データとを合わせて解析することにより、重点的に検査する箇所を把握することができるとともに、予防保全に有益な情報を得ることができる。
　また、本発明の第２の局面では、上記のように構成することにより、第１の局面における航空機検査支援装置と同様に、航空機の設計データにおいて検査対象物が記憶されていない場合でも、検査対象物の検査位置と検査結果とを関連付けて記憶することが可能な航空機検査支援方法を提供することができる。
一実施形態による航空機検査支援装置の構成を示した模式図である。 航空機検査支援装置の構成を示したブロック図である。 ３次元モデル生成部が３次元モデルを生成する方法を説明するための模式図である。 ３次元モデル生成部が生成する航空機の３次元モデルの模式図である。 マーカー光発生部の模式図である。 第１マーカー光が発光された検査画像の模式図である。 第２マーカー光が発光された検査画像の模式図である。 関連付けられた情報を記憶する処理を説明するための図である。 一実施形態による検査対象物検査処理を説明するためのフローチャートである。 表示部に表示される検査結果を説明するための模式図である。 検査結果表示処理を説明するためのフローチャートである。 外観形状の状態変化の検査を説明するための模式図である。 外観形状の状態変化の検査処理を説明するためのフローチャートである。 第１変形例による表示部に表示される検査実施済検査対象物を説明するための模式図である。 第１変形例による表示部に表示される検査実施済検査対象物の表示処理を説明するためのフローチャートである。 第２変形例による航空機検査支援装置の構成を示したブロック図である。 第２変形例による航空機検査支援装置の構成を示した模式図である。 第２変形例による表示部の構成を示した模式図である。 第３変形例による航空機検査支援装置の構成を示した模式図である。 第４変形例による航空機検査支援装置の構成を示したブロック図である。 第５変形例による関連付けられた情報を記憶する処理を説明するための図である。
　以下、本発明を具体化した実施形態を図面に基づいて説明する。
　図１～図１３を参照して、本発明の一実施形態による航空機検査支援装置１００の構成について説明する。
　一実施形態による航空機検査支援装置１００は、図１に示すように、検査対象物４０に対する検査作業を、検査対象物４０の近傍において、検査部１０を用いて行う検査者３０に対する支援を行う装置として構成されている。具体的には、検査対象物４０とは、たとえば、航空機において、へこみ、欠損、腐食、クラック（ひび割れまたは亀裂）、摩耗などが生じる物体を含む。本実施形態では、検査対象物４０は、航空機の胴体を構成する複数枚のプレート４２を接合するためのリベット４１およびプレート４２である。すなわち、検査対象物４０は、リベット締結部およびリベット締結部の近傍と、プレート４２とである。なお、検査対象物４０の近傍とは、たとえば、検査者３０が検査対象物４０に対して後述する計測プローブ１２を接触させることが可能な位置（検査対象物４０にアクセス可能な位置）の範囲を意味するものとして記載しており、具体的には、たとえば、検査対象物４０と、検査対象物４０に対向する作業位置（足場部分）とを含む領域である。
　複数のリベット４１同士の間隔は、たとえば、約１インチ～数インチである。図１は、複数のリベット４１がプレート４２上に行列状に配置されている例を示している。これにより、航空機１機当たりには、数千個～数万個のリベット４１が設けられている。また、この検査では、検査者３０は、リベット４１の疲労状態およびプレート４２にリベット穴から亀裂が発生していないかなどを、全てのリベット４１について、検査部１０を用いて検査する。また、検査者３０は、たとえば、航空機の胴体に沿って設けられた足場の上に乗った状態で、検査を行う。
　また、航空機検査支援装置１００は、管制室１２０に設けられたサーバー装置１２１と無線通信などによって情報（データ）をやり取りする、情報システムとして構成されている。管制室１２０には、図２に示すように、サーバー装置１２１と無線通信をする場合は通信装置１２２とが設けられている。
　サーバー装置１２１は、通信装置１２２を介して航空機検査支援装置１００から取得した情報（画像など）を記憶（管理および蓄積）するように構成されている。また、サーバー装置１２１には、航空機検査支援装置１００から取得した情報（後述する１つのデータファイル８０）に基づいたデータベースが構築されており、このデータベースは、過去に航空機検査支援装置１００から取得した情報と、新たに取得した情報とを比較可能に構成されている。
　通信装置１２２は、航空機検査支援装置１００と無線通信を行うように構成されている。
　検査部１０は、検査対象物４０の検査を行うように構成されている。検査部１０は、検査者３０が非破壊検査を行う装置として構成されている。本実施形態では、検査部１０は、たとえば、渦電流探傷装置、または、超音波探傷装置として構成されている。また、検査部１０は、航空機の製造メーカが作成する整備マニュアルや各国の航空局（たとえば、米国連邦航空局（ＦＡＡ））が承認した航空機整備会社の整備規定に対応する特定の計測器などである。
　図１に示すように、検査部１０は、検査部本体１０ａと、検査部側表示部１１と、計測プローブ１２とを含む。検査部本体１０ａは、箱状の筐体を含む。そして、検査部側表示部１１は、検査部本体１０ａの一側面に設けられている。また、検査部側表示部１１は、たとえば、液晶ディスプレイを含む。そして、検査部側表示部１１は、計測プローブ１２からの検査結果５０を、計測情報画像６０として表示するように構成されている。
　図１に示すように、計測プローブ１２は、検査部本体１０ａとケーブル１２ａを介して接続されており、検査結果５０を検査部本体１０ａに伝達するように構成されている。計測プローブ１２は、検査者３０により把持可能に構成されており、たとえば、ペン型に構成されている。なお、検査結果５０は、デジタル信号として検査部本体１０ａに伝達される。
　（検査ユニットの構成）
　図２に示すように、航空機検査支援装置１００は、検査ユニット１と、データ処理ユニット２とを含む。検査ユニット１は、検査部１０と、マーカー光発生部１３と、通信部１４と、を含む。検査ユニット１は、検査対象物４０の非破壊検査を行うように構成されている。
　マーカー光発生部１３は、検査結果５０を確認し、検査画像６１（図６参照）を撮像する際に、検査位置５３を示すマーカー光を照射または発光するように構成されている。マーカー光発生部１３の詳細な構成については、後述する。
　通信部１４は、検査部１０により取得した検査結果５０の無線信号として、データ処理ユニット２の通信部２４に送信するように構成されている。たとえば、計測情報画像６０は、動画として連続的に通信部２４に送信される。
　（データ処理ユニットの構成）
　データ処理ユニット２は、図２に示すように、ヘッドマウントディスプレイ（以下、「ＨＭＤ」という）２１と、撮像部２２と、記憶部２３と、通信部２４と、制御部２５と、を含む。また、記憶部２３と通信部２４と制御部２５とは、コントローラボックス２ａ（図１参照）に配置されている。データ処理ユニット２は、検査対象物４０の検査結果５０と、検査位置５３とを関連付ける処理を行うように構成されている。
　コントローラボックス２ａは、図１に示すように、検査者３０により携帯または装着されるように構成されている。たとえば、コントローラボックス２ａは、検査者３０の腰部にベルトなどを用いて装着されるように構成されている。
　表示部としてのＨＭＤ２１は、検査者３０の視野範囲に写る画像６２（図６参照）を表示するように構成されている。本実施形態では、ＨＭＤ２１は、検査対象物４０を含む検査領域および検査対象物４０における検査位置５３を表示するＨＭＤ２１として構成されている。すなわち、航空機検査支援装置１００は、ＨＭＤシステムとして構成されている。
　ＨＭＤ２１は、検査者３０の頭部に装着され、撮像部２２で撮像した検査対象物４０の検査画像６１、または、検査者３０の視野範囲に写る画像６２を表示するように構成されている。ＨＭＤ２１は、ＨＭＤ装着部材２１ａを含む。ＨＭＤ装着部材２１ａは、たとえば、検査者３０の頭部に装着されるベルト状に形成されているか、または、ヘルメット形状（図１参照）を有する。また、検査者３０の視野範囲に写る画像６２は、たとえば、複数のリベット４１の画像とプレート４２の画像とが含まれている。
　また、ＨＭＤ２１は、表示画面２１ｂを含む。表示画面２１ｂは、たとえば、液晶ディスプレイを含む。ＨＭＤ２１の表示画面２１ｂは、図１に示すように、ＨＭＤ装着部材２１ａに固定されているとともに、検査者３０の目と検査対象物４０との間に配置されている。表示画面２１ｂは、たとえば、バイザー状に形成されている。そして、表示画面２１ｂは、検査時において、表示画面２１ｂを透過して視認される光景（検査者３０の視野範囲に写る画像６２に対応する領域の光景）と、表示画面２１ｂに表示される検査結果５０とを重ねて視認させることが可能である。たとえば、ＨＭＤ２１は、表示画面２１ｂの一部の領域に、検査結果５０を半透明の状態で表示するように構成されている。
　また、ＨＭＤ２１は、撮像部２２で撮像した検査画像６１、または、検査者３０の視野範囲に写る画像６２などを表示画面２１ｂに表示（投影）するように構成されている。これにより、検査者３０は、ＨＭＤ２１に投影された検査画像６１、または、検査者３０の視野範囲に写る画像６２などを直接確認することができるので、状況によっては撮像部２２の向きや配置位置などを修正することが可能である。
　撮像部２２は、検査者３０の頭部に装着されており、いわゆる、ウェアラブルカメラとして構成されている。撮像部２２は、ＨＭＤ装着部材２１ａに固定されている。これにより、ＨＭＤ２１は、ＨＭＤ装着部材２１ａを介して、撮像部２２を検査者３０の頭部に装着可能に構成されている。
　また、撮像部２２には、たとえば、光学部品（レンズなど）と撮像素子とが設けられている。また、撮像部２２は、検査対象物４０を撮像するように構成されている。具体的には、撮像部２２は、検査者３０の視野範囲に写る画像６２を取得するように構成されている。撮像部２２は、検査時において、検査者３０の視野範囲に写る画像６２を、検査対象物４０を含む領域を撮像した検査画像６１として取得するように構成されている。
　また、撮像部２２は、通信部２４を介して制御部２５と無線通信（または有線通信）可能に構成されている。そして、撮像部２２は、撮像した検査者３０の視野範囲に写る画像６２を、たとえば、動画として、通信部２４を介して制御部２５に送信するように構成されている。また、撮像部２２は、検査画像６１と、３次元モデル５２（図４参照）を生成するための複数の画像６３（図３参照）と、検査者３０の視野範囲に写る画像６２とを取得するように構成されている。
　記憶部２３は、不揮発性メモリとして構成されている。そして、記憶部２３は、制御部２５による指令に基づいて、後述する３次元モデル５２と、検査位置５３と、検査結果５０とを記憶するように構成されている。また、記憶部２３は、制御部２５が実行する各種プログラムを記憶している。また、記憶部２３は、コントローラボックス２ａに対して脱着可能に構成されている。たとえば、記憶部２３は、ＳＤカード（登録商標）として構成されている。なお、記憶部２３は、コントローラボックス２ａに直接装着されてもよいし、コントローラボックス２ａに外付けするように、ケーブルを配してコントローラボックス２ａに連結されていてもよい。すなわち、記憶部２３は、リムーバブルメディア（可搬型記憶媒体）である。
　通信部２４は、通信部１４と無線通信可能に構成されているとともに、撮像部２２と無線通信可能に構成されている。また、通信部２４は、管制室１２０の通信装置１２２と無線通信可能に構成されている。
　〈制御部の構成〉
　制御部２５は、航空機検査支援装置１００の各部の制御を行うように構成されている。また、制御部２５は、検査対象物４０の検査結果５０を取得するとともに、３次元モデル５２上の検査位置５３に対応する３次元モデル位置５４と、検査位置５３と、検査結果５０とを関連付けて記憶させる制御を行うように構成されている。たとえば、制御部２５は、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）および画像処理装置（ＧＰＵ：Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などを含む。検査結果５０は、検査部１０によって取得された検査対象物４０の測定データである。
　本実施形態では、図２に示すように、制御部２５は、３次元モデル生成部２５ａと、検査位置取得部２５ｂと、設計データ取得部２５ｃと、外観形状検査部２５ｄとを含む。なお、制御部２５は、記憶部２３に記憶されている各種プログラムを実行することにより、３次元モデル生成部２５ａ、検査位置取得部２５ｂ、設計データ取得部２５ｃ、および、外観形状検査部２５ｄとして機能する。また、検査位置５３は、検査対象物４０の検査を実施した位置であり、３次元の位置座標を含む。また、３次元モデル位置５４は、３次元モデル５２状の位置を示す３次元の位置座標を含む。
　３次元モデル生成部２５ａは、複数の位置から形状データを取得することにより、航空機の形状の３次元モデル５２を生成するように構成されている。本実施形態において、３次元モデル５２とは、航空機の形状情報を含み、撮像部２２によって取得された画像６３に基づいて生成される。３次元モデル生成部２５ａが３次元モデル５２を生成する詳細な構成については、後述する。
　検査位置取得部２５ｂは、検査対象物４０の検査が実施された検査位置５３を取得するように構成されている。なお、検査位置５３は、検査対象物４０において検査が実施された位置であり、３次元の位置座標を含む。検査位置取得部２５ｂが、検査位置５３を取得する詳細な構成については、後述する。
　設計データ取得部２５ｃは、少なくとも検査対象物４０を含む検査領域の３次元設計データ５６を取得する。具体的には、設計データ取得部２５ｃは、サーバー装置１２１に記憶されている３次元設計データ５６を予め取得するように構成されている。
　外観形状検査部２５ｄは、少なくとも３次元モデル５２に基づいて、検査対象物４０の外観形状の状態変化の検査を行うように構成されている。外観形状検査部２５ｄが検査対象物４０の外観形状の状態変化の検査を行う詳細な構成については、後述する。
（３次元モデル）
　次に、図３および図４を参照して、本実施形態における３次元モデル生成部２５ａが３次元モデル５２を生成する構成について説明する。
　図３に示すように、３次元モデル生成部２５ａは、撮像位置を変化させながら撮像された複数枚の画像６３に基づいて、３次元モデル５２を生成するように構成されている。３次元モデル生成部２５ａは、いわゆるＶｉｓｕａｌ　ＳＬＡＭ（Ｓｉｍｕｌａｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）を用いて３次元モデル５２を生成するように構成されている。具体的には、撮像部２２の位置を変化させながら、検査対象物４０を撮像する。検査対象物４０には、複数の特徴点７０が含まれており、撮像位置に応じて、画像６２中における特徴点７０の位置が変化する。３次元モデル生成部２５ａは、撮像位置を変化させながら撮像された複数枚の画像６３中に写る特徴点７０の位置関係に基づいて、３次元モデル５２を生成する。すなわち、３次元モデル５２は、複数枚の画像６３における各特徴点７０の位置関係から、各特徴点７０の３次元の位置座標を推測することにより取得された、航空機の３次元マップである。
　図４は、３次元モデル生成部２５ａが生成した３次元モデル５２の模式図である。本実施形態では、検査部１０による検査を実施する前に、予め、航空機の３次元モデル５２を生成し、記憶部２３に記憶しておく。
（マーカー光発生部）
　次に、図５～図７を参照して、マーカー光発生部１３の構成およびマーカー光発生部１３によるマーカー光の照射方法について説明する。
　マーカー光発生部１３は、筐体１３ａと、スイッチ１３ｂと、発光部１３ｃとを含む。また、筐体１３ａには、検査者３０の指３１（手指）が挿入される開口１３ｄが設けられている。マーカー光発生部１３は、スイッチ１３ｂが押下されることにより、発光部１３ｃから検査対象物４０の検査位置５３においてマーカー光が発光されるように構成されている。発光部１３ｃは、たとえば、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）などを含む。
　図６に示すように、検査者３０は、マーカー光発生部１３を指３１（手指）に装着した状態で、計測プローブ１２を把持し、検査対象物４０の検査を行う。マーカー光発生部１３は、検査対象物４０の検査位置５３において、少なくとも、検査合格を示す第１マーカー光と、検査不合格を示す第２マーカー光とを発光可能に構成されている。本実施形態では、マーカー光発生部１３は、第１マーカー光の発光色と、第２マーカー光の発光色とを互いに異ならせることが可能に構成されている。これにより、検査者３０は、検査結果５０を識別することができる。
　図６は、検査者３０が、第１マーカー光を発光した場合の検査画像６１（視野範囲に写る画像６２）の模式図である。すなわち、図６に示す例は、検査合格の場合の検査画像６１（視野範囲に写る画像６２）である。また、図７は、検査者３０が、第２マーカー光を発光した場合の検査画像６１（視野範囲に写る画像６２）の模式図である。すなわち、図７に示す例は、検査不合格の場合の検査画像６１（視野範囲に写る画像６２）の模式図である。検査者３０は、検査結果５０に基づいて、第１マーカー光および第２マーカー光を発光させる。具体的には、計測プローブ１２によって検査対象物４０（リベット４１）を検査する際に取得された検査結果５０を、ＨＭＤ２１に表示する。検査者３０は、ＨＭＤ２１に表示された検査結果５０に基づいて、第１マーカー光および第２マーカー光を選択して発光させる。なお、図６および図７に示す例では、ハッチングの違いにより、第１マーカー光の発光色と第２マーカー光の発光色との違いを図示している。
　また、本実施形態では、検査位置取得部２５ｂは、検査画像６１に写るマーカー光の位置を取得することにより、検査位置５３を取得するように構成されている。
（３次元モデルと、検査位置と、検査結果と、検査判定結果との関連付け）
　本実施形態では、制御部２５は、検査対象物４０の検査位置５３と、３次元モデル位置５４とを関連付けるとともに、３次元モデル位置５４と検査位置５３とが関連付けられた３次元モデル５２を、記憶部２３に記憶する制御を行うように構成されている。具体的には、制御部２５は、検査画像６１に基づいて、検査対象物４０の検査位置５３を取得するとともに、取得した検査位置５３と、３次元モデル位置５４とを関連付ける制御を行うように構成されている。本実施形態では、制御部２５は、３次元モデル５２上の検査位置５３に対応する３次元モデル位置５４と、検査位置５３と、検査結果５０とを関連付けて記憶させる制御を行うように構成されている。また、本実施形態では、制御部２５は、３次元モデル位置５４、検査位置５３、および、検査結果５０に加えて、さらに検査対象物４０の検査判定結果５１を関連付けて記憶する制御を行うように構成されている。検査判定結果５１は、検査部１０によって取得された検査対象物４０の修理または交換が必要であるか否かを示す情報である。検査判定結果５１は、検査結果５０に基づいて取得される。検査判定結果５１は、たとえば、検査対象物４０の修理、または、交換が必要でない「合格」と、検査対象物４０の修理、または、交換が必要な「不合格」とが含まれる。
　本実施形態では、撮像部２２は、検査者３０が、検査対象物４０に対してマーカー光（第１マーカー光または第２マーカー光）を発光した状態において、検査対象物４０を撮像することにより検査画像６１を取得する。制御部２５は、検査画像６１に写るマーカー光に基づいて、検査判定結果５１を取得するように構成されている。すなわち、制御部２５は、検査画像６１において、第１マーカー光が写っている場合には、検査合格と判定する。また、制御部２５は、検査画像６１において、第２マーカー光が写っている場合には、検査不合格と判定する。
　制御部２５は、図８に示すように、３次元モデル位置５４と、検査画像６１と、検査結果５０と、検査判定結果５１とを、１つのデータファイル８０として記憶することにより、関連付けを行うように構成されている。たとえば、データファイル８０は、記憶部２３において、データベースとして編集可能に構成されている。また、計測情報画像６０および検査画像６１（視野範囲に写る画像６２）は、デジタル信号から構成される、たとえば、ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）形式、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）形式、および、ＡＶＩ（Ａｕｄｉｏ　Ｖｉｄｅｏ　Ｉｎｔｅｒｌｅａｖｅ）形式などの画像形式（動画形式または静止画形式）として記憶部２３に記憶される。
　図８に示す例では、制御部２５は、検査判定結果５１が「合格」の場合、「合格」を表す模様が描かれた画像を、検査判定結果５１として記憶する。本実施形態では、制御部２５は、たとえば、「合格」を表す模様として、「○」が描かれた画像を、検査判定結果５１として記憶する。また、制御部２５は、検査判定結果５１が「不合格」の場合、「不合格」を表す模様が描かれた画像を、検査判定結果５１として記憶する。たとえば、図８に示すように、制御部２５は、「不合格」を表す模様として、「×」が描かれた画像を、検査判定結果５１として記憶する。
　制御部２５は、サーバー装置１２１に予め記憶されている航空機検査に関する情報８１（図１参照）を取得するように構成されている。そして、制御部２５は、１つのデータファイル８０と、航空機検査に関する情報８１とを関連付けて記憶するように構成されている。たとえば、航空機検査に関する情報８１とは、対象機体型番、検査日時、検査作業者、検査部位などの情報により構成される。
（検査対象物の検査フロー）
　次に、図９を参照して、本実施形態における検査対象物４０の検査処理について説明する。なお、図９では、便宜上、検査者３０が行うステップについても、フローチャートとして図示している。また、検査者３０が行うステップについては、破線で図示している。
　ステップ２０１において、３次元モデル生成部２５ａは、複数の位置から形状データを取得することにより、航空機の形状の３次元モデル５２を生成する。なお、ステップ２０１の処理は、検査の開始前に事前に実行されていてもよい。
　次に、ステップ２０２において、検査者３０は、航空機の部品である検査対象物４０の検査を行う。次に、ステップ２０３において、検査者３０は、検査結果５０を確認する。
　次に、ステップ２０４において、検査者３０は、検査結果５０が合格であるか否かが判定される。検査結果５０が合格の場合、処理は、ステップ２０５へ進む。検査結果５０が不合格の場合、処理は、ステップ２０６へ進む。
　処理がステップ２０５へ進んだ場合、ステップ２０５において、検査者３０は、マーカー光発生部１３を用いて、検査対象物４０の検査位置５３において、第１マーカー光を発光させる。処理がステップ２０６へ進んだ場合、ステップ２０６において、検査者３０は、マーカー光発生部１３を用いて、検査対象物４０の検査位置５３において、第２マーカー光を発光させる。
　次に、ステップ２０７において、制御部２５は、検査画像６１を取得する。次に、ステップ２０８において、検査位置取得部２５ｂは、検査対象物４０の検査が実施された検査位置５３を取得する。次に、ステップ２０９において、制御部２５は、検査結果５０および検査判定結果５１を取得する。
　次に、ステップ２１０において、３次元モデル５２上の検査位置５３に対応する３次元モデル位置５４と、検査位置５３と、検査結果５０と、検査判定結果５１とを関連付けて記憶する。
　次に、ステップ２１１において、検査未実施の検査対象物４０があるか否かを判定する。具体的には、制御部２５は、予め検査すべき検査対象物４０が決定された検査計画などに基づき、検査未実施の検査対象物４０があるか否かを判定する。検査未実施の検査対象物４０がある場合、処理は、ステップ２０２へ進む。検査未実施の検査対象物４０がない場合、処理は終了する。
（検査結果表示）
　次に、図１０を参照して、本実施形態における航空機検査支援装置１００が、検査対象物４０に対して検査位置５３を表示する構成について説明する。
　制御部２５は、視野範囲に写る画像６２と、３次元モデル位置５４と検査位置５３とが関連付けられた３次元モデル５２とに基づいて、視野範囲に写る画像６２上に、少なくとも前回の検査時における過去の検査結果５７を表示する制御を行うように構成されている。なお、制御部２５は、検査実施前に、予め、過去の検査結果５７を取得し、記憶部２３に記憶しておくように構成されている。
　具体的には、制御部２５は、図１０に示すように、ＨＭＤ２１の表示画面２１ｂにおいて、視野範囲に写る画像６２を表示するとともに、視野範囲に写る画像６２上の検査位置５３に対して、検査結果５０を表示する制御を行うように構成されている。なお、図１０に示す例では、検査結果５０（検査判定結果５１）が不合格である検査対象物４０（リベット４１）に対して、ハッチングを付して図示している。なお、視野範囲に写る画像６２上の検査位置５３に対して表示する検査結果５０は、前回（１回前の検査時）の検査結果５７であってもよいし、それ以前（２回前の検査時以前）の検査結果５７であってもよい。また、前回の検査結果５７と、それ以前の検査結果５７とを併せて表示させてもよい。
（検査結果表示フロー）
　次に、図１１を参照して、検査結果５０を表示する処理について説明する。
　ステップ３０１において、制御部２５は、３次元モデル位置５４と検査位置５３とが関連付けられた３次元モデル５２を取得する。
　次に、ステップ３０２において、制御部２５は、検査者３０の視野範囲に写る画像６２を取得する。
　次に、ステップ３０３において、制御部２５は、視野範囲に写る画像６２中における検査対象物４０の検査結果５０を取得する。具体的には、制御部２５は、視野範囲に写る画像６２中における検査対象物４０の検査位置５３に基づいて、３次元モデル５２における検査対象物４０を特定し、３次元モデル５２に関連付けられている検査結果５０を取得する。
　次に、ステップ３０４において、制御部２５は、ＨＭＤ２１の表示画面２１ｂにおいて、視野範囲に写る画像６２を表示するとともに、視野範囲に写る画像６２上の検査位置５３に対して、検査結果５０を重ねて表示する。その後、処理は、終了する。
（外観形状の状態変化の検査）
　次に、図１２を参照して、本実施形態における航空機検査支援装置１００が、外観形状の状態変化の検査を行う構成について説明する。
　本実施形態では、航空機検査支援装置１００は、外観形状の変化として、へこみ、欠損、腐食、クラック（ひび割れまたは亀裂）、摩耗などの検査を行うように構成されている。図１２は、外観形状の状態変化として、たとえば、主翼部におけるへこみ７１を検査する例を示した模式図である。
　外観形状検査部２５ｄは、視野範囲に写る画像６１と、３次元モデル位置５４と検査位置５３とが関連付けられた３次元モデル５２と、検査位置５３における外観形状の状態変化を示す外観形状検査結果５８とに基づいて、視野範囲に写る画像６１上の検査位置５３に対して、外観形状検査結果５８を表示する制御を行うように構成されている。
　具体的には、図１２に示すように、外観形状検査部２５ｄは、３次元モデル生成部２５ａによって生成された３次元モデル５２と、設計データ取得部２５ｃによって取得された３次元設計データ５６との比較に基づいて、検査対象物４０を含む検査領域の外観形状の状態変化の検査を行うように構成されている。具体的には、外観形状検査部２５ｄは、３次元設計データ５６から、外観形状を検査する検査対象物４０を含む検査領域に対応する３次元設計データ５６を抽出する。制御部２５は、抽出した３次元設計データ５６に対する、３次元モデル５２の形状変化を取得することにより、外観形状の状態変化を検査するように構成されている。制御部２５は、外観形状の状態変化の検査結果として、外観形状検査結果５８を取得する。なお、図１２に示す例では、制御部２５は、外観形状検査結果５８において、ハッチングを付した領域７２の形状および大きさにより、へこみ７１の形状および大きさを示している。また、図１２に示す例では、ハッチングの違いにより、へこみ７１の深さを示している。すなわちハッチングが濃くなるにつれて、へこみ７１が深くなることを表している。
（外観形状の状態変化の検査のフロー）
　次に、図１３を参照して、外観形状の状態変化を検査する処理について説明する。
　ステップ４０１において、制御部２５は、３次元モデル５２を取得する。次に、ステップ４０２において、制御部２５は、３次元設計データ５６を取得する。
　次に、ステップ４０３において、外観形状検査部２５ｄは、３次元モデル５２と、抽出した３次元設計データ５６との比較に基づいて、検査対象物４０の検査領域の外観形状を検査する。
　次に、ステップ４０４において、制御部２５は、３次元モデル位置５４と、検査画像６１と、外観形状検査結果５８とを関連付けて記憶する。なお、外観形状検査結果５８とは、外観形状に変化が生じている部分の大きさ（縦横の寸法）および深さを含む。なお、制御部２５は、３次元設計データ５６に対する、３次元モデル５２の形状変化に基づいて、外観形状に変化が生じている部分の大きさ（縦横の寸法）および深さを取得するように構成されている。
　次に、ステップ４０５において、制御部２５は、全ての検査領域を検査したか否かを判定する。全ての検査領域の検査が完了している場合、処理は、終了する。全ての検査領域が完了していない場合、処理は、ステップ４０２へ進む。
　［本実施形態の効果］
　本実施形態では、以下のような効果を得ることができる。
　本実施形態では、上記のように構成することにより、航空機の３次元設計データ５６において検査対象物４０が記憶されていない場合でも、検査対象物４０の検査位置５３と検査結果５０とを関連付けて記憶することができる。また、制御部２５を備えることにより、生成された３次元モデル５２上の検査位置５３に対応する３次元モデル位置５４と、検査位置５３と、検査結果５０とを関連付けて記憶することができる。その結果、航空機の３次元設計データ５６において検査対象物４０が記憶されていない場合でも、検査位置５３と検査結果５０とを関連付けて記憶することができる。また、上記制御部２５を備えることにより、検査者３０は、３次元モデル５２において検査位置５３を確認することが可能となるので、検査位置５３を立体的に把握することができる。その結果、２次元モデルにおいて検査位置５３を確認する場合と比較して、航空機における検査位置５３をより直感的に把握することができる。また、制御部２５を備えることにより、検査位置５３と検査結果５０とを関連付けて記憶することが可能となるので、データを蓄積することにより、過去のデータと比較することが可能となり、検査結果５０の経時的な変化を把握することができる。その結果、飛行時間およびフライトサイクルなどの運用データと合わせて解析することにより、重点的に検査する箇所、および、予防保全に有益な情報を得ることができる。
　また、本実施形態では、上記のように、３次元モデル５２と、検査位置５３と、検査結果５０とを記憶する記憶部２３をさらに備え、制御部２５は、検査対象物４０の検査位置５３と、３次元モデル位置５４とを関連付けるとともに、３次元モデル位置５４と検査位置５３とが関連付けられた３次元モデル５２を、記憶部２３に記憶する制御を行うように構成されている。これにより、たとえば、管制室１２０など、航空機検査支援装置１００とは異なる場所に備えられた記憶部に３次元モデル位置５４と検査位置５３とが関連付けられた３次元モデル５２を記憶する構成と異なり、通信部２４などを設けることなく３次元モデル位置５４と検査位置５３とが関連付けられた３次元モデル５２を記憶することができる。その結果、部品点数が増加することを抑制することができる。
　また、本実施形態では、上記のように、検査時において、検査対象物４０を含む領域を撮像した検査画像６１を取得する撮像部２２を含み、制御部２５は、検査画像６１に基づいて、検査対象物４０の検査位置５３を取得するとともに、取得した検査位置５３と、３次元モデル位置５４とを関連付ける制御を行うように構成されている。これにより、検査画像６１に基づいて検査位置５３が取得されるので、複数の検査対象物４０を撮像することにより、１枚の検査画像６１から複数の検査対象物４０の検査位置５３を取得することができる。その結果、たとえば、検査者３０が検査対象物４０の検査位置５３の位置座標などを１つずつ入力する構成と比較して、検査位置５３を効率よく取得することができる。
　また、本実施形態では、上記のように、制御部２５は、３次元モデル位置５４、検査位置５３、および、検査結果５０に加えて、さらに検査対象物４０の検査判定結果５１を関連付けて記憶する制御を行うように構成されている。これにより、検査結果５０のみならず、検査判定結果５１を併せて確認することができる。その結果、検査判定結果５１を確認することにより、一見して、容易に検査の合否を判別することができる。
　また、本実施形態では、上記のように、検査画像６１を撮像する際に、検査位置５３を示すマーカー光を照射または発光するマーカー光発生部１３をさらに備える。これにより、検査画像６１に写るマーカー光を確認することにより、検査画像６１上において、容易に検査結果５０を把握することができる。その結果、一見して検査結果５０を把握することが可能となるので、ユーザの利便性を向上させることができる。
　また、本実施形態では、上記のように、マーカー光発生部１３は、検査対象物４０の検査位置５３に対して、少なくとも、検査合格を示す第１マーカー光と、検査不合格を示す第２マーカー光とを照射または発光可能に構成されている。これにより、検査対象物４０に対して第１マーカー光が照射または発光されているか第２マーカー光が照射または発光されているかを確認することにより、より容易に検査結果５０を把握することができる。その結果、一見して検査結果５０が合格であるか不合格であるかを把握することが容易に可能となるので、ユーザの利便性をより向上させることができる。
　また、本実施形態では、上記のように、３次元モデル生成部２５ａは、撮像位置を変化させながら撮像された複数枚の画像６３に基づいて、３次元モデル５２を生成するように構成されている。これにより、複数の撮像位置において画像を撮像することにより、容易に３次元モデル５２を取得することができる。その結果、たとえば、３Ｄレーザースキャンなどにより３次元モデル５２を取得する構成と比較して、装置構成が複雑化することを抑制することができる。
　また、本実施形態では、上記のように、少なくとも３次元モデル５２に基づいて、検査対象物４０の外観形状の状態変化の検査を行う外観形状検査部２５ｄをさらに備える。これにより、３次元設計データ５６を取得できない場合でも、３次元モデル５２を取得することにより、外観形状の状態変化の検査を実施することができる。
　また、本実施形態では、上記のように、少なくとも検査対象物４０を含む検査領域の３次元設計データ５６を取得する設計データ取得部２５ｃをさらに備え、外観形状検査部２５ｄは、３次元モデル生成部２５ａによって生成された３次元モデル５２と、設計データ取得部２５ｃによって取得された３次元設計データ５６との比較に基づいて、検査対象物４０を含む検査領域の外観形状の状態変化の検査を行うように構成されている。これにより、３次元設計データ５６と、３次元モデル５２とを比較することによって外観形状の検査が行われるため、３次元モデル５２のみによって外観形状の状態変化の検査を行う場合と比較して、外観形状の微細な変化も検査することができる。その結果、外観形状の状態変化の検査精度を向上させることができる。
　また、本実施形態では、上記のように、検査者３０の視野範囲に写る画像６２を表示する表示部としてのＨＭＤ２１をさらに備え、制御部２５は、視野範囲に写る画像６２と、３次元モデル位置５４と検査位置５３とが関連付けられた３次元モデル５２とに基づいて、視野範囲に写る画像６２上に、検査対象物４０の検少なくとも前回の検査時における過去の検査結果５７を表示する制御を行うように構成されている。これにより、視野範囲に写る画像６２を確認することにより、検査対象物４０と、過去の検査結果５７との両方を、一見して視認することができる。その結果、過去の検査結果５７に基づいて、注意して検査する検査対象物４０を、一見して容易に判別することができる。
　また、本実施形態では、上記のように、制御部２５は、視野範囲に写る画像６２と、３次元モデル位置５４と検査位置５３とが関連付けられた３次元モデル５２と、検査位置５３における外見形状の状態変化を示す外観形状検査結果５８とに基づいて、視野範囲に写る画像６２上の検査位置５３に対して、外観形状検査結果５８を表示する制御を行うように構成されている。これにより、検査対象物４０に対して外観形状検査結果５８が表示されるため、たとえば、再検査が必要な検査対象物４０、または、修理を行う検査対象物４０を容易に識別することができる。したがって、再検査または修理を行う検査対象物４０と、再検査または修理が必要ない検査対象物４０とを、一見して容易に識別することができる。その結果、再検査、または、修理の作業効率を向上させることができる。
　また、本実施形態では、上記のように、表示部としてのＨＭＤ２１は、検査対象物４０を含む検査領域および検査対象物４０における検査位置５３を表示するＨＭＤ２１として構成されている。これにより、検査者３０に視線を大きく変更させることなく、検査対象物４０および検査結果５０が表示された画像の両方を視認させることができるので、検査者３０による検査作業性をより一層向上させることができる。
　また、本実施形態では、上記のように、撮像部２２は、検査画像６１と、３次元モデル５２を生成するための複数の画像６３と、検査者３０の視野範囲に写る画像６２とを取得するように構成されている。これにより、検査画像６１と、３次元モデル５２を生成するための複数の画像６３と、検査者３０の視野範囲に写る画像６２とを、１つの撮像部２２によって取得することができる。その結果、それぞれの画像を取得する撮像部を備える構成と比較して、装置構成が複雑化すること抑制することができるとともに、部品点数が増加することを抑制することができる。
　［変形例］
　なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。
　（第１変形例）
　たとえば、上記実施形態では、ＨＭＤ２１の表示画面２１ｂにおいて、検査対象物４０に対して検査結果５０を表示する構成する例を示したが、本発明はこれに限られない。たとえば、図１４に示すように、制御部２５は、視野範囲に写る画像６２と、３次元モデル位置５４と検査位置５３とが関連付けられた３次元モデル５２とに基づき、視野範囲に写る画像６２上に検査位置５３を表示することにより、検査未実施の検査対象物４０a（リベット４１ａ）と、検査実施済の検査対象物４０ｂ（リベット４１ｂ）とを、互いに識別可能に表示する制御を行うように構成されている。なお、図１４に示す例では、検査未実施の検査対象物４０a（リベット４１ａ）に対してハッチングを付すことにより、検査実施済の検査対象物４０ｂ（リベット４１ｂ）と、検査未実施の検査対象物４０とを識別可能に図示している。
　図１５を参照して、検査実施済検査対象物の表示処理について説明する。
　ステップ５０１において、制御部２５は、３次元モデル５２を取得する。次に、ステップ５０２において、制御部２５は、検査者３０の視野範囲に写る画像６２を取得する。
　次に、ステップ５０３において、制御部２５は、視野範囲に写る画像６２中の検査対象物４０に対して、検査結果５０が記憶されているか否かを判定する。検査結果５０が記憶されている場合、処理は、ステップ５０４へ進む。検査結果５０が記憶されていない場合、処理は、ステップ５０５へ進む。
　ステップ５０４において、制御部２５は、検査対象物４０を検査実施済として表示する。ステップ５０５において、制御部２５は、検査対象物４０を、検査未実施として表示する。
　次に、ステップ５０６において、制御部２５は、視野範囲に写る画像６２中の全ての検査対象物４０について、検査結果５０が記憶されているか否かを確認したかを判定する。全ての検査対象物４０について確認した場合、処理は、終了する。全ての検査対象物４０について確認が完了していない場合、処理は、ステップ５０２ヘ進む。
　上記のように構成すれば、部品点数が多い航空機などを検査する場合でも、検査漏れが生じることを抑制することができる。また、検査実施済の検査対象物４０を再び検査することを抑制することができる。その結果、検査漏れおよび検査重複を抑制することが可能となるので、検査効率を向上させることができる。
　（第２変形例）
　また、上記実施形態では、表示部がＨＭＤ２１によって構成される例を示したが、本発明はこれに限られない。たとえば、図１６に示すように、表示部は、視野範囲に写る画像６２上に、検査対象物４０における検査位置５３を識別可能に表示する可搬型の表示装置２６であってもよい。可搬型の表示装置２６は、たとえば、タブレット端末などを含む。表示部が可搬型の表示装置２６として構成されている場合、検査者３０は、図１７に示すように、可搬型の表示装置２６を手に持った状態で、検査を実施してもよい。
　可搬型の表示装置２６を手にもって検査する場合、たとえば、図１８に示すように、撮像部２２によって撮像された視野範囲に写る画像６２を、可搬型の表示装置２６の表示画面２６ａに表示させ、検査位置５３、または、検査結果５０などを、視野範囲に写る画像６２上に重ねて表示してもよい。このように構成すれば、表示部が可搬型の表示装置２６として構成されるので、検査者３０が手にもって検査を行うなど、任意の位置に可搬型の表示装置２６を配置することができる。その結果、検査者３０が視認しやすい位置に可搬型の表示装置２６を配置することが可能となるので、ユーザの利便性を向上させることができる。
　（第３変形例）
　また、上記実施形態では、ＨＭＤ２１に写る検査者３０の視野範囲に写る画像６２状に検査位置５３を重ねて表示する構成の例を示したが、本発明はこれに限られない。たとえば、図１９に示す第３変形例による航空機検査支援装置１００のプロジェクタ５２１のように、光を検査対象物４０（航空機の胴体）に照射することにより、検査位置５３を表示させてもよい。なお、図１９に示す例では、ハッチングを付すことにより、状態が変化した検査対象物４０を識別可能に表示している。
　（第４変形例）
　また、上記実施形態では、検査部１０がデジタル信号の検査結果５０を出力する構成の例を示したが、本発明はこれに限られない。たとえば、図２０に示すように、アナログ信号の検査結果５０を出力する検査部１０を用いてもよい。検査部１０は、航空機の機種または検査対象物４０（たとえば、航空機の部位、あるいは整備品など）に対応付けられた特定の計測器である。したがって、検査部１０が検査結果５０（アナログ信号）を保存する機能を有しておらず、かつ、データ通信を行う機能を有していない場合がある。すなわち、検査部１０は、デジタル信号を用いないアナログ方式の機器として構成されていてもよい。検査部１０がアナログ方式の機器として構成されている場合、制御部２５では検査結果５０（アナログ信号）を扱えない。そのため、図２０に示すように、計測情報画像６０を撮像するための検査結果撮像部１５を設け、検査部側表示部１１の計測情報画像６０を撮像するように構成すればよい。制御部２５は、検査部１０による検査結果５０として、計測情報画像６０を、３次元モデル位置５４、検査位置５３および検査結果５０と関連付けて記憶するように構成すればよい。なお、検査結果撮像部１５は、たとえば、カメラ、または、光検出素子と光学部品（ミラー、レンズおよびフィルタ）との組み合わせとにより構成されている。そして、また、検査結果撮像部１５は、静止画または動画を撮像可能に構成されている。
　また、検査部１０が検査結果５０として、デジタル信号を保存する機能を有していた場合であっても、検査部１０が取得する検査結果５０と、制御部２５が取り扱い可能なデータとに互換性がないことがある。このような場合であっても、上記第４変形例のように構成すれば、制御部２５は、検査部１０による検査結果５０として、計測情報画像６０を、３次元モデル位置５４、検査位置５３および検査結果５０と関連付けて記憶することができる。
　（第５変形例）
　また、上記実施形態では、検査結果５０として、検査合格か、検査不合格かを取得し、３次元モデル５２と関連付けて記憶する構成の例を示したが、本発明はこれに限られない。たとえば、図２１に示すように、制御部２５は、検査結果５０に基づいて、「合格」、「不合格」に加えて、「要注意」と判定するように構成されていてもよい。「要注意」の判定項目を設ける場合、マーカー光発生部１３は、第１マーカー光および第２マーカー光に加えて、要注意を示す第３マーカー光を照射可能に構成すればよい。制御部２５は、「合格」、「不合格」に加えて、「要注意」である検査対象物４０における検査画像６１と、３次元モデル位置５４と、検査結果５０と、検査判定結果５１とを関連付けて記憶するように構成すればよい。なお、図２３に示す例では、「要注意」の検査判定結果５１を、三角マークが描画された画像として図示している。また、第３マーカー光を、第１マーカー光および第２マーカー光とは互いに異なるハッチングを付して図示している。また、制御部２５は、検査結果５０に基づいて、「合格」、「不合格」、および、「要注意」に加えて、「要経過観察」、「再検査（詳細検査を含む）」と判定するように構成されていてもよい。
　（第６変形例）
　また、上記実施形態では、設計データ取得部２５ｃが、サーバー装置１２１に記憶されている３次元設計データ５６を予め取得する構成の例を示したが、本発明はこれに限られない。たとえば、設計データ取得部２５ｃは、航空機の製造時、または、検査前において生成された３次元モデル５２を、３次元設計データ５６として取得するように構成されていてもよい。このように構成すれば、３次元設計データ５６が取得できない場合、または、３次元設計データ５６において検査対象物４０が記憶されていない場合でも、外観形状の状態変化を検査することができる。なお、設計データ取得部２５ｃが、航空機の製造時、または、検査前において生成された３次元モデル５２を、３次元設計データ５６として取得する場合、上記実施形態の検査対象物４０の検査フローにおけるステップ２０１の処理は省略することができる。
　（その他の変形例）
　また、上記実施形態では、航空機検査支援装置１００に、記憶部２３および通信部２４を設ける例を示したが、本発明はこれに限られない。たとえば、航空機検査支援装置１００に、記憶部２３を設けずに、取得した３次元モデル５２などを、通信部２４によりサーバー装置１２１に送信するように構成してもよい。また、通信部２４を設けずに、記憶部２３を着脱して、航空機検査支援装置１００から分離された記憶部２３をサーバー装置１２１に接続して、３次元モデル５２などをサーバー装置１２１に転送させてもよい。
　また、上記実施形態では、航空機の部品として航空機の胴体（リベット４１およびプレート４２）を検査する構成の例を示したが、本発明はこれに限られない。たとえば、航空機の部品としてのエンジン内部のタービンなどの機器の検査を行ってもよい。また、渦電流探傷装置、または、超音波探傷装置以外の検査装置として、バードストライクの状況の観察の際における、ボアスコープによる検査、または、その他の、計測器などを用いた試験あるいは検査において本発明を適用してもよい。
　また、上記実施形態では、航空機検査支援装置１００に通信部２４を設けて、無線通信可能に構成する例を示したが、本発明はこれに限られない。すなわち、上記実施形態に記載した無線通信するための構成を、ケーブルを用いた有線通信するための構成として構成してもよい。
　また、上記実施形態では、検査結果５０に基づいて、検査者３０が検査合格か検査不合格化の判定を行う構成の例を示したが、本発明はこれに限られない。たとえば、制御部２５は、検査結果５０に基づいて、検査結果５０を取得するように構成されていてもよい。具体的には、予め傷などをつけた検査対象物４０と、傷などをつけていない検査対象物４０とを測定した判定用データを予め記憶部２３に記憶しておく。制御部２５は、検査対象物４０の検査結果５０と、判定用データとに基づいて、検査結果５０を取得するように構成されていてもよい。
　また、上記実施形態および上記変形例は、適宜組み合わせて構成してもよい。たとえば、上記実施形態において、検査実施時において、検査未実施の検査対象物４０と検査実施済の検査対象物４０とを識別可能に表示するように構成されていてもよい。
　また、上記実施形態では、制御部２５が、３次元モデル位置５４、検査位置５３、および、検査結果５０に加えて、さらに検査部１０による検査結果５０を関連付けて記憶する制御を行う構成の例を示したが、本発明はこれに限られない。制御部２５は、３次元モデル位置５４、検査位置５３、および、検査結果５０とを関連付けて記憶すれば、検査結果５０をさらに関連付けて記憶しなくてもよい。
　また、上記実施形態では、検査者３０がマーカー光発生部１３を操作することにより、第１マーカー光および第２マーカー光を照射する構成の例を示したが、本発明はこれに限られない。たとえば、検査結果５０に基づいて、制御部２５が、マーカー光発生部１３を制御することにより、第１マーカー光および第２マーカー光を照射するように構成されていてもよい。
　また、上記実施形態では、３次元モデル生成部２５ａが、複数枚の画像６３に基づいて、３次元モデル５２を生成する構成の例を示したが、本発明はこれに限られない。たとえば、３次元モデル生成部２５ａは、レーザ光を照射することにより検査対象４０の位置関係を取得するＬｉｄａｒ　ＳＬＡＭ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ　ＳＬＡＭ）、３次元レーザースキャン、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）、超音波、ジャイロセンサー、加速度センサーのうちのいずれか、または組み合わせて用いることにより、３次元モデル５２を生成するように構成されていてもよい。また、３次元モデル生成部２５ａが、Ｖｉｓｕａｌ　ＳＬＡＭを用いて３次元モデル５２を生成する場合、複数枚の画像６３は、単眼カメラ、ステレオカメラ、ＲＧＢＤカメラなどを用いて取得されてもよい。
　また、上記実施形態では、表示部がＨＭＤ２１として構成されている例を示したが、本発明はこれに限られない。たとえば、表示部は、メガネ型のウェアラブル表示装置として構成されていてもよい。
　また、上記実施形態では、制御部２５が、検査位置５３と、３次元モデル位置５４と、検査結果５０とを１つのデータファイル８０として記憶することにより関連付ける構成の例を示したが、本発明はこれに限られない。たとえば、制御部２５は、検査位置５３と、３次元モデル位置５４と、検査結果５０とを関連付けることが可能であれば、どのように構成されていてもよい。たとえば、制御部２５は、検査位置５３と、３次元モデル位置５４と、検査結果５０とに対して、共通の識別子（ＩＤ）を付すことにより関連付けるように構成されていてもよい。
　また、上記実施形態では、制御部２５が、検査不合格の検査対象物４０に対して、検査結果５０を表示する構成の例を示したが、本発明はこれに限られない。たとえば、制御部２５は、検査合格の検査対象物４０に対しても、検査結果５０を表示するように構成されていてもよい。
　また、上記実施形態では、外観形状検査部２５ｄが、３次元設計データ５６と、３次元モデル５２とを比較することにより、検査対象物４０の外観形状の状態変化を検査する構成の例を示したが、本発明はこれに限られない。たとえば、外観形状検査部２５ｄは、３次元設計データ５６と、３次元モデル５２との比較に加えて、モアレ、デジタル画像相関（ＤＩＣ：Ｄｅｇｉｔａｌ　Ｉｍａｇｅ　Ｃｏｒｒｅｌａｔｉｏｎ）などを用いることにより、検査対象物４０の外観形状の状態変化を検査するように構成されていてもよい。
　また、上記実施形態では、航空機検査支援装置１００と、通信装置１２２とが無線通信を行う構成の例を示したが、本発明はこれに限られない。たとえば、航空機検査支援装置１００と、通信装置１２２とは、記憶媒体を介してデータのやり取りを行うように構成されていてもよい。
　また、上記実施形態では、コントローラボックス２ａが、検査者３０により携帯または装着される例を示したが、本発明はこれに限られない。たとえば、コントローラボックス２ａは、検査部１０側に設けられていてもよい。コントローラボックス２ａを検査部１０側に設ける場合、バンドなどを用いて検査部１０と一体化すればよい。また、検査部１０を台車などに乗せて検査する場合には、検査部１０が配置された台車に、コントローラボックス２ａを配置してもよい。
　また、上記実施形態では、マーカー光発生部１３が検査位置５３においてマーカー光を発光する構成の例を示したが、本発明はこれに限られない。たとえば、マーカー光発生部１３は、検査位置５３に対して、マーカー光を照射するように構成されていてもよい。
　また、上記実施形態では、マーカー光発生部１３が、第１マーカー光の発光色と第２マーカー光の発光色とを異ならせる構成の例を示したが、本発明はこれに限られない。たとえば、マーカー光発生部１３は、第１マーカー光の発光パターンと、第２マーカー光の発光パターンとを異ならせるように構成されていてもよい。
　また、上記実施形態では、検査者３０が検査部１０によって検査を実施し、３次元モデル位置５４と、検査位置５３と、検査結果５０とを関連付けて記憶させる構成の例を示したが、本発明はこれに限られない。たとえば、検査者３０は、検査対象４０を目視によって検査してもよい。検査者３０が目視によって検査対象物４０を検査する場合、マーカー光発生部１３によって検査対象物４０にマーカー光を照射することにより、検査位置５３を取得し、３次元モデル位置５４と、検査位置５３と、検査結果５０とを関連付けて記憶させればよい。
　また、上記実施形態では、同一の撮像部２２によって、３次元モデル５２を生成するための複数の画像６３と、検査者３０の視野範囲に写る画像６２とを取得する構成の例を示したが、本発明はこれに限られない。複数の画像６３を取得する撮像部と、視野範囲に写る画像６２とを取得する撮像部は、それぞれ別々であってもよい。複数の画像６３を取得するための撮像部は、検査者３０が携帯可能に構成されていてもよい。このように構成すれば、検査者が撮像部を手に携帯した状態において複数の画像６３を取得することが可能となるので、頭部に装着した撮像部２２によって複数の画像６３を取得する構成と比較して、作業効率を向上させることができる。
　また、上記実施形態では、通信部１４が、計測情報画像６０を動画像として連続的に通信部２４に送信する構成の例を示したが、本発明はこれに限られない。たとえば、通信部１４は、計測情報画像６０を静止画像として通信部２４に送信するように構成されていてもよい。
［態様］
　上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
（項目１）
　複数の位置から形状データを取得することにより、航空機の形状の３次元モデルを生成する３次元モデル生成部と、
　航空機の部品である検査対象物の検査位置を取得する検査位置取得部と、
　前記検査対象物の検査結果を取得するとともに、前記３次元モデル上の前記検査位置に対応する３次元モデル位置と、前記検査位置と、前記検査結果とを関連付けて記憶させる制御を行う制御部とを備える、航空機検査支援装置。
（項目２）
　前記３次元モデルと、前記検査位置と、前記検査結果とを記憶する記憶部をさらに備え、
　前記制御部は、前記検査対象物の前記検査位置と、前記３次元モデル位置とを関連付けるとともに、前記３次元モデル位置と前記検査位置とが関連付けられた前記３次元モデルを、前記記憶部に記憶する制御を行うように構成されている、項目１に記載の航空機検査支援装置。
（項目３）
　検査時において、前記検査対象物を含む領域を撮像した検査画像を取得する撮像部を含み、
　前記制御部は、前記検査画像に基づいて、前記検査対象物の前記検査位置を取得するとともに、取得した前記検査位置と、前記３次元モデル位置とを関連付ける制御を行うように構成されている、項目２に記載の航空機検査支援装置。
（項目４）
　前記制御部は、前記３次元モデル位置、前記検査位置、および、前記検査結果に加えて、さらに前記検査対象物の検査判定結果を関連付けて記憶する制御を行うように構成されている、項目３に記載の航空機検査支援装置。
（項目５）
　前記検査画像を撮像する際に、前記検査位置を示すマーカー光を照射または発光するマーカー光発生部をさらに備える、項目３に記載の航空機検査支援装置。
（項目６）
　前記マーカー光発生部は、前記検査対象物の前記検査位置に対して、少なくとも、検査合格を示す第１マーカー光と、検査不合格を示す第２マーカー光とを照射または発光可能に構成されている、項目５に記載の航空機検査支援装置。
（項目７）
　前記３次元モデル生成部は、撮像位置を変化させながら撮像された複数枚の画像に基づいて、前記３次元モデルを生成するように構成されている、項目１に記載の航空機検査支援装置。
（項目８）
　少なくとも前記３次元モデルに基づいて、前記検査対象物の外観形状の状態変化の検査を行う外観形状検査部をさらに備える、項目１に記載の航空機検査支援装置。
（項目９）
　少なくとも前記検査対象物を含む検査領域の３次元設計データを取得する設計データ取得部をさらに備え、
　前記外観形状検査部は、前記３次元モデル生成部によって生成された前記３次元モデルと、前記設計データ取得部によって取得された前記３次元設計データとの比較に基づいて、前記検査対象物を含む検査領域の外観形状の状態変化の検査を行うように構成されている、項目８に記載の航空機検査支援装置。
（項目１０）
　前記設計データ取得部は、航空機の製造時、または、検査前において生成された前記３次元モデルを、前記３次元設計データとして取得するように構成されている、項目９に記載の航空機検査支援装置。
（項目１１）
　検査者の視野範囲に写る画像を表示する表示部をさらに備え、
　前記制御部は、前記視野範囲に写る画像と、前記３次元モデル位置と前記検査位置とが関連付けられた前記３次元モデルとに基づいて、前記検査対象物を含む検査領域に少なくとも前回の検査時における過去の検査結果を投影することにより表示するか、または、前記視野範囲に写る画像上に、前記検査対象物の前記過去の検査結果を表示する制御を行うように構成されている、項目１に記載の航空機検査支援装置。
（項目１２）
　前記制御部は、前記視野範囲に写る画像と、前記３次元モデル位置と前記検査位置とが関連付けられた前記３次元モデルとに基づき、前記検査対象物を含む検査領域に前記検査位置を投影することにより、検査未実施の前記検査対象物と、検査実施済の前記検査対象物とを、互いに識別可能に表示するか、または、前記視野範囲に写る画像上に前記検査位置を表示することにより、検査未実施の前記検査対象物と、検査実施済の前記検査対象物とを、互いに識別可能に表示する制御を行うように構成されている、項目１１に記載の航空機検査支援装置。
（項目１３）
　検査者の視野範囲に写る画像を表示する表示部をさらに備え、
　前記制御部は、前記視野範囲に写る画像と、前記３次元モデル位置と前記検査位置とが関連付けられた前記３次元モデルと、前記検査位置における外観形状の状態変化を示す外観形状検査結果とに基づいて、前記検査対象物を含む検査領域の前記検査位置に対して、投影することにより前記外観形状検査結果を表示するか、または、前記視野範囲に写る画像上の前記検査位置に対して、前記外観形状検査結果を表示する制御を行うように構成されている、項目９に記載の航空機検査支援装置。
（項目１４）
　前記表示部は、前記検査対象物を含む検査領域および前記検査対象物における前記検査位置を表示するヘッドマウントディスプレイとして構成されている、項目１１または１３に記載の航空機検査支援装置。
（項目１５）
　前記表示部は、前記視野範囲に写る画像上に、前記検査対象物における前記検査位置を識別可能に表示する可搬型の表示装置として構成されている、項目１１または１３に記載の航空機検査支援装置。
（項目１６）
　前記撮像部は、前記検査画像と、前記３次元モデルを生成するための複数の画像と、検査者の視野範囲に写る画像とを取得するように構成されている、項目３に記載の航空機検査支援装置。
（項目１７）
　複数の位置から形状データを取得することにより、航空機の形状の３次元モデルを生成し、
　航空機の部品である検査対象物の検査し、
　前記検査対象物の検査結果を取得し、
　前記検査対象物の検査位置を取得し、
　前記３次元モデル上の前記検査位置に対応する３次元モデル位置と、前記検査位置と、前記検査結果とを関連付けて記憶する、航空機検査支援方法。
　２１　ＨＭＤ（ヘッドマウントディスプレイ）（表示部）
　２２　撮像部
　２５　制御部
　２５ａ　３次元モデル生成部
　２５ｂ　検査位置取得部
　２５ｃ　設計データ取得部
　２５ｄ　外観形状検査部
　２６　可搬型の表示装置（表示部）
　３０　検査者
　４０　検査対象物
　５０　検査結果
　５１　検査判定結果
　５２　３次元モデル
　５３　検査位置
　５４　３次元モデル位置
　５５　３次元設計データ
　５６　３次元設計データ
　５７　過去の検査結果
　５８　外観形状検査結果
　６１　検査画像
　６２　検査者の視野範囲に写る画像
　１００　航空機検査支援装置

Claims (17)

  1. 　複数の位置から形状データを取得することにより、航空機の形状の３次元モデルを生成する３次元モデル生成部と、
    　航空機の部品である検査対象物の検査位置を取得する検査位置取得部と、
    　前記検査対象物の検査結果を取得するとともに、前記３次元モデル上の前記検査位置に対応する３次元モデル位置と、前記検査位置と、前記検査結果とを関連付けて記憶させる制御を行う制御部とを備える、航空機検査支援装置。
  2. 　前記３次元モデルと、前記検査位置と、前記検査結果とを記憶する記憶部をさらに備え、
    　前記制御部は、前記検査対象物の前記検査位置と、前記３次元モデル位置とを関連付けるとともに、前記３次元モデル位置と前記検査位置とが関連付けられた前記３次元モデルを、前記記憶部に記憶する制御を行うように構成されている、請求項１に記載の航空機検査支援装置。
  3. 　検査時において、前記検査対象物を含む領域を撮像した検査画像を取得する撮像部を含み、
    　前記制御部は、前記検査画像に基づいて、前記検査対象物の前記検査位置を取得するとともに、取得した前記検査位置と、前記３次元モデル位置とを関連付ける制御を行うように構成されている、請求項２に記載の航空機検査支援装置。
  4. 　前記制御部は、前記３次元モデル位置、前記検査位置、および、前記検査結果に加えて、さらに前記検査対象物の検査判定結果を関連付けて記憶する制御を行うように構成されている、請求項３に記載の航空機検査支援装置。
  5. 　前記検査画像を撮像する際に、前記検査位置を示すマーカー光を照射または発光するマーカー光発生部をさらに備える、請求項３に記載の航空機検査支援装置。
  6. 　前記マーカー光発生部は、前記検査対象物の前記検査位置に対して、少なくとも、検査合格を示す第１マーカー光と、検査不合格を示す第２マーカー光とを照射または発光可能に構成されている、請求項５に記載の航空機検査支援装置。
  7. 　前記３次元モデル生成部は、撮像位置を変化させながら撮像された複数枚の画像に基づいて、前記３次元モデルを生成するように構成されている、請求項１に記載の航空機検査支援装置。
  8. 　少なくとも前記３次元モデルに基づいて、前記検査対象物の外観形状の状態変化の検査を行う外観形状検査部をさらに備える、請求項１に記載の航空機検査支援装置。
  9. 　少なくとも前記検査対象物を含む検査領域の３次元設計データを取得する設計データ取得部をさらに備え、
    　前記外観形状検査部は、前記３次元モデル生成部によって生成された前記３次元モデルと、前記設計データ取得部によって取得された前記３次元設計データとの比較に基づいて、前記検査対象物を含む検査領域の外観形状の状態変化の検査を行うように構成されている、請求項８に記載の航空機検査支援装置。
  10. 　前記設計データ取得部は、航空機の製造時、または、検査前において生成された前記３次元モデルを、前記３次元設計データとして取得するように構成されている、請求項９に記載の航空機検査支援装置。
  11. 　検査者の視野範囲に写る画像を表示する表示部をさらに備え、
    　前記制御部は、前記視野範囲に写る画像と、前記３次元モデル位置と前記検査位置とが関連付けられた前記３次元モデルとに基づいて、前記検査対象物を含む検査領域に少なくとも前回の検査時における過去の検査結果を投影することにより表示するか、または、前記視野範囲に写る画像上に、前記検査対象物の前記過去の検査結果を表示する制御を行うように構成されている、請求項１に記載の航空機検査支援装置。
  12. 　前記制御部は、前記視野範囲に写る画像と、前記３次元モデル位置と前記検査位置とが関連付けられた前記３次元モデルとに基づき、前記検査対象物を含む検査領域に前記検査位置を投影することにより、検査未実施の前記検査対象物と、検査実施済の前記検査対象物とを、互いに識別可能に表示するか、または、前記視野範囲に写る画像上に前記検査位置を表示することにより、検査未実施の前記検査対象物と、検査実施済の前記検査対象物とを、互いに識別可能に表示する制御を行うように構成されている、請求項１１に記載の航空機検査支援装置。
  13. 　検査者の視野範囲に写る画像を表示する表示部をさらに備え、
    　前記制御部は、前記視野範囲に写る画像と、前記３次元モデル位置と前記検査位置とが関連付けられた前記３次元モデルと、前記検査位置における外観形状の状態変化を示す外観形状検査結果とに基づいて、前記検査対象物を含む検査領域の前記検査位置に対して、投影することにより前記外観形状検査結果を表示するか、または、前記視野範囲に写る画像上の前記検査位置に対して、前記外観形状検査結果を表示する制御を行うように構成されている、請求項９に記載の航空機検査支援装置。
  14. 　前記表示部は、前記検査対象物を含む検査領域および前記検査対象物における前記検査位置を表示するヘッドマウントディスプレイとして構成されている、請求項１１または１３に記載の航空機検査支援装置。
  15. 　前記表示部は、前記視野範囲に写る画像上に、前記検査対象物における前記検査位置を識別可能に表示する可搬型の表示装置として構成されている、請求項１１または１３に記載の航空機検査支援装置。
  16. 　前記撮像部は、前記検査画像と、前記３次元モデルを生成するための複数の画像と、検査者の視野範囲に写る画像とを取得するように構成されている、請求項３に記載の航空機検査支援装置。
  17. 　複数の位置から形状データを取得することにより、航空機の形状の３次元モデルを生成し、
    　航空機の部品である検査対象物の検査し、
    　前記検査対象物の検査結果を取得し、
    　前記検査対象物の検査位置を取得し、
    　前記３次元モデル上の前記検査位置に対応する３次元モデル位置と、前記検査位置と、前記検査結果とを関連付けて記憶する、航空機検査支援方法。
     
PCT/JP2019/028553 2019-07-19 2019-07-19 航空機検査支援装置および航空機検査支援方法 WO2021014514A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/628,143 US20220281617A1 (en) 2019-07-19 2019-07-19 Aircraft inspection support device and aircraft inspection support method
PCT/JP2019/028553 WO2021014514A1 (ja) 2019-07-19 2019-07-19 航空機検査支援装置および航空機検査支援方法
JP2021534872A JP7188596B2 (ja) 2019-07-19 2019-07-19 航空機検査支援装置および航空機検査支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/028553 WO2021014514A1 (ja) 2019-07-19 2019-07-19 航空機検査支援装置および航空機検査支援方法

Publications (1)

Publication Number Publication Date
WO2021014514A1 true WO2021014514A1 (ja) 2021-01-28

Family

ID=74193484

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028553 WO2021014514A1 (ja) 2019-07-19 2019-07-19 航空機検査支援装置および航空機検査支援方法

Country Status (3)

Country Link
US (1) US20220281617A1 (ja)
JP (1) JP7188596B2 (ja)
WO (1) WO2021014514A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11754507B2 (en) 2021-04-05 2023-09-12 Lockheed Martin Corporation Workforce augmenting inspection device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0115034B2 (ja) * 1981-07-31 1989-03-15 Energy Support Corp
JP2010281754A (ja) * 2009-06-05 2010-12-16 Nikon Corp 生成装置、検査装置、プログラムおよび生成方法
JP2016522089A (ja) * 2013-03-15 2016-07-28 カーネギー メロン ユニバーシティ 複雑な表面検査及び加工のための制御された自律型ロボットシステム
JP2017033429A (ja) * 2015-08-05 2017-02-09 株式会社三次元メディア ３次元物体検査装置
JP2017059213A (ja) * 2015-09-16 2017-03-23 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 没入型設計管理システム
US20180186475A1 (en) * 2016-12-19 2018-07-05 COC Aerospace System and method for refurbishing aircraft structures
JP2019028595A (ja) * 2017-07-27 2019-02-21 株式会社大林組 検査処理システム、検査処理方法及び検査処理プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012050803A2 (en) 2010-09-29 2012-04-19 Aerobotics, Inc. Novel systems and methods for non-destructive inspection of airplanes
US9285296B2 (en) 2013-01-02 2016-03-15 The Boeing Company Systems and methods for stand-off inspection of aircraft structures

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0115034B2 (ja) * 1981-07-31 1989-03-15 Energy Support Corp
JP2010281754A (ja) * 2009-06-05 2010-12-16 Nikon Corp 生成装置、検査装置、プログラムおよび生成方法
JP2016522089A (ja) * 2013-03-15 2016-07-28 カーネギー メロン ユニバーシティ 複雑な表面検査及び加工のための制御された自律型ロボットシステム
JP2017033429A (ja) * 2015-08-05 2017-02-09 株式会社三次元メディア ３次元物体検査装置
JP2017059213A (ja) * 2015-09-16 2017-03-23 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 没入型設計管理システム
US20180186475A1 (en) * 2016-12-19 2018-07-05 COC Aerospace System and method for refurbishing aircraft structures
JP2019028595A (ja) * 2017-07-27 2019-02-21 株式会社大林組 検査処理システム、検査処理方法及び検査処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11754507B2 (en) 2021-04-05 2023-09-12 Lockheed Martin Corporation Workforce augmenting inspection device

Also Published As

Publication number Publication date
JPWO2021014514A1 (ja) 2021-01-28
JP7188596B2 (ja) 2022-12-13
US20220281617A1 (en) 2022-09-08

Similar Documents

Publication Publication Date Title
CN108701428B (zh) 同步焊接数据以供呈现的焊接培训系统
CN109557099B (zh) 检查装置以及检查系统
JP5378374B2 (ja) リアルオブジェクトに対するカメラの位置および方向を把握する方法およびシステム
JP6490366B2 (ja) 非破壊検査のための方法およびシステム
JP5922572B2 (ja) 実用型３ｄビジョンシステム装置およびその方法
US7974462B2 (en) Image capture environment calibration method and information processing apparatus
JP4799088B2 (ja) 遠隔検査における作業位置計測方法およびその装置
US7782453B2 (en) Method for measuring missing corner dimensions
US20190347860A1 (en) Augmented reality-based system
CN107810080A (zh) 用于焊接机器视觉的飞行时间相机
JP6989444B2 (ja) 作業端末、漏油検出装置、及び、漏油検出方法
JPH03102202A (ja) 撮像手段による対象部分の検査方法
JP6392922B1 (ja) 検査システムの検査対象外となる領域を算出する装置、および検査対象外となる領域を算出する方法
CN112703156B (zh) 航空器检查辅助装置和航空器检查辅助方法
CN107972885A (zh) 用于检查闪电引起的不一致性的装置和方法
US20190141236A1 (en) Inspection workflow using ojbect recognition and other techniques
WO2021014514A1 (ja) 航空機検査支援装置および航空機検査支援方法
JP2012122432A (ja) コーティング部材の孔位置特定装置
CN103487448B (zh) X射线检查装置
Bienkowski et al. Hybrid camera and real-view thermography for nondestructive evaluation
JP2016038204A (ja) 内面形状検査用のセンサユニット及び内面形状検査装置
JPWO2021014514A5 (ja)
US11583958B2 (en) Method for testing a joint
Piszczek Laser photography-examples of processing of image information
JP2012141223A (ja) 表面欠陥検出・指示システムおよび表面処理の伴う加工物の製造方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19938844

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021534872

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19938844

Country of ref document: EP

Kind code of ref document: A1