WO2023089983A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2023089983A1
WO2023089983A1 PCT/JP2022/037777 JP2022037777W WO2023089983A1 WO 2023089983 A1 WO2023089983 A1 WO 2023089983A1 JP 2022037777 W JP2022037777 W JP 2022037777W WO 2023089983 A1 WO2023089983 A1 WO 2023089983A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information processing
shooting
imaging
processor
Prior art date
Application number
PCT/JP2022/037777
Other languages
English (en)
French (fr)
Inventor
修平 堀田
康平 佐藤
浩明 菊池
誠 與那覇
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2023089983A1 publication Critical patent/WO2023089983A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the present invention relates to an information processing device, an information processing method, and a program.
  • Patent Documents 1 to 3 In recent years, the use of photography using flying objects such as drones has become widespread (Patent Documents 1 to 3). The use of photography using flying objects is also being considered for structural inspections.
  • the present invention has been made in view of such circumstances, and its object is to provide an information processing apparatus, an information processing method, and a program that can easily identify an image that needs to be re-captured and a position for re-capturing. do.
  • An information processing apparatus is an information processing apparatus comprising a processor, the processor acquires an image group including a plurality of photographed images of an object, and processes each of the plurality of photographed images for the image group. It is determined whether or not the photographed image satisfies a predetermined criterion, and the photographing failure portion of the failed image judged not to satisfy the criterion is specified.
  • the processor identifies the imaging failure location by identifying the adjacency relationship of the image group.
  • the processor includes a display device that displays the adjacency relationship of the image group and the shooting failure location.
  • the display device causes the processor to display the photographing failure part on the synthesized image obtained by synthesizing the photographed images of the image group based on the adjacency relationship.
  • the display device displays the content of the failure image specified by the processor.
  • the processor causes the display device to display a confirmation screen as to whether or not to re-capture the failed image, and accepts an instruction as to whether or not to re-capture.
  • the processor receives instructions for enlarged display and reduced display of the failed image, and causes the display device to display the failed image in accordance with the received instructions.
  • the processor determines recommended imaging parameters for the imaging failure location based on the content of the failed image.
  • the processor transmits identification information specifying the imaging failure location to the moving body equipped with the imaging device.
  • the processor transmits the imaging failure location and the recommended imaging parameters to the moving body equipped with the imaging device.
  • the processor determines whether the captured image satisfies the criteria by analyzing the captured image included in the image group.
  • the processor acquires the shooting conditions under which the shot image was shot, and determines whether the shot image satisfies the criteria based on the shooting conditions.
  • the processor identifies the adjacency relationship of the image group from the correspondence relationship of the feature points in each captured image of the image group.
  • the processor identifies the adjacency relationship of the image group based on the shooting conditions of the shot image and the information of the object.
  • An information processing method is an information processing method executed by an information processing apparatus including a processor, the step of acquiring an image group including a plurality of photographed images of an object, executed by the processor; The method includes the steps of judging whether each photographed image of a plurality of photographed images satisfies a predetermined criterion for an image group, and specifying a photographing failure portion of the failed image judged not to satisfy the criterion.
  • a program of a sixteenth aspect is a program to be executed by an information processing apparatus comprising a processor, wherein the processor obtains an image group including a plurality of photographed images of an object; a step of determining whether each of the captured images satisfies a predetermined criterion; and a step of specifying the photographing failure portion of the failed image determined not to satisfy the criterion.
  • the information processing device, information processing method, and program of the present invention it is possible to easily specify the image that needs to be re-captured and the re-capture position.
  • FIG. 1 is a diagram conceptually showing a mobile imaging system.
  • FIG. 2 is a block diagram showing functions of a mobile unit.
  • FIG. 3 is a block diagram of the controller.
  • FIG. 4 is a block diagram of the information processing device.
  • FIG. 5 is a block diagram of the processing device controller.
  • FIG. 6 is a diagram for explaining imaging of an object by a moving object.
  • FIG. 7 is a flow chart showing an information processing method in the information processing apparatus.
  • FIG. 8 is a diagram for explaining acquisition of an image group by an information processing apparatus.
  • FIG. 9 is a diagram explaining a failure image displayed on the display device of the information processing device.
  • FIG. 10 is a schematic diagram showing the relationship between the captured image and the depth of field.
  • FIG. 11 is a diagram showing an example of a recapture confirmation screen.
  • FIG. 12 is a diagram illustrating an example of processing for specifying the adjacency relationship of captured images.
  • FIG. 13 is a diagram for explaining another example of the process of specifying the adjacency relationship of captured images.
  • 14A and 14B are diagrams for explaining the process of instructing the moving object to re-photograph.
  • FIG. 15 is a diagram for explaining re-photographing by the photographing device of the moving body.
  • FIG. 16 is a diagram for explaining the generated shooting route.
  • FIG. 1 is a diagram conceptually showing a moving body photographing system 1 composed of a moving body 100, a controller 250, and an information processing device 300.
  • the mobile body 100 has a mobile body 102 , a propulsion unit 104 provided in the mobile body 102 , and a control device 120 provided in the mobile body 102 .
  • the moving body main body 102 is a main component of the moving body 100 .
  • the mobile body 102 is controlled by a control device 120 .
  • the moving body main body 102 is, for example, an unmanned flying body, such as a drone.
  • the mobile body 102 includes a plurality of propellers and propeller drive motors.
  • the propeller and propeller drive motor constitute the propulsion section 104 .
  • the mobile body 102 may be a mobile robot, vehicle, or ship.
  • the mobile body 102 can be configured to be remotely operated or autonomous.
  • Remote operation means that the user operates mobile body 102 by instructing controller 250 from controller 250 to control device 120 from a position away from mobile body 102 .
  • Autonomous means that the control device 120 operates the mobile body 102 according to a pre-created program or the like without the intervention of the user. The program and the like are appropriately changed according to the place where the mobile body 100 is used.
  • a moving body 100 is equipped with an imaging device 200 .
  • the imaging device 200 is attached to the mobile body 102 via a gimbal 110, for example.
  • the imaging device 200 is controlled by a control device 120 provided in the mobile body 102 .
  • the imaging device 200 mounted on the mobile object 100 takes an image of the object.
  • the objects are, for example, civil engineering structures such as bridges, dams and tunnels, as well as architectural structures such as buildings, houses, walls of buildings, pillars and beams. However, objects are not limited to these civil engineering structures and buildings.
  • the information processing device 300 includes, for example, an operation unit 310, a display device 320, and a processing device control unit 330.
  • the processing device control unit 330 is configured by a computer including a CPU (Central Processing Unit), a ROM (read-only memory), a RAM (Random Access Memory), a storage device, and the like.
  • CPU Central Processing Unit
  • ROM read-only memory
  • RAM Random Access Memory
  • FIG. 2 is a block diagram showing the configuration of the moving body 100.
  • the mobile body 100 includes a control device 120 , a memory 140 , a propeller drive motor 150 , a motor driver 152 , a sensor section 154 , a mobile body communication section 156 and an imaging device 200 .
  • the control device 120 is, for example, a CPU and constitutes a processor.
  • the control device 120 includes a main control unit 122, a movement control unit 124, an imaging instruction reception unit 132, an imaging control unit 126, an imaging position information acquisition unit 128, an imaging posture information acquisition unit 130, and an imaging instruction reception unit. 132 and a shooting route generation unit 134 .
  • the main control unit 122 controls the entire function of each unit of the moving body 100 .
  • the main control unit 122 performs signal processing and data input/output with each unit, various arithmetic processing, and data storage and acquisition processing in the memory (storage device) 140 .
  • the control device 120 controls a main control unit 122, a movement control unit 124, an imaging control unit 126, an imaging position information acquisition unit 128, an imaging posture information acquisition unit 130, and an imaging instruction reception unit. 132 and a photographing route generation unit 134 .
  • the memory 140 stores information necessary for the operation of the moving body 100.
  • the memory 140 stores an operation program, flight route information, photographing information, and the like.
  • the memory 140 can store information that can be acquired when the moving object 100 takes an image of an object while flying, such as position information, attitude information, and captured images.
  • the memory 140 may be, for example, a storage medium removable from the mobile object 100, such as an SD card (Secure Digital card), a USB memory (Universal Serial Bus memory), or the like.
  • the movement control unit 124 controls the flight (movement) of the mobile body 100 by controlling the driving of the propeller drive motor 150 via the motor driver 152 .
  • the movement control unit 124 controls the driving of each propeller drive motor 150 based on the control signal transmitted from the controller 250 and the information on the flight state of the moving object 100 output from the sensor unit 154 to control the movement of the moving object 100 . control the flight.
  • the movement control unit 124 acquires the flight route information (for example, altitude, speed, range, etc.) from the memory 140, and controls the moving object 100 based on the flight route information. can control the flight, enabling autonomous flight.
  • the flight route information for example, altitude, speed, range, etc.
  • the sensor unit 154 detects the flight state of the mobile object 100 .
  • the sensor unit 154 includes positioning sensors such as GNSS (Global Navigation Satellite System), GPS (Global Positioning System), and RTK (Real Time Kinematic).
  • the positioning sensor acquires position information of the mobile object 100, such as latitude, longitude and altitude.
  • the sensor unit 154 includes a gyro sensor, a geomagnetic sensor, an acceleration sensor, a speed sensor, and an inertial measurement sensor configured by combining these with a plurality of axes.
  • the inertial measurement sensor acquires posture information of the moving body 100 , for example, information indicating the orientation of the moving body 100 .
  • the mobile communication unit 156 wirelessly communicates with the controller 250 and exchanges various signals and information with each other. For example, when the controller 250 is operated, a control signal based on that operation is transmitted from the controller 250 to the moving body 100 . Mobile communication unit 156 receives the control signal transmitted from controller 250 and outputs it to control device 120 . Mobile communication unit 156 transmits signals and information from control device 120 to controller 250 .
  • the imaging control unit 126 causes the imaging device 200 to perform imaging based on the imaging parameters.
  • the shooting parameters include shutter speed, F value, exposure correction amount, ISO sensitivity, focus position, focal length, strobe light emission ON/OFF, strobe light emission amount, light ON/OFF, and the like.
  • the imaging device 200 may automatically set the imaging parameters.
  • the capturing parameters include the interval between the capturing positions and the overlapping rate of the capturing range.
  • the overlap rate of the imaging ranges includes the overlap rate of the imaging ranges on the flight route and the side overlap rate of the imaging ranges between the flight routes.
  • the overlap rate can be adjusted, for example, by the distance or time traveled in the traveling direction of the moving object 100, and the side overlap rate can be adjusted by the flight path.
  • the imaging parameters are stored in the memory 140, for example. Also, the imaging parameters can be transmitted from the controller 250 to the moving object 100 . The transmitted imaging parameters are output to the control device 120 via the mobile communication unit 156 . The imaging control unit 126 stores the captured image captured by the imaging device 200 in the memory 140 . A photographed image can include photographing parameters at the time of photographing.
  • the photographing device 200 is controlled by the photographing control unit 126 to photograph the object.
  • the imaging device 200 acquires a two-dimensional color image as a captured image.
  • a photographing device that acquires a two-dimensional color image includes, for example, an imaging device such as a CMOS (Complementary Metal Oxide Semiconductor).
  • the image sensor has a plurality of pixels composed of photoelectric conversion elements arranged two-dimensionally in the x direction (horizontal direction) and the y direction (vertical direction). (red), G (green), and B (blue) filters are arranged in a two-dimensional Bayer arrangement.
  • a two-dimensional color image is a planar image that does not have information in the so-called depth direction.
  • the imaging device 200 may acquire three-dimensional data in addition to the two-dimensional color image.
  • An imaging device that acquires three-dimensional data is, for example, a stereo camera.
  • a stereo camera captures images of an object simultaneously from a plurality of imaging devices arranged at different positions, and acquires three-dimensional data up to the object using parallax between images. If the imaging device that acquires the three-dimensional data is a stereo camera, one of the plurality of imaging devices can be used as the imaging device that acquires the two-dimensional color image.
  • the imaging device that acquires the three-dimensional data is a stereo camera.
  • Three-dimensional data can be obtained using imaging devices such as laser scanners or Time-of-Flight (ToF) cameras.
  • a laser scanner emits a laser pulse to an object and measures the distance from the time it takes for the laser pulse to return after being reflected from the surface of the object.
  • a time-of-flight camera obtains three-dimensional data by measuring the flight time of light. By acquiring three-dimensional data, information on the distance between the imaging device 200 and the object can be acquired.
  • the shooting position information acquisition unit 128 acquires the position information of the moving object 100 when the shooting device 200 shot the image from, for example, the positioning sensor of the sensor unit 154 as shooting position information.
  • the photographing position information acquisition unit 128 stores the acquired photographing position information in the memory 140 in association with the photographed image.
  • the shooting posture information acquisition unit 130 acquires posture information of the shooting device 200 when the shooting device 200 shoots. For example, when the orientation of the imaging device 200 can be adjusted by the gimbal 110, the imaging attitude information acquisition unit 130 acquires gimbal control information (rotation angle, etc.) and attitude information of the moving object 100 from the inertial measurement sensor of the sensor unit 154. Then, the gimbal control information and the attitude information of the moving body 100 are combined and acquired as shooting attitude information. On the other hand, when the orientation of the imaging device 200 is fixed, the orientation information of the moving body 100 obtained from the inertial measurement sensor of the sensor unit 154 is obtained as the imaging orientation information of the imaging device 200 . The shooting posture information acquisition unit 130 stores the acquired shooting posture information in the memory 140 in association with the captured image.
  • flight path of the moving body 100 and the imaging conditions of the imaging device 200 can be determined in advance by control software or the like.
  • the photographing instruction receiving unit 132 receives photographing instructions based on the photographing position information and the photographing attitude information stored in the moving body 100 that photographed the object.
  • the photographing instruction receiving unit 132 receives an instruction to re-photograph the photographed failure portion where the failed image was photographed.
  • the imaging instruction receiving unit 132 receives an instruction for re-imaging on the premise that the imaging position information and the imaging attitude information when the failed image was captured are used.
  • the moving body 100 moves to the photographing position based on the stored photographing position information and photographing posture information, and the photographing device 200 changes the photographing failure portion to the photographing posture. to retake the picture.
  • the photographing work including re-imaging of the photographing failure part can be efficiently performed, and the working time can be shortened.
  • the photographing instruction includes identification information for identifying the photographed image that needs to be re-photographed, such as the photographing sequence, photograph number, and file name for storing the photographed image associated with the photographed image acquired before re-photographing. is preferably included. Shooting position information and shooting attitude information can be easily obtained from the identification information.
  • a shooting instruction can include a correction amount for at least one of shooting position information and shooting posture information.
  • the shooting instruction preferably includes shooting parameters.
  • the shooting parameters include shutter speed, F value, exposure correction amount, ISO sensitivity, focus position, focal length, strobe light emission ON/OFF, strobe light emission amount, light ON/OFF, and the like.
  • the imaging parameters for re-imaging may be the same as those of the failed image captured before re-imaging, or may include a correction amount.
  • the photographing route generation unit 134 generates a photographing route for the photographing failure location for which the photographing instruction for re-photographing has been received.
  • the imaging route generation unit 134 may generate an imaging route that minimizes the total moving distance for imaging all locations for which imaging instructions have been received.
  • the photographing route generation unit 134 may generate, for example, a photographing route that goes around in a predetermined order with the shortest movement distance.
  • the predetermined order is the order of photograph numbers (for example, ascending order) for the photographing failure locations for which photographing instructions have been received.
  • FIG. 3 is a block diagram showing the configuration of the controller.
  • the controller 250 includes a controller operation section 250A, a controller display section 250B, a controller communication section 250C, and a control device 250D.
  • the controller operation unit 250A is configured with various operation members for operating the moving body 100.
  • the operating member for operating the moving body body 102 having the propulsion unit includes, for example, an operating member for instructing the moving body body 102 to ascend and descend, an operating member for instructing the moving body body 102 to turn, and the like.
  • the operation members for operating the photographing device 200 include, for example, an operation member for instructing the start of photographing and the end of photographing.
  • the controller display unit 250B is composed of, for example, an LCD (Liquid Crystal Display). Information on the flight state of the moving object 100 is displayed on the controller display unit 250B, for example.
  • LCD Liquid Crystal Display
  • the controller communication unit 250C wirelessly communicates with the mobile object 100 under the control of the control device 250D to exchange various signals with each other.
  • the control device 250D is a control unit that controls the overall operation of the controller 250.
  • the control device 250D is a CPU and includes a ROM and a RAM.
  • the control device 250D realizes various functions by executing a predetermined program. For example, when the controller operation unit 250A is operated, a control signal is generated according to the operation. A control signal is transmitted to the mobile unit 100 via the controller communication unit 250C. Further, the controller 250 acquires flight state information from the mobile object 100 via the controller communication unit 250C, and displays it on the controller display unit 250B.
  • the program is stored in ROM.
  • the controller 250 can transmit a photographing instruction for re-photographing to the moving object 100 .
  • FIG. 4 is a block diagram of the information processing device.
  • the information processing device 300 includes the operation unit 310, the display device 320, and the processing device control unit 330 as described above.
  • the processing unit control section 330 mainly includes an input/output interface 331 , a CPU 332 , a ROM 333 , a RAM 334 , a display control section 335 and a memory 336 .
  • a display device 320 constituting a display is connected to the information processing device 300 , and display is performed on the display device 320 under the control of the display control unit 335 under the command of the CPU 332 .
  • the display device 320 is, for example, a device such as a liquid crystal display, and can display various information.
  • the operation unit 310 includes a keyboard and a mouse, and the user can cause the processing unit control unit 330 to perform necessary processing via the operation unit 310.
  • the display device 320 can also function as the operation unit 310 .
  • the controller 250 and the information processing device 300 may be integrated.
  • the controller 250 is a device that separates the communication function of the information processing device 300 , and the transmission and reception to and from the mobile object 100 by the controller 250 constitutes part of the functions of the processing device control unit 330 of the information processing device 300 .
  • the input/output interface 331 can input/output various information to/from the information processing device 300 .
  • information stored in the memory 336 is input/output via the input/output interface 331 .
  • the input/output interface 331 can input/output information to/from the storage medium 400 existing outside the processor control unit 330 .
  • Examples of the storage medium 400 include an SD card, a USB memory, and the like.
  • information can be input/output to/from a network connected to the information processing apparatus 300 as well as to the storage medium 400 .
  • the storage medium 400 is, for example, the memory 140 of the mobile object 100 .
  • the memory 336 is a memory composed of a hard disk device, flash memory, or the like.
  • the memory 336 stores data and programs for operating the information processing apparatus 300 , such as an operating system and programs for executing the information processing apparatus 300 .
  • FIG. 5 is a block diagram showing processing functions realized by the CPU 332. As shown in FIG.
  • the CPU 332 includes an image group acquisition unit 341, a captured image determination unit 342, an imaging failure location identification unit 343, an imaging failure location display unit 344, a re-imaging confirmation screen display unit 345, a recommended imaging parameter determination unit 346, Prepare.
  • An image group acquisition unit 341, a captured image determination unit 342, a capturing failure location identifying unit 343, a capturing failure location display unit 344, a recapture confirmation screen display unit 345, and a recommended capturing parameter determination unit 346 are part of the CPU 332. , and the CPU 332 executes the processing of each unit.
  • the image group acquisition unit 341 acquires an image group including a plurality of captured images of an object captured by the moving body 100 .
  • the photographed image determination unit 342 determines whether each photographed image of a plurality of photographed images satisfies a predetermined criterion for the acquired image group.
  • the shooting failure part specifying unit 343 specifies the shooting failure part of the failed image determined not to satisfy the criteria.
  • the shooting failure location display unit 344 causes the display device 320 to display the adjacency relationship of the image group and the shooting failure location.
  • a recapture confirmation screen display unit 345 displays a confirmation screen for asking whether or not to recapture a failed image on the display device, and accepts an instruction as to whether or not to recapture.
  • the recommended imaging parameter determination unit 346 determines recommended imaging parameters for the imaging failure location based on the content of the failed image.
  • the object 500 is, for example, a bridge pier. Also, the moving object 100 is a UAV (Unmanned Aerial Vehicle).
  • UAV Unmanned Aerial Vehicle
  • the mobile object 100 flies around the object 500 based on control signals transmitted from the controller 250 .
  • the photographing device 200 mounted on the moving body 100 moves the photographing range of the object 500 according to the movement of the moving body 100. to shoot.
  • the photographing device 200 acquires a photographed image of a view angle range 210 for each photographing.
  • the imaging device 200 obtains a plurality of captured images by dividing and capturing the object 500 .
  • a plurality of photographed image IDs acquired in one flight of the mobile object 100 are acquired as one image group IG, and the acquired image group is stored in the memory 140 of the mobile object 100 .
  • the control device 120 acquires the shooting position information and shooting attitude information from the sensor unit 154 or from the control signals of the sensor unit 154 and the gimbal 110 for each shooting, and stores them in the memory 140 in association with the shot image.
  • the association with the photographed image is performed by associating identification information such as a file name that can identify the photographed image, a file ID, and a photograph number assigned to an arbitrary position, photographing position information, and photographing posture information, for example, in the form of a table. is stored in the memory 140 at .
  • the imaging device 200 basically acquires a two-dimensional color image as a captured image. Note that the imaging device 200 may acquire three-dimensional data at the same time.
  • SLAM Simultaneous Localization And Mapping
  • SfM Structure from Motion
  • SfM tracks a plurality of feature points on a captured image captured while moving the image capturing apparatus 200, and uses the correspondence relationship between these feature points to obtain the image capturing position information and image capturing posture information of the image capturing apparatus 200 and the feature points. , and the three-dimensional position of
  • the control device 120 of the moving body 100 can calculate the shooting position information and shooting attitude information, and store the calculated shooting position information and shooting attitude information in the memory 140 .
  • the processing device control unit 330 of the information processing device 300 can calculate the shooting position information and the shooting posture information, and the calculated shooting position information and the shooting posture information can be stored in the memory 336 .
  • control device 120 acquires the shooting position information and the shooting attitude information from the sensor unit 154 or from the control signals of the sensor unit 154 and the gimbal 110 for each shooting, and transmits the shooting position information and the shooting attitude information to the information processing device. 300 , and the shooting position information and the shooting posture information may be stored in the memory 336 of the information processing apparatus 300 .
  • the control device 120 of the moving body 100 calculates the shooting position information and the shooting posture information, transmits the shooting position information and the shooting posture information to the information processing device 300, and the information processing device 300
  • the shooting position information and shooting posture information may be stored in the memory 336 .
  • the imaging position information and the imaging attitude information of the imaging device 200 when the object 500 was imaged can be acquired and stored.
  • the control device 120 of the moving body 100 or the processing device control unit 330 of the information processing device 300 can execute the processing.
  • FIG. 7 is a flowchart illustrating an information processing method using the information processing device 300.
  • the information processing method includes a step of acquiring an image group including a plurality of captured images (step S1), a step of determining whether each captured image satisfies a predetermined criterion (step S2), and a step of determining that the criterion is not satisfied.
  • the method includes a step of specifying a photographing failure portion of the failed image (step S3), and a step of confirming whether or not all photographed images have been judged (step S4).
  • step S1 the image group acquisition unit 341 of the CPU 332 acquires an image group IG including multiple photographed image IDs.
  • the captured image determination unit 342 of the CPU 332 determines whether each captured image ID satisfies a predetermined criterion.
  • step S2 if the result is Yes, that is, if the captured image ID is not a failed image, the CPU 332 proceeds to step S4.
  • step S2 if the result is No, that is, if the captured image ID is a failed image, the CPU 332 proceeds to step S3.
  • step S3 the unsuccessful imaging location identification unit 343 of the CPU 332 identifies the unsuccessful imaging location of the failed image. The CPU 332 proceeds to step S4 after specifying the photographing failure portion of the failed image.
  • step S4 the CPU 332 confirms whether all photographed image IDs have been determined. In step S4, if the result is Yes, the process ends. If the result is No, the CPU 332 returns to step S2 and repeats steps S2 to S4 until all photographed image IDs are determined.
  • the information processing device 300 acquires an image group IG including multiple photographed image IDs (step S1).
  • a plurality of photographed image IDs stored in the memory 140 are acquired by the information processing apparatus 300 as an image group IG by the processing apparatus control section 330 of the information processing apparatus 300 .
  • the acquired image group IG is stored in the memory 336, for example.
  • the method of acquiring the image group IG including multiple photographed image IDs from the memory 140 of the mobile object 100 is not particularly limited. If the memory 140 is detachable from the moving body 100 , the memory 140 may be attached to the information processing device 300 and the information processing device 300 may acquire the image group IG from the memory 140 . Further, the information processing apparatus 300 may acquire the image group IG from the memory 140 of the moving body 100 using the communication function of the controller 250 . The information processing device 300 causes the display device 320 to display the image group IG including the acquired plurality of photographed image IDs.
  • the information processing device 300 determines whether or not each photographed image ID satisfies a predetermined criterion (step S2), and specifies the photographing failure portion of the failed image determined not to satisfy the criterion (step S3). , whether or not all the captured images have been judged (step S4).
  • processing is executed in the imaging failure location display section 344 of the CPU 332 , and the failure image FI and the location of the imaging failure location are displayed on the display device 320 .
  • the shooting failure location display unit 344 causes the display device 320 to display the adjacency relationship of the image group IG (plural shot image IDs) and the shooting failure location.
  • the shooting failure location display unit 344 causes the display device 320 to display the content of the failure image FI specified by the shooting failure location specifying unit 343 in step S3.
  • two failure images FI and a shooting failure part are displayed on the display device 320, and each failure image FI is enlarged and displayed, and the content of the failure is displayed.
  • the failure image FI located on the upper side is displayed as "out of focus”.
  • "underexposure” is displayed on the failed image FI located on the lower side.
  • a user of the information processing apparatus 300 can easily understand the cause of the failure image FI.
  • the failure image FI is displayed in an enlarged manner, the user can visually confirm the failure image FI.
  • the shooting failure part display unit 344 can display the failure image FI in a reduced size. By performing reduced display, the number of failure images FI displayed on the display device 320 can be increased.
  • the shooting failure part display unit 344 causes the display device 320 to display the file name as the identification information of the failed image FI. "S0102.jpg” is displayed on the upper failure image FI, and "S0109.jpg” is displayed on the lower failure image FI.
  • the captured image determination unit 342 can determine whether or not the captured image ID satisfies the criteria by the following method.
  • a first method is to determine the captured image ID based on image analysis.
  • the captured image determination unit 342 analyzes the captured image ID to determine whether the captured image ID is "bokeh”, “blur”, “overexposed”, “underexposed”, or "no problem”. For example, it is stored in the memory 336 in association with the content determined for each captured image ID.
  • Methods for determining whether the photographed image ID is “bokeh” or “blurred” include a case of making a judgment based on the photographed image ID and a case of making a judgment based on the state at the time of photographing. There are two types of methods for determination based on the captured image ID.
  • a learning model based on machine learning can be cited as an example of determination based on the captured image ID. For example, a group of images with or without blur and a group of images with or without blur are prepared, and using these image groups as teacher data, a machine learning device creates a learning model for image judgment. The photographed image determination unit 342 using the created learning model can determine whether or not the photographed image ID is blurred or blurred.
  • the captured image determination unit 342 preferably determines whether the object 500 is concrete, steel, or other.
  • a group of images of concrete, steel, or others is prepared, and a learning model for discriminating an object is created by a machine learning device using these image groups as teacher data.
  • the photographed image determination unit 342 can determine whether or not the desired target object area overlaps the blur or blur area by using the object determination learning model and the image determination learning model.
  • a learning model by machine learning serves as a predetermined standard.
  • Defocus or blur may be determined by spatial frequency analysis as an image analysis algorithm.
  • the captured image determination unit 342 performs spatial frequency analysis on the captured image ID to determine whether or not there is a high frequency component. If there is blurring or blurring in the captured image ID, high frequency components are lost. If there is a high frequency component, it can be determined that there is no blurring or blurring, and if there is no high frequency component, it can be determined that there is a blurring or blurring.
  • the presence or absence of high-frequency components can be determined by a threshold value, and the threshold value can be arbitrarily determined in advance.
  • this threshold is a predetermined standard.
  • blurring or blurring can be determined based on the state at the time of shooting.
  • the captured image determination unit 342 can determine “blur” from the correspondence relationship between the shutter speed of the captured image ID and the moving speed of the moving body 100 .
  • Information on the shutter speed can be obtained from the imaging device 200 or Exif (Exchangeable Image File Format).
  • the moving speed of the moving body 100 can be acquired from the sensor unit 154 .
  • a predetermined criterion is whether the movement distance (m) is within the size of one pixel of the imaging device.
  • the captured image determination unit 342 can determine blur based on information as to whether the image was captured after being in focus.
  • the captured image determination unit 342 can determine from the correspondence relationship between the focus position and the target object region of the captured image ID.
  • Information as to whether the image was captured after being focused can be obtained from the image capturing apparatus 200 or Exif.
  • the object region can be determined by using a learning model for object determination. In this case, the photographed image ID whose focus position is in the "other" area can be judged as "bokeh", which is a predetermined reference.
  • underexposure refers to a state in which the photographed image ID is too dark or there is crushed black
  • overexposure indicates that the photographed image ID is too bright. Refers to a state in which overexposure exists.
  • a learning model based on machine learning can be cited as an example of determination based on the captured image ID. For example, a group of underexposed, overexposed, and properly exposed images are prepared, and a machine learning device creates a learning model for image judgment using these image groups as teacher data. Underexposure or overexposure of the captured image ID can be determined by the captured image determination unit 342 using the created learning model.
  • a learning model by machine learning serves as a predetermined standard.
  • Another example of determination based on the captured image ID is determination by an image analysis algorithm.
  • determination may be made based on a histogram of pixel values (RGB values) forming the photographed image ID.
  • the captured image determination unit 342 creates a histogram of RGB values, and determines that a captured image ID in which a predetermined ratio of pixels with RGB values below a certain threshold (for example, 10 or less) exists is underexposed.
  • a certain threshold value for example, 245 or higher
  • This threshold value and ratio can be arbitrarily determined in advance, and these serve as predetermined criteria.
  • Determination based on imaging resolution includes determination based on the captured image ID and determination based on the state at the time of imaging. Further, the determination of the photographed image ID based on the photographing angle includes the determination based on the photographed image ID and the determination based on the state at the time of photographing.
  • the captured image ID is determined based on whether or not the desired imaging resolution is satisfied.
  • the width is 0.3 mm/pixel or more (0.3 mm/pixel, 0.2 mm/pixel, etc.), and about 0.2 mm or more.
  • a resolution of 0.6 m/pixel or more (0.6 mm/pixel, 0.5 mm/pixel, . . . , etc.) is required to detect width cracks.
  • the threshold of the imaging resolution may be automatically set according to desired inspection conditions, or may be adjusted by the user. This threshold serves as a predetermined reference.
  • the photographed image determination unit 342 When judging the imaging resolution based on the photographed image ID, the photographed image determination unit 342 performs image recognition of a structure whose size is known (concrete: traces of P-concrete, traces of formwork, steel: rivets, bolts, etc.). By estimating the imaging resolution, it is determined whether the captured image ID satisfies the criteria.
  • the P-cone trace is a hole in the P-cone (plastic cone) removed from the separate bolt present on the surface of the concrete wall.
  • the captured image determination unit 342 estimates the imaging resolution based on the information from the sensor unit 154 of the moving body 100 and the imaging device 200, and the captured image ID determines the reference. determine whether it satisfies
  • the captured image determination unit 342 estimates the imaging resolution from the imaging distance information.
  • the shooting distance information is acquired based on the three-dimensional data acquired by the imaging device 200 and/or the positional information acquired by the positioning sensor of the sensor unit 154 .
  • the captured image determination unit 342 estimates the imaging resolution from the imaging distance information and the focal length information.
  • the shooting distance information is acquired based on the three-dimensional data acquired by the imaging device 200 and/or the positional information acquired by the positioning sensor of the sensor unit 154, as in the case of the single focus lens.
  • Focal length information is obtained from the imaging device 200 or Exif.
  • the photographed image ID is the range of the depth of field with respect to the depth of field determined according to the subject distance, the focal length, the aperture value, and the permissible circle of confusion diameter.
  • the photographed image ID is determined depending on whether it is within or not.
  • the symbol DN illustrated in FIG. 10 represents the forward depth of field.
  • the symbol Df represents the rear depth of field.
  • the forward depth of field D N is expressed using Equation 1 below.
  • the rear depth of field D f is expressed using Equation 2 below.
  • the depth of field is expressed using Equation 3 below.
  • the permissible circle of confusion diameter means the diameter of the permissible circle of confusion.
  • the permissible circle of confusion diameter is the pixel size of the imaging device provided in the imaging device 200 .
  • Reference numeral 220 in FIG. 10 represents the focal plane of the photographing device 200 .
  • a solid line with reference numeral 220A represents the imaging range of the imaging device 200.
  • FIG. Region 229 represents what fits within the depth of field.
  • the shooting range in the vertical direction is calculated by dividing the value obtained by multiplying the subject distance by the sensor size in the vertical direction by the focal length. A unit representing length is used for the shooting range in the vertical direction.
  • the vertical direction represents the direction in which the dashed line representing the in-focus plane 220 shown in FIG. 10 faces.
  • the sensor size in the vertical direction is the size in the vertical direction of the imaging device provided in the imaging device 200 .
  • the horizontal shooting range is calculated by dividing the value obtained by multiplying the subject distance by the horizontal sensor size by the focal length.
  • a unit representing length is used for the shooting range in the horizontal direction.
  • the horizontal direction is a direction orthogonal to the vertical direction, and represents a direction that penetrates the paper surface of FIG. 10 .
  • the sensor size in the horizontal direction is the size in the horizontal direction of the imaging device provided in the imaging apparatus 200 shown in FIG.
  • the shooting angle ⁇ is an angle between a direction 222 perpendicular to the subject plane 202A of the subject 202 and the direction 224 of the optical axis of the imaging device 200.
  • Reference numeral 226 illustrated in FIG. 10 represents the front edge of the depth of field.
  • Reference numeral 228 represents the trailing edge of the depth of field.
  • Reference numeral 230 represents the amount of defocus in front of the in-focus plane 220 .
  • Reference numeral 232 represents the defocus amount behind the in-focus plane 220 .
  • the defocus amount can be calculated using geometrical calculation as the distance from the object plane 202A to the in-focus plane 220.
  • the ratio of the region 229 to the imaging range 220A of the imaging device 200 is related to the degree of blur, and the ratio is determined by the imaging angle ⁇ .
  • the photographed image determination unit 342 determines the photographed image ID based on whether the photographing angle ⁇ is within a threshold value.
  • the imaging angle ⁇ may be set automatically, or may be adjusted by the user.
  • the shooting image determination unit 342 uses a learning model for estimating the depth, calculates the shooting angle ⁇ , and determines the shooting image ID based on the shooting angle ⁇ .
  • the shot image determination unit 342 extracts feature points of a plurality of shot image IDs by SfM, estimates the shooting device 200, and determines the shooting direction.
  • a photographing angle ⁇ is estimated from the inclination of the target surface, and a photographed image ID is determined based on the photographing angle ⁇ .
  • the shot image determination unit 342 estimates the shooting angle ⁇ from the shooting attitude information of the moving body 100 and the control information (rotation angle, etc.) of the gimbal 110, and determines the shooting angle ⁇
  • the photographed image ID is determined based on.
  • Shooting posture information can be obtained from the gyro sensor of the sensor unit 154
  • control information for the gimbal 110 can be obtained from the shooting control unit 126 .
  • the re-imaging confirmation screen display unit 345 of the CPU 332 re-captures the failed image FI.
  • a confirmation screen asking whether or not to shoot is displayed on the display device 320, and an instruction as to whether or not to shoot again is accepted.
  • FIG. 11 is a diagram showing an example of a recapture confirmation screen.
  • the recapture confirmation screen includes a previous image button 321 , a next image button 322 , a recapture button 323 , and an end button 324 .
  • the failed image FI, and the content and file name of the failed image FI are displayed on the recapture confirmation screen.
  • one failed image FI is displayed on the recapture confirmation screen.
  • the previous image button 321 displays the failure image FI preceding the displayed failure image FI.
  • the next image button 322 displays the failure image FI next to the displayed failure image FI.
  • the failed images FI are arranged in the order of file name, the order of shooting, etc.
  • the CPU 332 accepts an instruction as to whether or not to re-shoot.
  • the recapture button 323 acceptance of recapture of the failed image FI is executed.
  • "Yes" in the re-imaging column is highlighted and underlined. The user can visually confirm that the failed image FI is determined to be re-captured.
  • the retake field may be in the form of a check box.
  • the end button 324 ends the re-imaging confirmation screen.
  • an instruction as to whether or not to recapture is determined, and the CPU 332 stores in the memory 336 the identification information of the failed image FI for which recapture has been determined.
  • the recommended imaging parameter determination unit 346 of the CPU 332 determines recommended imaging parameters for the imaging failure location based on the content of the failure image FI.
  • the recommended imaging parameter determining unit 346 determines preferable recommended imaging parameters according to the content of the failed image FI.
  • the recommended shooting parameter determination unit 346 determines shooting parameters (shutter speed, F value, exposure compensation amount, ISO sensitivity, focus position, focal length, strobe light emission ON/OFF, strobe light emission amount, light ON/OFF, etc.), photographing position and the amount of correction for the shooting attitude, etc., are determined as recommended shooting parameters.
  • the failed image FI is a photographing failure location determined to be "bokeh” or “blurred”. If the content is "bokeh” and the recommended shooting parameter determining unit 346 determines that it is simply "bokeh", the recommended shooting parameter determining unit 346 determines not to change the recommended shooting parameters. In addition, the recommended shooting parameter determination unit 346 determines recommended shooting parameters corresponding to increasing the F number (for example, from F5.6 to F8) in order to narrow down the aperture. The depth of field of the imaging device 200 is increased.
  • the recommended imaging parameter determination unit 346 changes the focus position of the imaging device 200. determine recommended imaging parameters corresponding to
  • the recommended shooting parameter determination unit 346 sets the recommended shooting parameters corresponding to increasing the shutter speed of the image capturing device 200, increasing the ISO sensitivity, slowing down the moving speed of the moving body 100, or keeping still. decide.
  • the recommended shooting parameter determination unit 346 determines the recommended shooting parameters corresponding to setting the exposure compensation to the + side, firing the strobe, increasing the light emission amount of the strobe, or turning on the light. do.
  • the recommended shooting parameter determination unit 346 sets the recommended shooting parameter corresponding to negative exposure compensation, no strobe light emission, lower strobe light emission amount, or light off. to decide.
  • the recommended imaging parameter determination unit 346 determines recommended imaging parameters corresponding to shortening the imaging distance or increasing the focal length.
  • the recommended imaging parameter determination unit 346 changes the range of the parameters that are the same as the failed image FI, the same parameters as the captured image ID adjacent to the failed image FI, or the parameters that are determined according to the failed image FI as described above. These parameters can be determined as a plurality of recommended imaging parameters.
  • a plurality of re-captured images are acquired by the imaging device 200 of the moving body 100 based on a plurality of recommended imaging parameters, and the best re-captured image is selected from the plurality of re-captured images using the information processing device 300.
  • step S3 the step (step S3) of identifying the photographing failure part of the failed image determined not to satisfy the criteria.
  • the imaging failure location identification unit 343 of the CPU 332 identifies the imaging failure location by identifying the adjacency relationship of the plurality of captured image IDs in the image group IG. A preferred embodiment of step S3 will be described below.
  • One of the preferred aspects is a method of specifying based on the correspondence of the feature points of the captured image ID.
  • feature points are extracted from a plurality of photographed image IDs, correspondence relationships between feature points among photographed image IDs are grasped, and adjacency relationships of photographed image IDs are specified by synthesizing a plurality of photographed image IDs. be.
  • FIG. 12 is a diagram for explaining the process of specifying the adjacency relationship of the photographed image IDs by the method described above.
  • the embodiment includes matching the images shown at 12A in FIG. 12 and combining the images shown at 12B.
  • the photographing failure part identification unit 343 extracts a feature point P indicated by a circle from each photographed image ID in association of the images.
  • the photographing failure part identification unit 343 associates each of the feature points P extracted from the plurality of photographed image IDs by a known technique, and extracts the corresponding feature points P.
  • a straight line S indicates the correspondence of the feature points P.
  • the photographing failure part identification unit 343 associates the feature points P to calculate a projective transformation matrix.
  • the captured image ID includes the failed image FI.
  • the photographing failure point identification unit 343 synthesizes a plurality of photographed image IDs (including the failure image FI) based on the association of the straight line S to generate a composite image CI.
  • the plurality of adjacent photographed image IDs are overlapped based on the correspondence of the straight line S.
  • the failure image FI is included in the composite image CI.
  • the unsuccessful photography location display unit 344 displays the failure image FI and the unsuccessful photography location on the display device 320 on the composite image CI shown in 12B.
  • Another preferred mode is a method of specifying based on the positional relationship between the photographed image ID and the target object 500 .
  • the photographing position and range of each photographed image ID on the object 500 are estimated from the correspondence between the photographing position and direction of the photographed image ID and the structure and position information of the object 500, and the adjacent photographed image IDs are estimated. Identify relationships.
  • the photographing position and direction of the photographed image ID are examples of photographing conditions.
  • Information on the structure and position of the object 500 is an example of information on the object 500 .
  • Information on the structure and position of the object 500 can be obtained, for example, from three-dimensional model data.
  • FIG. 13 is a diagram for explaining the process of specifying the adjacency relationship of the photographed image IDs by the method described above.
  • three-dimensional model data 501 including information on the structure and position of an object 500 and photographed images ID 1 and ID 2 are applied.
  • shooting ranges R1 and R2 indicate the shooting ranges of the captured images ID1 and ID2 , respectively.
  • the three-dimensional model data 501 is an arch bridge and includes arch ribs 501A, floor slabs 501B and piers 501C.
  • the three-dimensional model data 501 can be displayed as a point cloud, polygon (mesh), solid model, or the like.
  • the three-dimensional model data 501 in FIG. 13 is a diagram obtained by texture-mapping a captured image (texture) of a structure on a polygonal polygon.
  • the three-dimensional model data 501 may be generated from the photographed image ID by a technique such as SfM, or may be three-dimensional model data created when the object 500 is designed.
  • the photographing failure location identification unit 343 calculates the photographing distance (distance to the object 500) from the correspondence relationship between the photographing positions and directions of the photographed images ID 1 and ID 2 and the three-dimensional model data 501, and determines the photographing distance and the lens.
  • a photographing range is calculated based on information on the focal length and the size of the image sensor.
  • the imaging failure point identification unit 343 identifies the adjacency relationship between the photographed images ID 1 and ID 2 by estimating the photographing ranges of the photographed images ID 1 and ID 2 on the three-dimensional model data 501. do.
  • the shooting distance may be obtained directly from the shooting device 200 of the moving body 100 or the sensor unit 154 .
  • the photographing range (horizontal direction) and the photographing range (vertical direction) can be calculated by the following formulas 4 and 5, where the photographing distance (D), the focal length (F) of the lens, and the sensor size (Sx, Sy) are used.
  • Shooting range (horizontal direction) D ⁇ Sx/F (Formula 4)
  • Shooting range (vertical direction) D ⁇ Sy/F (Formula 5)
  • the shooting failure location identification unit 343 stores the shooting failure location in the memory 336 in association with the identification information of the failed image FI in the shot image ID.
  • the information processing device 300 determines the unsuccessful image capturing location that requires re-capturing
  • the information is transmitted to the mobile body 100 via the controller 250 .
  • the photograph number “S0102” is specified as identification information specifying the photographing failure location, and is transmitted to the moving body 100 .
  • the identification information and the recommended imaging parameters are transmitted to the mobile object 100 .
  • the shooting instruction reception unit 132 issues a shooting instruction based on the shooting position information and the shooting attitude information, that is, the so-called failure image FI. Accept it as a shooting instruction.
  • the moving body 100 when the photographing instruction receiving unit 132 of the moving body 100 receives an instruction, the moving body 100 automatically moves the photographing device 200 under the control of the movement control unit 124 and the photographing control unit 126 of the control device 120 . Start shooting the part where the shooting failed.
  • the movement control unit 124 and the shooting control unit 126 acquire from the memory 140 the shooting position information and the shooting posture information corresponding to the identification information for which the instruction has been accepted.
  • the photographing device 200 of the moving body 100 re-photographs the photographing failure location based on the photographing position information and the photographing attitude information when the failure image FI was photographed. can be shortened. In addition, even if the object 500 has few conspicuous features, the imaging device 200 of the moving body 100 can easily re-photograph the specific location.
  • the shooting position information and the shooting posture information are stored in the memory 336 of the information processing device 300, the shooting position information and the shooting posture information are transmitted to the moving body 100 in addition to the identification information specifying the shooting failure location.
  • the movement control unit 124 and the shooting control unit 126 acquire shooting position information and shooting attitude information from the information processing device 300 .
  • the photographing device 200 of the moving body 100 re-photographs the photographing failure location based on the photographing position information and the photographing attitude information when the failure image FI was photographed.
  • the movement control unit 124 and the imaging control unit 126 acquire imaging parameters and correction amounts, and control the imaging device 200 and the moving object 100 .
  • FIG. 16 is a diagram for explaining the generated photographing route.
  • 16A shows a state in which the photographing instruction receiving unit 132 receives photographing instructions for a total of four positions, position 1, position 2, position 3, and position 4.
  • position 1, position 2, position 3, and position 4 indicate the photograph numbers when the photograph was first taken. Therefore, the photographing failure locations for which the photographing instruction has been received are photographed in the order of position 1, position 2, position 3, and position 4.
  • FIG. 16A shows a state in which the photographing instruction receiving unit 132 receives photographing instructions for a total of four positions, position 1, position 2, position 3, and position 4.
  • position 1, position 2, position 3, and position 4 indicate the photograph numbers when the photograph was first taken. Therefore, the photographing failure locations for which the photographing instruction has been received are photographed in the order of position 1, position 2, position 3, and position 4.
  • the photographing route generation unit 134 generates a route that minimizes the total moving distance for photographing all locations (four locations in this case) for which photographing instructions have been received.
  • the moving body 100 is located at the home position. When the photographing is started, the moving body 100 moves to the position 1 and photographs the photographing failure part. Next, it moves to position 2 to photograph the unsuccessful photographing location, then to position 4 to photograph the unsuccessful photographing location, and finally to position 3 to photograph the unsuccessful photographing location. The moving body 100 returns to the home position.
  • the shooting order is arbitrary, and a shooting route that minimizes the total moving distance for shooting is generated.
  • the photographing route generating unit 134 generates a route with the shortest travel distance in a predetermined order (eg, in ascending order of photograph numbers for which photographing instructions have been received).
  • the moving body 100 is located at the home position. When the photographing is started, the moving body 100 moves to the position 1 and photographs the photographing failure part. Next, it moves to position 2 to photograph the unsuccessful photographing location, then to position 3 to photograph the unsuccessful photographing location, and finally to position 4 to photograph the unsuccessful photographing location. The moving body 100 returns to the home position.
  • the shortest distance is used between shooting locations.
  • Two generated shooting routes are shown as examples, but the shooting routes are not limited to these.
  • the hardware structure of the processing unit that executes various processes is various processors as shown below.
  • the circuit configuration can be changed after manufacturing such as CPU (Central Processing Unit), which is a general-purpose processor that executes software (program) and functions as various processing units, FPGA (Field Programmable Gate Array), etc.
  • Programmable Logic Device PLD
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be composed of one of these various processors, or may be composed of two or more processors of the same type or different types (eg, multiple FPGAs, or combinations of CPUs and FPGAs).
  • a plurality of processing units can be configured by one processor.
  • a processor functions as multiple processing units.
  • SoC System On Chip
  • SoC System On Chip
  • the various processing units are configured using one or more of the above various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electrical circuit that combines circuit elements such as semiconductor elements.
  • Each configuration and function described above can be appropriately realized by arbitrary hardware, software, or a combination of both.
  • a program that causes a computer to execute the processing steps (procedures) described above a computer-readable storage medium (non-temporary storage medium) storing such a program, or a computer capable of installing such a program
  • the present invention can be applied.
  • Moving object imaging system 100 moving object 102 moving object main body 104 propelling unit 110 gimbal 120 control device 122 main control unit 124 movement control unit 126 imaging control unit 128 imaging position information acquisition unit 130 imaging posture information acquisition unit 132 imaging instruction reception unit 134 Photographing route generation unit 140 Memory 150 Propeller drive motor 152 Motor driver 154 Sensor unit 156 Mobile unit communication unit 200 Photographing device 202 Subject 202A Subject plane 210 View angle range 220 In-focus plane 220A Shooting range 222 Subject plane vertical direction 224 Light of the imaging device Axial direction 226 Front edge of depth of field 228 Rear edge of depth of field 229 Area 230 Amount of defocus in front of the plane of focus 232 Amount of defocus behind the plane of focus 250 Controller 250A Controller operation section 250B Controller display section 250C controller communication unit 250D control device 300 information processing device 310 operation unit 320 display device 321 previous image button 322 next image button 323 re-capture button 324 end button 330 processing device control unit 331 input/output interface 332 CPU 333

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

再撮影することが必要な画像、及び再撮影の位置を容易に特定できる情報処理装置、情報処理方法及びプログラムを提供する。プロセッサを備える情報処理装置であって、プロセッサは、対象物を撮影した複数の撮影画像を含む画像群を取得し、画像群に対し、複数の撮影画像の各撮影画像が予め定めた基準を満たすかを判断し、基準を満たさないと判断された失敗画像の撮影失敗箇所を特定する。

Description

情報処理装置、情報処理方法及びプログラム
　本発明は、情報処理装置、情報処理方法及びプログラムに関する。
　近年、ドローン等の飛行体を利用した撮影の活用が普及してきている（特許文献１～３）。構造物点検においても、飛行体を利用した撮影の活用が検討されている。
特許第６８０３９１９号公報 特開２０２１－４０２２０号公報 特許第６７１３１５６号公報
　ところで、構造物点検での撮影において、様々な現場環境、周囲環境、撮影時の環境条件などにより、構造物の点検に不適切な撮影結果となる撮影ミスが発生する場合があり、再撮影が必要となる。
　本発明はこのような事情に鑑みてなされたもので、その目的は、再撮影することが必要な画像、及び再撮影の位置を容易に特定できる、情報処理装置、情報処理方法及びプログラムを提供する。
　第１態様の情報処理装置は、プロセッサを備える情報処理装置であって、プロセッサは、対象物を撮影した複数の撮影画像を含む画像群を取得し、画像群に対し、複数の撮影画像の各撮影画像が予め定めた基準を満たすかを判断し、基準を満たさないと判断された失敗画像の撮影失敗箇所を特定する。
　第２態様の情報処理装置において、プロセッサは、画像群の隣接関係を特定することで、撮影失敗箇所を特定する。
　第３態様の情報処理装置において、プロセッサは、画像群の隣接関係及び撮影失敗箇所を表示させる表示装置を備える。
　第４態様の情報処理装置において、表示装置は、プロセッサにより、隣接関係に基づいて画像群の撮影画像を合成させた合成画像の上に撮影失敗箇所を、表示する。
　第５態様の情報処理装置において、表示装置は、プロセッサにより特定された失敗画像の内容を表示する。
　第６態様の情報処理装置において、プロセッサは、失敗画像に対し再撮影するかどうかの確認画面を表示装置に表示させ、且つ、再撮影の可否の指示を受け付ける。
　第７態様の情報処理装置において、プロセッサは、失敗画像に対する拡大表示及び縮小表示の指示を受け付け、受け付けた指示に従い失敗画像を表示装置に表示させる。
　第８態様の情報処理装置において、プロセッサは、失敗画像の内容に基づいて、撮影失敗箇所に対する推奨撮影パラメータを決定する。
　第９態様の情報処理装置において、プロセッサは、撮影失敗箇所を特定する識別情報を、撮影装置を備える移動体に送信する。
　第１０態様の情報処理装置において、プロセッサは、撮影失敗箇所及び推奨撮影パラメータを、撮影装置を備える移動体に送信する。
　第１１態様の情報処理装置において、プロセッサは、画像群に含まれる撮影画像を画像解析することにより撮影画像が基準を満たすかを判断する。
　第１２態様の情報処理装置において、プロセッサは、撮影画像を撮影した際の撮影条件を取得し、撮影条件に基づいて撮影画像が基準を満たすかを判断する。
　第１３態様の情報処理装置において、プロセッサは、画像群の各撮影画像における特徴点の対応関係から画像群の隣接関係を特定する。
　第１４態様の情報処理装置において、プロセッサは、撮影画像の撮影条件及び対象物の情報に基づいて、画像群の隣接関係を特定する。
　第１５態様の情報処理方法は、プロセッサを備える情報処理装置が実行する情報処理方法であって、プロセッサにより実行される、対象物を撮影した複数の撮影画像を含む画像群を取得するステップと、画像群に対し、複数の撮影画像の各撮影画像が予め定めた基準を満たすかを判断するステップと、基準を満たさないと判断された失敗画像の撮影失敗箇所を特定するステップと、を含む。
　第１６態様のプログラムは、プロセッサを備える情報処理装置により実行されるプログラムであって、プロセッサに、対象物を撮影した複数の撮影画像を含む画像群を取得するステップと、画像群に対し、複数の撮影画像の各撮影画像が予め定めた基準を満たすかを判断するステップと、基準を満たさないと判断された失敗画像の撮影失敗箇所を特定するステップと、を実行させる。
　本発明の情報処理装置、情報処理方法及びプログラムによれば、再撮影することが必要な画像、及び再撮影の位置を容易に特定できる。
図１は、移動体撮影システムを概念的に示す図である。 図２は、移動体の機能を示すブロック図である。 図３は、コントローラのブロック図である。 図４は、情報処理装置のブロック図である。 図５は、処理装置制御部のブロック図である。 図６は、移動体による対象物の撮影を説明する図である。 図７は、情報処理装置における情報処理方法を示すフローチャートである。 図８は、情報処理装置による画像群の取得を説明する図面である。 図９は、情報処理装置の表示装置に表示された失敗画像を説明する図である。 図１０は、撮影画像と被写界深度との関係を示す模式図である。 図１１は、再撮影確認画面の一例を示す図である。 図１２は、撮影画像の隣接関係を特定する処理の一例を説明する図である。 図１３は、撮影画像の隣接関係を特定する処理の他の例を説明する図である。 図１４は、移動体に再撮影の指示をする処理を説明する図である。 図１５は、移動体の撮影装置による再撮影を説明する図である。 図１６は、生成された撮影ルートを説明する図である。
　以下、添付図面に従って本発明に係る移動体の好ましい実施の形態について説明する。
　図１は、移動体１００とコントローラ２５０と情報処理装置３００とから構成される移動体撮影システム１を概念的に示す図である。移動体１００は、移動体本体１０２と、移動体本体１０２に備えられた推進部１０４と、移動体本体１０２に備えられた制御装置１２０と、を有する。移動体本体１０２は、移動体１００の主たる構成部材である。移動体本体１０２は制御装置１２０により制御される。移動体本体１０２は、例えば、無人飛行体でありドローンを例示できる。移動体本体１０２は複数のプロペラとプロペラ駆動モータとを備える。プロペラとプロペラ駆動モータとが推進部１０４を構成する。
　移動体本体１０２として無人飛行体を例示したが、移動体本体１０２は、移動式ロボット、車両又は船舶であってもよい。移動体本体１０２は、遠隔操作又は自律式で構成できる。遠隔操作とは、使用者が、移動体本体１０２と離れた位置からコントローラ２５０から制御装置１２０に指示して、移動体本体１０２を操作することを指す。自律式は、使用者を介在させることなく、予め作成されたプログラム等により制御装置１２０が移動体本体１０２を操作することを指す。プログラム等は移動体１００を使用する場所に応じて適宜変更される。
　移動体１００は、撮影装置２００を搭載する。撮影装置２００は、例えば、ジンバル１１０を介して移動体本体１０２に取り付けられる。撮影装置２００は移動体本体１０２に備えられる制御装置１２０により制御される。移動体１００が大気中を飛行する間、移動体１００に搭載された撮影装置２００は対象物を撮影する。対象物は、例えば、橋梁、ダム、トンネルなどの土木構造物、その他にビル、家屋、建物の壁、柱、梁などの建築物である。ただし、対象物は、これらの土木構造物及び建築物に限定されない。
　情報処理装置３００は、例えば、操作部３１０、表示装置３２０及び処理装置制御部３３０を備える。処理装置制御部３３０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（read‐only memory）、ＲＡＭ（Random Access Memory）及び記憶装置等を備えたコンピュータにより構成される。
　＜移動体＞
　図２は、移動体１００の構成を示すブロック図である。移動体１００は、制御装置１２０と、メモリ１４０，プロペラ駆動モータ１５０と、モータドライバ１５２と、センサ部１５４と、移動体通信部１５６と、撮影装置２００と、を備える。制御装置１２０は、例えば、ＣＰＵでありプロセッサを構成する。
　制御装置１２０は、メイン制御部１２２と、移動制御部１２４と、撮影指示受付部１３２と、撮影制御部１２６と、撮影位置情報取得部１２８と、撮影姿勢情報取得部１３０と、撮影指示受付部１３２と、撮影ルート生成部１３４と、を備える。メイン制御部１２２は、移動体１００の各部の各機能の全体を制御する。メイン制御部１２２は、各部との間における信号処理及びデータの入出力、各種演算処理及びメモリ（記憶装置）１４０に対するデータの記憶及び取得処理を行う。制御装置１２０は、プログラムを実行することにより、メイン制御部１２２と、移動制御部１２４と、撮影制御部１２６と、撮影位置情報取得部１２８と、撮影姿勢情報取得部１３０と、撮影指示受付部１３２と、撮影ルート生成部１３４として、機能させることができる。
　メモリ１４０は、移動体１００の動作に必要な情報を記憶する。メモリ１４０は、動作プログラム、飛行経路情報、撮影情報など記憶する。また、メモリ１４０は、移動体１００が飛行しながら対象物を撮影する際に取得できる情報、例えば、位置情報、姿勢情報、撮影画像などを記憶できる。メモリ１４０は、例えば、ＳＤカード（Secure Digital card：セキュアデジタルカード）、ＵＳＢメモリ（Universal Serial Bus memory：ユニバーサルシリアルバスメモリ）等などの、移動体１００に着脱自在の記憶媒体であってもよい。
　移動制御部１２４は、モータドライバ１５２を介してプロペラ駆動モータ１５０の駆動を制御することにより、移動体１００の飛行（移動）を制御する。移動制御部１２４は、コントローラ２５０から送信される制御信号、及びセンサ部１５４から出力される移動体１００の飛行状態の情報に基づいて、各プロペラ駆動モータ１５０の駆動を制御し、移動体１００の飛行を制御する。
　飛行経路情報が予めメモリ１４０に記憶されている場合、移動制御部１２４はメモリ１４０から飛行経路の情報（例えば、高度、速度及び範囲など）を取得し、飛行経路の情報に基づいて移動体１００の飛行を制御でき、自律飛行が可能となる。
　センサ部１５４は、移動体１００の飛行状態を検出する。センサ部１５４は、ＧＮＳＳ（Global Navigation Satellite System）、ＧＰＳ（Global Positioning System）、ＲＴＫ（Real Time Kinematic）等の測位センサを備える。測位センサは、移動体１００の位置情報、例えば、緯度、経度及び高度を取得する。また、センサ部１５４は、ジャイロセンサ、地磁気センサ、加速度センサ、速度センサ及びこられを複数軸で組み合わせて構成される慣性計測センサを備える。慣性計測センサは、移動体１００の姿勢情報、例えば、移動体１００の向きを示す情報を取得する。
　移動体通信部１５６は、制御装置１２０による制御の下、コントローラ２５０と無線で通信し、互いに各種信号及び情報を送受信する。例えば、コントローラ２５０が操作された場合、その操作に基づく制御信号がコントローラ２５０から移動体１００に向けて送信される。移動体通信部１５６は、コントローラ２５０から送信された制御信号を受信し、制御装置１２０に出力する。移動体通信部１５６は、制御装置１２０からの信号及び情報をコントローラ２５０に送信する。
　撮影制御部１２６は、撮影パラメータに基づいて撮影装置２００に撮影を行わせる。撮影パラメータには、シャッタースピード、Ｆ値、露出補正量、ＩＳＯ感度、フォーカス位置、焦点距離、ストロボ発光ＯＮ／ＯＦＦ、ストロボ発光量、ライトＯＮ／ＯＦＦなどが含まれる。撮影装置２００が、撮影パラメータを自動で設定してもよい。また、撮影装置２００により複数の画像を撮影する場合、撮影パラメータには、撮影位置の間隔及び撮影範囲の重複率が含まれる。また、撮影範囲の重複率には、飛行経路上の撮影範囲のオーバーラップ率、及び飛行経路間の撮影範囲のサイドラップ率が含まれる。オーバーラップ率は、例えば、移動体１００の進行方向に進む距離、時間等で調整でき、サイドラップ率は飛行経路により調整できる。撮影パラメータは例えば、メモリ１４０に記憶される。また、コントローラ２５０から撮影パラメータを移動体１００に送信できる。送信された撮影パラメータは、移動体通信部１５６を介して制御装置１２０に出力される。撮影制御部１２６は、撮影装置２００が撮影した撮影画像をメモリ１４０に記憶する。撮影画像は撮影した際の撮影パラメータを含むことができる。
　撮影装置２００は、撮影制御部１２６により制御され対象物を撮影する。撮影装置２００は、撮影画像として二次元カラー画像を取得する。二次元カラー画像を取得する撮影装置は、例えば、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等の撮像素子を含む。撮像素子は、ｘ方向（水平方向）及びｙ方向（垂直方向）に二次元的に配列された光電交換素子で構成された複数の画素を有し、複数の画素の上面には、例えば、Ｒ（赤）、Ｇ（緑）及びＢ（青）のフィルタが二次元的にベイヤー配列されたカラーフィルタが配置される。二次元カラー画像は、いわゆる奥行き方向の情報を有さない平面画像となる。
　撮影装置２００は、二次元カラー画像の他に三次元データを取得してもよい。三次元データを取得する撮影装置は、例えば、ステレオカメラである。ステレオカメラは、異なる位置に配置された複数の撮影装置から同時に対象物を撮影し、画像間の視差を用いて、対象物までの三次元データを取得する。三次元データを取得する撮影装置がステレオカメラである場合、複数の撮影装置の１つを、二次元カラー画像を取得する撮影装置として利用できる。
　なお、三次元データを取得する撮影装置がステレオカメラである場合を説明した。三次元データは、レーザースキャナー、又はタイムオブフライト（Time-of-Flight：ＴｏＦ）式カメラなどの撮影装置を使用して取得できる。
　レーザースキャナーはレーザーパルスを対象物に出射し、対象物の表面で反射されたレーザーパルスが戻ってくるまでの時間により距離を計測する。タイムオブフライト式カメラは、光の飛行時間を測ることで三次元データを取得する。三次元データを取得することで撮影装置２００と対象物のまでの距離の情報を取得できる。
　撮影位置情報取得部１２８は、撮影装置２００が撮影した際の移動体１００の位置情報を撮影位置情報として、例えば、センサ部１５４の測位センサから取得する。撮影位置情報取得部１２８は、取得した撮影位置情報を撮影画像と関連付けてメモリ１４０に記憶する。
　撮影姿勢情報取得部１３０は、撮影装置２００が撮影した際の撮影装置２００の姿勢情報を取得する。例えば、撮影装置２００の向きをジンバル１１０で調整可能な場合、撮影姿勢情報取得部１３０は、ジンバル制御情報（回転角など）とセンサ部１５４の慣性計測センサから移動体１００の姿勢情報とを取得し、ジンバル制御情報と移動体１００の姿勢情報とを組み合わせて撮影姿勢情報として取得する。一方、撮影装置２００の向きが固定されている場合、センサ部１５４の慣性計測センサから取得される移動体１００の姿勢情報を撮影装置２００の撮影姿勢情報として取得する。撮影姿勢情報取得部１３０は、取得した撮影姿勢情報を撮影画像と関連付けてメモリ１４０に記憶する。
　なお、移動体１００の飛行経路、撮影装置２００の撮像条件は、制御ソフトウェア等で事前に決定できる。
　撮影指示受付部１３２は、対象物を撮影した移動体１００に記憶されている撮影位置情報及び撮影姿勢情報に基づく撮影指示を受け付ける。ここで、撮影指示受付部１３２は、撮影装置２００が撮影した撮影画像が予め定めた基準に満たさない失敗画像である場合に、失敗画像を撮影した撮影失敗箇所の再撮影の指示を受ける。撮影指示受付部１３２は、失敗画像を撮影した際の撮影位置情報及び撮影姿勢情報を利用することを前提に再撮影の指示を受け付ける。撮影指示受付部１３２が再撮影の指示を受付けると、記憶されている撮影位置情報及び撮影姿勢情報に基づいて、移動体１００が撮影位置に移動し、撮影装置２００が、撮影失敗箇所を撮影姿勢で再撮影する。記憶されている撮影位置及び撮影姿勢での再撮影指示の受け付けを可能とすることで、撮影失敗箇所の再撮影を含む撮影作業を効率的に行うことができ、作業時間を短縮できる。
　また、撮影指示は、再撮影する前に取得された撮影画像に関連付けられた、撮影順序、写真番号、撮影画像を記憶する際のファイル名など、再撮影が必要な撮影画像を特定する識別情報を含ませることが好ましい。識別情報により撮影位置情報及び撮影姿勢情報を容易に取得できる。
　撮影指示は、撮影位置情報及び撮影姿勢情報の少なくとも一方に対する補正量を含めることができる。撮影指示に補正量を加えることにより、失敗画像が再撮影される可能性を低減できる。ただし、失敗画像と同じで撮影位置情報及び撮影姿勢情報に基づいて再撮影してもよい。
　撮影指示は、撮影パラメータを含ませることが好ましい。撮影パラメータは、シャッタースピード、Ｆ値、露出補正量、ＩＳＯ感度、フォーカス位置、焦点距離、ストロボ発光ＯＮ／ＯＦＦ、ストロボ発光量、ライトＯＮ／ＯＦＦなどが含まれる。再撮影する際の撮影パラメータは、再撮影前に撮影された失敗画像と同じであってもよいし、補正量を含めてもよい。
　撮影ルート生成部１３４は、再撮影の撮影指示を受けた撮影失敗箇所に対する撮影ルートを生成する。撮影ルート生成部１３４は、例えば、撮影指示を受けた全箇所撮影の総移動距離が最短なるような撮影ルートを生成してもよい。また、撮影ルート生成部１３４は、例えば、所定の順番で、且つ最短の移動距離で周回する撮影ルートを生成してもよい。所定の順番は、撮影指示を受けた撮影失敗箇所に対する写真番号の順（例えば、昇順）である。
　＜コントローラ＞
　図３は、コントローラの構成を示すブロック図である。
　コントローラ２５０は、コントローラ操作部２５０Ａと、コントローラ表示部２５０Ｂと、コントローラ通信部２５０Ｃと、制御装置２５０Ｄと、を備える。
　コントローラ操作部２５０Ａは、移動体１００を操作する各種操作部材を備えて構成される。推進部を備える移動体本体１０２を操作する操作部材には、例えば、移動体本体１０２の上昇、下降を指示する操作部材、移動体本体１０２の旋回を指示する操作部材等が含まれる。撮影装置２００を操作する操作部材には、例えば、撮影開始、撮影終了を指示する操作部材等が含まれる。
　コントローラ表示部２５０Ｂは、例えば、ＬＣＤ（Liquid  Crystal  Display／液晶ディスプレイ）で構成される。コントローラ表示部２５０Ｂには、例えば、移動体１００の飛行状態の情報が表示される。
　コントローラ通信部２５０Ｃは、制御装置２５０Ｄによる制御の下、移動体１００と無線で通信し、互いに各種信号を送受信する。
　制御装置２５０Ｄは、コントローラ２５０の全体の動作を統括制御する制御部である。制御装置２５０ＤはＣＰＵであり、ＲＯＭ、ＲＡＭを備える。制御装置２５０Ｄは所定のプログラムを実行することにより各種機能を実現する。例えば、コントローラ操作部２５０Ａが操作されると、その操作に応じた制御信号が生成される。制御信号が、コントローラ通信部２５０Ｃを介して移動体１００に送信される。また、コントローラ２５０は、コントローラ通信部２５０Ｃを介して移動体１００から飛行状態の情報を取得し、コントローラ表示部２５０Ｂに表示する。プログラムは、ＲＯＭに格納される。
　また、コントローラ２５０は、移動体１００に再撮影の撮影指示を送信できる。
　＜情報処理装置＞
　図４は情報処理装置のブロック図である。
　情報処理装置３００は、既述したように操作部３１０、表示装置３２０及び処理装置制御部３３０を備える。処理装置制御部３３０は、主として入出力インターフェイス３３１と、ＣＰＵ３３２と、ＲＯＭ３３３と、ＲＡＭ３３４と、表示制御部３３５と、メモリ３３６と、から構成されている。
　情報処理装置３００は、ディスプレイを構成する表示装置３２０が接続され、ＣＰＵ３３２の指令の下、表示制御部３３５の制御により表示装置３２０に表示が行われる。表示装置３２０は、例えば、液晶ディスプレイ等のデバイスであり、各種情報を表示できる。
　操作部３１０はキーボード及びマウスを含み、使用者は操作部３１０を介して、処理装置制御部３３０に必要な処理を行わせることができる。タッチパネル型のデバイスを用いることにより、表示装置３２０は操作部３１０としても機能できる。なお、実施例ではコントローラ２５０と情報処理装置３００とが分離されたシステムを示したが、コントローラ２５０と情報処理装置３００とは一体型であってもよい。コントローラ２５０は情報処理装置３００の通信機能を分離したデバイスであり、コントローラ２５０による移動体１００への送受信は、情報処理装置３００の処理装置制御部３３０の機能の一部を構成する。
　入出力インターフェイス３３１は、情報処理装置３００に様々な情報を入出力できる。例えば、メモリ３３６に記憶される情報が入出力インターフェイス３３１を介して入出力される。入出力インターフェイス３３１は、処理装置制御部３３０の外部に存在する記憶媒体４００に対して情報を入出力できる。記憶媒体４００として、例えば、ＳＤカード、ＵＳＢメモリなどを挙げることができる。また、記憶媒体４００だけでなく、情報処理装置３００に接続されるネットワークに対して情報を入出力できる。記憶媒体４００は、例えば、移動体１００のメモリ１４０である。
　メモリ３３６は、ハードディスク装置、フラッシュメモリ等から構成されるメモリである。メモリ３３６には、オペレーティングシステム、情報処理装置３００を実行させるプログラム等、情報処理装置３００を動作させるデータ及びプログラムが記憶されている。
　図５は、ＣＰＵ３３２で実現される処理機能を示すブロック図である。
　ＣＰＵ３３２は、画像群取得部３４１と、撮影画像判断部３４２と、撮影失敗箇所特定部３４３と、撮影失敗箇所表示部３４４と、再撮影確認画面表示部３４５と、推奨撮影パラメータ決定部３４６と、備える。画像群取得部３４１と、撮影画像判断部３４２と、撮影失敗箇所特定部３４３と、撮影失敗箇所表示部３４４と、再撮影確認画面表示部３４５と、推奨撮影パラメータ決定部３４６はＣＰＵ３３２の一部であり、ＣＰＵ３３２が各部の処理を実行する。
　なお、ＣＰＵ３３２の各部は以下の処理を実行する。画像群取得部３４１は、移動体１００が対象物を撮影した複数の撮影画像を含む画像群を取得する。撮影画像判断部３４２は、取得した画像群に対して複数の撮影画像の各撮影画像が予め定めた基準を満たすかを判断する。撮影失敗箇所特定部３４３は、基準を満たさないと判断された失敗画像の撮影失敗箇所を特定する。撮影失敗箇所表示部３４４は、画像群の隣接関係及び撮影失敗箇所を表示装置３２０に表示させる。再撮影確認画面表示部３４５は、失敗画像に対し再撮影するかどうかの確認画面を表示装置に表示させ、且つ、再撮影の可否の指示を受け付ける。推奨撮影パラメータ決定部３４６は、失敗画像の内容に基づいて、撮影失敗箇所に対する推奨撮影パラメータを決定する。
　次に、移動体撮影システム１について説明する。
　移動体撮影システム１において、最初に、図６に示すように、移動体１００の撮影装置２００により対象物５００の撮影を実施する。対象物５００は、例えば、橋脚である。また、移動体１００はＵＡＶ（Ｕｎｍａｎｎｅｄ　Ａｅｒｉａｌ　Ｖｅｈｉｃｌｅ）である。
　移動体１００は、対象物５００の周囲を、コントローラ２５０から送信される制御信号に基づいて飛行する。また、移動体１００に搭載された撮影装置２００は、制御装置１２０からの制御信号に基づいて、移動体１００の移動に合わせて、対象物５００に対する撮影範囲を移動させながら、対象物５００外壁面を撮影する。撮影装置２００は、一撮影毎に、画角範囲２１０の撮影画像を取得する。さらに、撮影装置２００は、対象物５００を分割して撮影することにより、複数の撮影画像を取得する。移動体１００の一回の飛行で取得される複数の撮影画像ＩＤが一つの画像群ＩＧとして取得され、取得された画像群は、移動体１００のメモリ１４０に記憶される。
　制御装置１２０は、一撮影毎に、撮影位置情報及び撮影姿勢情報をセンサ部１５４から、又はセンサ部１５４とジンバル１１０の制御信号から取得し、撮影画像と関連付けてメモリ１４０に記憶する。撮影画像との関連付けは、撮影画像を特定できるファイル名、ファイルＩＤ、位置任意に付与された写真番号などの識別情報と、撮影位置情報及び撮影姿勢情報とを紐づけて、例えば、テーブルの形式でメモリ１４０に記憶される。
　撮影装置２００は、撮影画像として、基本的には二次元カラー画像を取得する。なお、撮影装置２００は、同時に三次元データを取得してもよい。
　撮影位置情報及び撮影姿勢情報を取得するため、Simultaneous Localization And Mapping（ＳＬＡＭ）、又はStructure from Motion（ＳｆＭ）を適用することができる。ＳＬＡＭは、撮影装置２００からの入力画像の変化に応じて動的に更新される特徴点のセットを用いて、特徴点の位置と撮影装置２００の撮影位置情報及び撮影姿勢情報とを同時に推定することができる。
　ＳｆＭは、撮影装置２００を移動させながら撮影される撮影画像上の複数の特徴点を追跡し、これらの特徴点の対応関係を利用して撮影装置２００の撮影位置情報及び撮影姿勢情報と特徴点の三次元位置とを算出する。
　ＳＬＡＭ又はＳｆＭを利用した場合、移動体１００の制御装置１２０が撮影位置情報及び撮影姿勢情報の算出し、算出した撮影位置情報及び撮影姿勢情報をメモリ１４０に記憶できる。
　また、ＳＬＡＭ又はＳｆＭを利用した場合、情報処理装置３００の処理装置制御部３３０で撮影位置情報及び撮影姿勢情報の算出し、算出した撮影位置情報及び撮影姿勢情報をメモリ３３６に記憶できる。
　また、制御装置１２０は、一撮影毎に、撮影位置情報及び撮影姿勢情報をセンサ部１５４から、又はセンサ部１５４とジンバル１１０の制御信号から取得し、撮影位置情報及び撮影姿勢情報を情報処理装置３００に送信し、情報処理装置３００のメモリ３３６に撮影位置情報及び撮影姿勢情報を記憶してもよい。
　また、ＳＬＡＭ又はＳｆＭを利用した場合、移動体１００の制御装置１２０が撮影位置情報及び撮影姿勢情報の算出し、撮影位置情報及び撮影姿勢情報を情報処理装置３００に送信し、情報処理装置３００のメモリ３３６に撮影位置情報及び撮影姿勢情報を記憶してもよい。
　したがって、移動体撮影システム１において、対象物５００を移動体１００の撮影装置２００により撮影した場合、対象物５００を撮影した際の撮影装置２００の撮影位置情報及び撮影姿勢情報が取得でき、且つ記憶できる限りにおいて、移動体１００の制御装置１２０及び情報処理装置３００の処理装置制御部３３０いずれかで処理を実行できればよい。
　次に、情報処理装置３００を使用した情報処理方法を説明する。図７は、情報処理装置３００を使用した情報処理方法を説明するフローチャートである。情報処理方法は、複数の撮影画像を含む画像群を取得するステップ（ステップＳ１）と、各撮影画像が予め定めた基準を満たすかを判断するステップ（ステップＳ２）と、基準を満たさないと判断された失敗画像の撮影失敗箇所を特定するステップ（ステップＳ３）と、全撮影画像を判断したかを確認するステップ（ステップＳ４）と、を備える。
　図７に示すように、ステップＳ１において、ＣＰＵ３３２の画像群取得部３４１は、複数の撮影画像ＩＤを含む画像群ＩＧを取得する。ステップＳ２において、ＣＰＵ３３２の撮影画像判断部３４２は、各撮影画像ＩＤが予め定めた基準を満たすかを判断する。ステップＳ２において、結果がＹｅｓである場合、すなわち、撮影画像ＩＤが失敗画像でない場合、ＣＰＵ３３２はステップＳ４に進む。ステップＳ２において、結果がＮｏである場合、すなわち、撮影画像ＩＤが失敗画像である場合、ＣＰＵ３３２は、ステップＳ３に進む。ステップＳ３において、ＣＰＵ３３２の撮影失敗箇所特定部３４３は、失敗画像の撮影失敗箇所を特定する。ＣＰＵ３３２は、失敗画像の撮影失敗箇所を特定するとステップＳ４に進む。
　ステップＳ４において、ＣＰＵ３３２は、全ての撮影画像ＩＤを判断したかを確認する。ステップＳ４において、結果がＹｅｓである場合、処理を終える。結果がＮｏである場合、ＣＰＵ３３２は、ステップＳ２に戻り、全ての撮影画像ＩＤを判断するまで、ステップＳ２からステップＳ４を繰り返す。
　図８に示すように、情報処理装置３００は複数の撮影画像ＩＤを含む画像群ＩＧを取得する（ステップＳ１）。図８においては、情報処理装置３００の処理装置制御部３３０により、メモリ１４０に記憶された複数の撮影画像ＩＤが画像群ＩＧとして、情報処理装置３００に取得される。取得された画像群ＩＧは、例えば、メモリ３３６に記憶される。
　複数の撮影画像ＩＤを含む画像群ＩＧを移動体１００のメモリ１４０から取得する方法は特に限定されない。メモリ１４０が移動体１００に対して着脱自在である場合、メモリ１４０が情報処理装置３００に装着され、情報処理装置３００はメモリ１４０から画像群ＩＧを取得してもよい。また、コントローラ２５０の通信機能を利用し、情報処理装置３００は移動体１００のメモリ１４０から画像群ＩＧを取得してもよい。情報処理装置３００は、取得した複数の撮影画像ＩＤを含む画像群ＩＧを表示装置３２０に表示させる。
　次に、情報処理装置３００により、各撮影画像ＩＤが予め定めた基準を満たすかを判断され（ステップＳ２）、基準を満たさないと判断された失敗画像の撮影失敗箇所が特定され（ステップＳ３）、全ての撮影画像を判断したかが確認される（ステップＳ４）。確認が終了すると、図９に示すように、ＣＰＵ３３２の撮影失敗箇所表示部３４４に処理が実行され、失敗画像ＦＩとその撮影失敗箇所の位置が表示装置３２０に表示される。撮影失敗箇所表示部３４４が、画像群ＩＧ（複数の撮影画像ＩＤ）の隣接関係及び撮影失敗箇所を表示装置３２０に表示させる。
　さらに、撮影失敗箇所表示部３４４は、ステップＳ３において撮影失敗箇所特定部３４３により特定された、失敗画像ＦＩの内容を、表示装置３２０に表させる。図９においては、２箇所の失敗画像ＦＩと撮影失敗箇所が表示装置３２０に表示され、さらに各失敗画像ＦＩは拡大表示され、且つ失敗の内容が表示される。例えば、上側に位置する失敗画像ＦＩには、「ボケブレ」と表示される。また、下側に位置する失敗画像ＦＩには「露出アンダー」と表示される。情報処理装置３００の使用者は、容易に失敗画像ＦＩの原因を理解することができる。また失敗画像ＦＩが拡大表示されているので、使用者は失敗画像ＦＩを目視で確認できる。撮影失敗箇所表示部３４４は、失敗画像ＦＩを縮小表示できる。縮小表示することで、表示装置３２０に表示される失敗画像ＦＩの数を増やすことができる。
　撮影失敗箇所表示部３４４は、失敗画像ＦＩの識別情報としてファイル名を表示装置３２０に表示させる。上側に位置する失敗画像ＦＩには「Ｓ０１０２．ｊｐｇ」が表示され、下側に位置する失敗画像ＦＩには「Ｓ０１０９．ｊｐｇ」が表示される。
　次に、ステップＳ２のおける撮影画像判断部３４２の処理について説明する。撮影画像判断部３４２は、以下の手法により、撮影画像ＩＤが基準を満たすか否か判断できる。第１の手法は、撮影画像ＩＤを画像解析に基づいて判断する手法である。
　撮影画像判断部３４２が、撮影画像ＩＤを画像解析により、撮影画像ＩＤが「ボケ」、「ブレ」、「露出オーバー」、「露出アンダー」又は「問題なし」であるかを判断する。撮影画像ＩＤ毎に判断された内容と関連付けて、例えば、メモリ３３６に記憶される。
　最初に「ボケ」又は「ブレ」の判断手法について説明する。撮影画像ＩＤが「ボケ」又は「ブレ」であるかの判断手法には、撮影画像ＩＤに基づいて判断する場合と、撮影時の状態に基づいて判断する場合とが含まれる。撮影画像ＩＤに基づく判断については２種類の手法がある。
　撮影画像ＩＤに基づいて判断する一例として、機械学習による学習モデルを挙げることができる。例えば、ボケあり又はボケなしの画像群、ブレあり又はボケなし画像群を準備し、これらの画像群を教師データとして、機械学習装置で画像判断の学習モデルを作成する。作成された学習モデルを利用した撮影画像判断部３４２により、撮影画像ＩＤのボケの有無、又はブレの有無を判断させることができる。
　さらに、撮影画像判断において、撮影画像判断部３４２は、対象物５００に対してコンクリート、鋼、又はそれ以外、などの判別を行うことが好ましい。対象物５００の判別において、コンクリート、鋼、又はそれ以外の画像群を準備し、これらの画像群を教師データとして、機械学習装置で対象物判断の学習モデルを作成する。
　撮影画像判断部３４２は、対象物判断の学習モデルと、画像判断の学習モデルとを利用し、所望の対象物領域がボケ又はブレ領域と重なるか否かを判断できる。機械学習による学習モデルが予め定められた基準となる。
　撮影画像ＩＤに基づいて判断する他の例として、画像解析アルゴリズムによる判断を挙げることができる。画像解析アルゴリズムとして空間周波数解析によりボケ又はブレを判断しもてよい。撮影画像判断部３４２は、撮影画像ＩＤに対して空間周波数解析を行い高周波成分の有無を判定する。撮影画像ＩＤにボケ又はブレが存在する場合、高周波成分が失われる。高周波成分が有る場合にはボケ又はブレが無いと判断し、高周波成分が無い場合にはボケ又はブレが有ると判断できる。なお、高周波成分の有無は閾値で判断でき、その閾値は予め任意に決定することができる。
　画像解析アルゴリズムではこの閾値が予め定められた基準となる。
　また、撮影時の状態に基づいてブレ又はボケを判断することができる。例えば、撮影画像判断部３４２は、撮影画像ＩＤのシャッタースピードと、移動体１００の移動速度との対応関係から「ブレ」を判断できる。例えば、移動速度（ｍ／秒）×シャッタースピード（秒）＝シャッターが開いている間の移動距離（ｍ）と、撮像素子１画素分のサイズと比較し、移動距離（ｍ）が撮像素子１画素分のサイズ以内である場合「ブレなし」と判断し、撮像素子１画素サイズを超えている場合「ブレあり」と判断できる。シャッタースピードは、撮影装置２００又はＥｘｉｆ（Exchangeable Image File Format）から情報を取得できる。また移動体１００の移動速度は、センサ部１５４から取得できる。
　移動距離（ｍ）が撮像素子１画素分のサイズ以内であるかが、予め定められた基準となる。
　また、撮影画像判断部３４２は、フォーカスが合ってから撮影したかの情報に基づいて、ボケを判断することができる。撮影画像判断部３４２は、フォーカス位置と、撮影画像ＩＤの対象物領域との対応関係から判断できる。フォーカスが合ってから撮影したかの情報は、撮影装置２００又はＥｘｉｆから情報を取得できる。対象物領域は対象物判断の学習モデルを利用することで判別できる。この場合において、フォーカス位置が「それ以外」の領域になっている撮影画像ＩＤを「ボケ」と判断でき、予め定められた基準となる。
　次に「露出アンダー」又は「露出オーバー」の判断手法について説明する。撮影画像ＩＤが「露出アンダー」又は「露出オーバー」であるかの判断手法には、撮影画像ＩＤに基づいて判断する場合があり、ここでは撮影画像ＩＤに基づく判断手法として２種類を説明する。
　なお、「露出アンダー」は、撮影画像ＩＤが暗過ぎる又は黒潰れが存在する状態を指し、「露出オーバー」は、撮影画像ＩＤが明る過ぎる。白飛びが存在する状態を指す。
　撮影画像ＩＤに基づいて判断する一例として、機械学習による学習モデルを挙げることができる。例えば、露出アンダー、露出オーバー及び適正露出の画像群を準備し、これらの画像群を教師データとして、機械学習装置で画像判断の学習モデルを作成する。作成された学習モデルを利用した撮影画像判断部３４２により、撮影画像ＩＤの露出アンダー又は露出オーバーを判断させることができる。機械学習による学習モデルが予め定められた基準となる。
　撮影画像ＩＤに基づいて判断する他の例として、画像解析アルゴリズムによる判断を挙げることができる。画像解析アルゴリズムとして撮影画像ＩＤを構成する画素値（ＲＧＢ値）のヒストグラムに基づいて判断してもよい。撮影画像判断部３４２は、ＲＧＢ値のヒストグラムを作成し、ＲＧＢ値がある閾値以下（例えば、１０以下）の画素が所定の割合で存在する撮影画像ＩＤは露出アンダーと判断し、一方で、ＲＧＢ値がある閾値以上（例えば、２４５以上）の画素が所定の割合で存在する撮影画像ＩＤは露出オーバーと判断する。この閾値及び割合は予め任意に決定でき、これらが予め定められた基準となる。
　次に、撮影分解能により撮影画像ＩＤを判断する場合と、撮影角度により撮影画像ＩＤを判断する場合とを説明する。撮影分解能による判断には、撮影画像ＩＤに基づいて判断する場合と、撮影時の状態に基づいて判断する場合とが含まれる。また、撮影角度により撮影画像ＩＤを判断する場合には、撮影画像ＩＤに基づいて判断する場合と、撮影時の状態に基づいて判断する場合とが含まれる。
　まず、撮影分解能（ｍｍ／画素）の判断では、所望の撮影分解能を満たすかどうかで撮影画像ＩＤを判断する。
　判断基準として、例えば、０．１ｍｍ程度以上の幅のひび割れを検出させるには０．３ｍｍ／画素以上（０．３ｍｍ／画素、０．２ｍｍ／画素、・・・等）、０．２ｍｍ程度以上の幅ひび割れを検出させるには０．６ｍ／画素以上（０．６ｍｍ／画素、０．５ｍｍ／画素、・・・等）の分解能が必要となる。撮影分解能（ｍｍ／画素）の閾値は所望の点検条件により判定閾値を自動で設定してもよいし、使用者が調整できるようにしてもよい。この閾値が予め定められた基準となる。
　撮影画像ＩＤに基づいて撮影分解能を判断する場合、撮影画像判断部３４２は、大きさが既知の構造物（コンクリート：Ｐコン跡、型枠跡、鋼：リベット、ボルト等）を画像認識により、撮影分解能を推定することで、撮影画像ＩＤが基準を満たすか判断する。なお、Ｐコン跡は、コンクリートの壁の表面に存在するセパレートボルトから除去したＰコン（プラスチックコーン）の穴である。
　撮影時の状態に基づいて撮影分解能を判断する場合、撮影画像判断部３４２は、移動体１００のセンサ部１５４及び撮影装置２００からの情報に基づいて撮影分解能を推定し、撮影画像ＩＤが基準を満たすか判断する。
　例えば、移動体１００の撮影装置２００のレンズが単焦点レズの場合、撮影画像判断部３４２は、撮影距離情報から撮影分解能を推定する。撮影距離情報は、撮影装置２００が取得した三次元データ、及び／又はセンサ部１５４の測位センサが取得した位置情報に基づいて取得される。
　移動体１００の撮影装置２００のレンズがズームレンズの場合、撮影画像判断部３４２は、撮影距離情報と焦点距離情報とから撮影分解能を推定する。撮影距離情報は単焦点レンズの場合と同様に撮影装置２００が取得した三次元データ、及び／又はセンサ部１５４の測位センサが取得した位置情報に基づいて取得される。焦点距離情報は撮影装置２００またはＥｘｉｆから取得される。
　次に、撮影角度により撮影画像ＩＤを判断する場合には、被写体距離、焦点距離、絞り値及び許容錯乱円径に応じて決まる被写界深度に対し、撮影画像ＩＤが被写界深度の範囲内であるどうかで、撮影画像ＩＤを判断する。
　図１０に基づいて被写界深度と撮影画像ＩＤとの関係を説明する。図１０に図示した符号ＤＮは前方被写界深度を表す。符号Ｄｆは後方被写界深度を表す。前方被写界深度ＤＮは、以下の式１を用いて表される。後方被写界深度Ｄｆは、以下の式２を用いて表される。被写界深度は、以下の式３を用いて表される。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　上記の式１における前方被写界深度ＤＮ、上記の式２における後方被写界深度Ｄｆ、上記の式３における被写界深度ＤＯＦの単位が（ｍｍ）の場合、上記の式１、及び式２における許容錯乱円径、被写体距離、焦点距離の単位は（ｍｍ）である。
　許容錯乱円径は、許容錯乱円の直径を意味する。許容錯乱円径は、撮影装置２００に具備される撮像素子画素サイズとなる。
　図１０の符号２２０は撮影装置２００の合焦面を表す。符号２２０Ａを付した実線は、撮影装置２００の撮影範囲を表す。領域２２９は被写界深度に収まるを表す。縦方向の撮影範囲は、被写体距離に縦方向のセンササイズを乗算した値を焦点距離で除算して算出される。縦方向の撮影範囲は長さを表す単位が用いられる。
　縦方向は、図１０に図示した合焦面２２０を表す破線が向く方向を表す。縦方向のセンササイズは、撮影装置２００に具備される撮像素子の縦方向におけるサイズである。
　また、横方向の撮影範囲は、被写体距離に横方向のセンササイズを乗算した値を焦点距離で除算して算出される。横方向の撮影範囲は長さを表す単位が用いられる。
　横方向は、縦方向と直交する方向であり、図１０の紙面を貫く方向を表す。横方向のセンササイズは、図１０に示した撮影装置２００に具備される撮像素子の横方向におけるサイズである。撮影角度θは、被写体２０２の被写体面２０２Ａの法線の方向である被写体面垂直方向２２２と、撮影装置２００の光軸の方向２２４とのなす角度である。
　図１０に図示した符号２２６は、被写界深度の前端を表す。符号２２８は、被写界深度の後端を表す。符号２３０は、合焦面２２０の前方の焦点ずれ量を表す。符号２３２は、合焦面２２０の後方の焦点ずれ量を表す。焦点ずれ量は、被写体面２０２Ａから合焦面２２０までの距離として、幾何学計算を用いて計算することが可能である。
　撮影装置２００の撮影範囲２２０Ａに対する領域２２９の割合がボケの程度に関係し、撮影角度θにより割合が決定される。撮影画像判断部３４２は撮影角度θが閾値以内であるかで、撮影画像ＩＤを判断する。撮影角度θは、自動で設定してもよいし、使用者が調整してもよい。
　撮影画像ＩＤに基づいて撮影角度を判断する場合、撮影画像判断部３４２は、奥行きを推定する学習モデルを利用し、撮影角度θを算出し、撮影角度θに基づいて撮影画像ＩＤを判断する。
　撮影画像ＩＤに基づいて撮影角度を判断する他の例の場合、撮影画像判断部３４２は、ＳｆＭにより複数の撮影画像ＩＤの特徴点を抽出し、撮影装置２００を推定することで、撮影方向に対する対象面の傾きから撮影角度θを推定し、撮影角度θに基づいて撮影画像ＩＤを判断する。
　撮影時の状態に基づいて撮影角度を判断する場合、撮影画像判断部３４２は、移動体１００の撮影姿勢情報及びジンバル１１０の制御情報（回転角など）から撮影角度θを推定し、撮影角度θに基づいて撮影画像ＩＤを判断する。撮影姿勢情報はセンサ部１５４のジャイロセンサから取得でき、ジンバル１１０の制御情報は撮影制御部１２６から取得できる。
　図９に示すように、情報処理装置３００に、複数の撮影画像ＩＤの隣接関係及び撮影失敗箇所を表示装置３２０に表示させると、ＣＰＵ３３２の再撮影確認画面表示部３４５は失敗画像ＦＩに対し再撮影するかどうかの確認画面を表示装置３２０に表示させ、且つ、再撮影の可否の指示を受け付ける。
　図１１は再撮影確認画面の一例を示す図である。再撮影確認画面は、前画像ボタン３２１、次画像ボタン３２２、再撮影ボタン３２３、及び終了ボタン３２４を備える。再撮影確認画面には失敗画像ＦＩと、失敗画像ＦＩの内容及びファイル名が表示される。図１１では、一つの失敗画像ＦＩが再撮影確認画面に表示される。
　前画像ボタン３２１は表示されている失敗画像ＦＩの前の失敗画像ＦＩを表示させる。次画像ボタン３２２は表示されている失敗画像ＦＩの次の失敗画像ＦＩを表示させる。失敗画像ＦＩは、ファイル名の順、撮影順等で並べられており、前画像ボタン３２１及び次画像ボタン３２２を操作することで、使用者はファイル名の順、撮影順等で失敗画像ＦＩを確認できる。
　再撮影ボタン３２３は、ＣＰＵ３３２は再撮影の可否の指示を受け付ける。再撮影ボタン３２３を操作することで、失敗画像ＦＩに対する再撮影の受付が実行される。再撮影が決定されると、再撮影欄の「Ｙｅｓ」が強調表示及び下線表示がされる。使用者は、失敗画像ＦＩに対して再撮影することが決定されたことを目視で確認できる。
　なお、再撮影欄の「Ｙｅｓ」の状態で、再撮影ボタン３２３を再度操作することで、再撮影の決定が取り消され、再撮影欄の「Ｎｏ」が強調表示及び下線表示がされる。使用者は失敗画像ＦＩに対して再撮影しないことを目視で確認できる。再撮影欄はチェックボックスの形式であってもよい。
　終了ボタン３２４は、再撮影確認画面を終了させる。使用者が終了ボタン３２４を操作すると、再撮影の可否の指示が決定され、ＣＰＵ３３２は再撮影が決定された失敗画像ＦＩの識別情報をメモリ３３６に記憶する。
　次に、再撮影確認を終了すると、ＣＰＵ３３２の推奨撮影パラメータ決定部３４６は、失敗画像ＦＩの内容に基づいて、撮影失敗箇所に対する推奨撮影パラメータを決定する。推奨撮影パラメータ決定部３４６は失敗画像ＦＩの内容に応じて好ましい推奨撮影パラメータを決定する。推奨撮影パラメータ決定部３４６は、撮影パラメータ（シャッタースピード、Ｆ値、露出補正量、ＩＳＯ感度、フォーカス位置、焦点距離、ストロボ発光ＯＮ／ＯＦＦ、ストロボ発光量、ライトＯＮ／ＯＦＦ等）と、撮影位置及び撮影姿勢などの補正量と、を推奨撮影パラメータとして決定する。
　失敗画像ＦＩが「ボケ」又は「ブレ」と判断された撮影失敗箇所の場合について説明する。内容が「ボケ」である場合、推奨撮影パラメータ決定部３４６が、単なる「ボケ」であると判断すると、推奨撮影パラメータ決定部３４６は推奨撮影パラメータを変更しないことを決定する。また、推奨撮影パラメータ決定部３４６は、絞りを絞るため、Ｆ値を大きく｛例えば、Ｆ５．６からＦ８）したことに対応する推奨撮影パラメータを決定する。撮影装置２００の被写界深度が深くなる。
　内容が「ボケ」である場合、推奨撮影パラメータ決定部３４６が、フォーカス位置が所望の対象物に合っていないと判断すると、推奨撮影パラメータ決定部３４６は、撮影装置２００のフォーカス位置を変更したことに対応する推奨撮影パラメータを決定する。
　内容が「ブレ」である場合、推奨撮影パラメータ決定部３４６は、撮影装置２００のシャッタースピードを速くする、又はＩＳＯ感度を上げる又は移動体１００移動速度を落とすか静止するに対応する推奨撮影パラメータを決定する。
　失敗画像ＦＩが「露出アンダー」または「露出オーバー」と判断された撮影失敗箇所の場合について説明する。
　内容が「露出アンダー」である場合、推奨撮影パラメータ決定部３４６は、露出補正を＋側にする、ストロボを発光させる、ストロボの発光量を上げる、又はライトをつけるに対応する推奨撮影パラメータを決定する。
　内容が「露出オーバー」である場合、推奨撮影パラメータ決定部３４６は、露出補正を－側にする、ストロボを発光させないようにする、ストロボの発光量を下げる又はライトを消すに対応する推奨撮影パラメータを決定する。
　失敗画像ＦＩが「撮影分解能不足」と判断された撮影失敗箇所の場合について説明する。内容が「撮影分解能不足」である場合、推奨撮影パラメータ決定部３４６は、撮影距離を近づける又は焦点距離を長くすることに対応する推奨撮影パラメータを決定する。
　失敗画像ＦＩが「撮影角度が対象に対して正対していないと判定された」と判断された撮影失敗箇所の場合について説明する。内容が「撮影角度が対象に対して正対していないと判定された」である場合、推奨撮影パラメータ決定部３４６は、撮影角度を逆方向に変化させる、又は被写界深度を深くするため、絞りを絞るようにＦ値を大きく（例えば、Ｆ５．６からＦ８）することに対応する推奨撮影パラメータを決定する。
　なお、推奨撮影パラメータ決定部３４６は、失敗画像ＦＩと同じパラメータ、失敗画像ＦＩと隣接する撮影画像ＩＤと同じパラメータ又は既述したように失敗画像ＦＩに応じて決定されるパラメータに対し範囲を変化させた複数のパラメータ、これらを複数の推奨撮影パラメータとして決定できる。複数の推奨撮影パラメータに基づいて、移動体１００の撮影装置２００により複数の再撮影画像を取得し、情報処理装置３００を利用し、複数の再撮影画像の中から最良の再撮影画像を選択してもよい。
　次に、基準を満たさないと判断された失敗画像の撮影失敗箇所を特定するステップ（ステップＳ３）について説明する。ステップＳ３においては、ＣＰＵ３３２の撮影失敗箇所特定部３４３は、画像群ＩＧの複数の撮影画像ＩＤの隣接関係を特定することで、撮影失敗箇所を特定する。以下、ステップＳ３の好ましい態様を説明する。
　好ましい態様の一つは撮影画像ＩＤの特徴点の対応関係に基づいて特定する手法である。この手法では、複数の撮影画像ＩＤから特徴点を抽出し、撮影画像ＩＤ間での特徴点の対応関係が把握され、複数の撮影画像ＩＤを合成することにより撮影画像ＩＤの隣接関係が特定される。
　図１２は、上記手法により撮影画像ＩＤの隣接関係を特定する処理を説明するための図である。実施形態では、図１２の１２Ａに示す画像の対応付けと、１２Ｂに示す画像の合成を含んでいる。１２Ａに示すように、撮影失敗箇所特定部３４３は、画像の対応付けにおいて、各撮影画像ＩＤから丸印で示す特徴点Ｐを抽出する。次に、撮影失敗箇所特定部３４３は、複数の撮影画像ＩＤから抽出された、それぞれの特徴点Ｐに対し、公知の手法による対応付け実行し、対応する特徴点Ｐを抽出する。直線Ｓは特徴点Ｐの対応付けを示している。次に、撮影失敗箇所特定部３４３は、特徴点Ｐを対応付けすることにより射影変換行列を算出する。１２Ａにおいては、撮影画像ＩＤは失敗画像ＦＩを含んでいる。
　次に、１２Ｂに示すように、撮影失敗箇所特定部３４３は、直線Ｓの対応付けに基づいて複数の撮影画像ＩＤ（失敗画像ＦＩを含め）を合成し、合成画像ＣＩが生成される。合成画像ＣＩでは、直線Ｓの対応付けに基づいて、隣接する複数の撮影画像ＩＤはそれぞれ重複される。１２Ｂに示すように、失敗画像ＦＩが合成画像ＣＩに含まれている。画像群ＩＧの隣接関係を特定することで、失敗画像ＦＩが特定され、これにより対象物５００における撮影失敗箇所が特定される。撮影失敗箇所表示部３４４は、１２Ｂに示す合成画像ＣＩの上に失敗画像ＦＩと撮影失敗箇所を表示装置３２０に表示する。
　好ましい態様の他の一つは撮影画像ＩＤと対象物５００の位置関係に基づいて特定する方法である。この手法では、撮影画像ＩＤの撮影位置及び方向と対象物５００の構造及び位置の情報との対応から、各撮影画像ＩＤの対象物５００上の撮影位置と範囲を推定し、撮影画像ＩＤの隣接関係を特定する。なお、撮影画像ＩＤの撮影位置及び方向は撮影条件の一例である。対象物５００の構造及び位置の情報は、対象物５００の情報の一例である。対象物５００の構造及び位置の情報は、例えば、三次元モデルデータから取得できる。
　図１３は、上記手法により撮影画像ＩＤの隣接関係を特定する処理を説明するための図である。実施形態では、図１３に示すように、対象物５００の構造及び位置の情報を含む三次元モデルデータ５０１と、撮影画像ＩＤ１及びＩＤ２とが適用される。なお、撮影範囲Ｒ１及びＲ２は、撮影画像ＩＤ１及びＩＤ２のそれぞれの撮影範囲を示す。
　三次元モデルデータ５０１はアーチ橋であり、アーチリブ５０１Ａ、床版５０１Ｂ及び橋脚５０１Ｃを含んでいる。三次元モデルデータ５０１は、点群、ポリゴン（メッシュ）、又はソリッドモデル等で表示することができる。図１３の三次元モデルデータ５０１は、多角形のポリゴンに、構造物を撮影した撮影画像（テクスチャ）をテクスチャーマッピングした図である。三次元モデルデータ５０１は、撮影画像ＩＤからＳｆＭなどの手法で生成してもよいし、対象物５００の設計時に作成された三次元モデルデータであってもよい。
　撮影失敗箇所特定部３４３は、撮影画像ＩＤ１及びＩＤ２の撮影位置及び方向と三次元モデルデータ５０１との対応関係から撮影距離（対象物５００との距離）を算出し、撮影距離とレンズの焦点距離と撮像素子のサイズの情報に基づいて撮影範囲を算出する。図１３に示すように、撮影失敗箇所特定部３４３は、撮影画像ＩＤ１及びＩＤ２の撮影範囲を三次元モデルデータ５０１上で推定することで、撮影画像ＩＤ１及びＩＤ２の隣接関係を特定する。なお、撮影距離は移動体１００の撮影装置２００又はセンサ部１５４から直接取得してもよい。
　撮影範囲（横方向）及び撮影範囲（縦方向）は、撮影距離（Ｄ）、レンズの焦点距離（Ｆ）、センササイズ（Ｓｘ，Ｓｙ）とすると、以下の式４及び式５により算出できる。
　撮影範囲（横方向）＝Ｄ×Ｓｘ／Ｆ・・・（式４）
　撮影範囲（縦方向）＝Ｄ×Ｓｙ／Ｆ・・・（式５）
　撮影失敗箇所特定部３４３は、処理を終了すると、撮影画像ＩＤにおける失敗画像ＦＩの識別情報に関連付けて撮影失敗箇所をメモリ３３６に記憶する。
　次に、移動体１００の撮影装置２００による再撮影について図１４を参考に説明する。図１１に示す再撮影確認画面による確認を終えると、移動体１００の撮影装置２００による再撮影のステップに進む。
　図１４に示すように、情報処理装置３００により再撮影が必要な撮影失敗箇所が決定されると、その情報がコントローラ２５０を介して移動体１００に送信される。例えば、撮影失敗箇所を特定する識別情報として写真番号「Ｓ０１０２」が特定され、移動体１００に送信される。既述したように、推奨撮影パラメータが設定されている場合、識別情報と推奨撮影パラメータとが移動体１００に送信される。
　一方、移動体１００の制御装置１２０はコントローラ２５０から撮影失敗箇所を特定する識別情報を受信すると、撮影指示受付部１３２は、撮影位置情報及び撮影姿勢情報に基づく撮影指示、いわゆる失敗画像ＦＩに対する再撮影の指示として受け付ける。
　図１５に示すように、移動体１００の撮影指示受付部１３２が指示を受けると、移動体１００は、制御装置１２０の移動制御部１２４及び撮影制御部１２６の制御下、自動的に撮影装置２００による撮影失敗箇所の撮影を開始する。
　移動制御部１２４及び撮影制御部１２６は指示を受け付けた識別情報に対応する撮影位置情報及び撮影姿勢情報をメモリ１４０から取得する。移動体１００の撮影装置２００は、失敗画像ＦＩを撮影した際の撮影位置情報及び撮影姿勢情報に基づいて撮影失敗箇所を再撮影するので、撮影作業を効率的に行うことができ、作業時間を短縮できる。また、目立つ特徴が少ない対象物５００であっても、移動体１００の撮影装置２００は、特定箇所を、容易に再撮影できる。
　撮影位置情報及び撮影姿勢情報を移動体１００のメモリ１４０から取得する場合を説明した。一方で、撮影位置情報及び撮影姿勢情報が情報処理装置３００のメモリ３３６に記憶されている場合、撮影失敗箇所を特定する識別情報の他に撮影位置情報及び撮影姿勢情報を移動体１００に送信してもよい。移動制御部１２４及び撮影制御部１２６は情報処理装置３００からの撮影位置情報及び撮影姿勢情報を取得する。移動体１００の撮影装置２００は、失敗画像ＦＩを撮影した際の撮影位置情報及び撮影姿勢情報に基づいて撮影失敗箇所を再撮影する。
　撮影指示受付部１３２が推奨撮影パラメータを受け付けている場合、移動制御部１２４及び撮影制御部１２６は撮影パラメータ及び補正量を取得し、撮影装置２００及び移動体１００を制御する。
　なお、撮影指示受付部１３２が複数の撮影指示を受けた場合、撮影ルート生成部１３４が、再撮影のための撮影ルートを生成する。図１６は、生成された撮影ルートを説明するため図である。１６Ａは、撮影指示受付部１３２が位置１、位置２、位置３及び位置４の合計４箇所の撮影指示を受けている状態を示す。なお、位置１、位置２、位置３及び位置４は、最初に撮影した際の写真番号を示す。したがって、撮影指示を受けた撮影失敗箇所は、位置１、位置２、位置３及び位置４の順で撮影されている。
　１６Ｂは、第１の撮影ルート生成方法を示す。撮影ルート生成部１３４は、撮影指示を受けた全箇所（ここでは４箇所）の撮影の総移動距離が最短となるルートを生成する。移動体１００は、ホームポジションに位置している。撮影を開始すると、移動体１００は、位置１に移動し、撮影失敗箇所を撮影する。次に、位置２に移動し撮影失敗箇所を撮影し、次に位置４に移動し撮影失敗箇所を撮影し、最後に位置３に移動し、撮影失敗箇所を撮影する。移動体１００は、ホームポジションに戻る。第１の撮影ルート生成方法では、撮影順は任意で、撮影の総移動距離が最短になる撮影ルートが生成される。
　１６Ｃは、第２の撮影ルート生成方法を示す。撮影ルート生成部１３４は、所定順番（撮影指示を受けた写真番号が若い順など）で移動距離が最短となるルートを生成する。移動体１００は、ホームポジションに位置している。撮影を開始すると、移動体１００は、位置１に移動し、撮影失敗箇所を撮影する。次に、位置２に移動し撮影失敗箇所を撮影し、次に位置３に移動し撮影失敗箇所を撮影し、最後に位置４に移動し、撮影失敗箇所を撮影する。移動体１００は、ホームポジションに戻る。第２の撮影ルート生成方法では、撮影場所間を最短距離で移動する。
　生成された２つの撮影ルートを例示したが、撮影ルートはこれらに限定されない。
　＜その他＞
　上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部は１つのプロセッサで構成できる。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記憶したコンピュータ読み取り可能な記憶媒体（非一時的記憶媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能である。
１　移動体撮影システム
１００　移動体
１０２　移動体本体
１０４　推進部
１１０　ジンバル
１２０　制御装置
１２２　メイン制御部
１２４　移動制御部
１２６　撮影制御部
１２８　撮影位置情報取得部
１３０　撮影姿勢情報取得部
１３２　撮影指示受付部
１３４　撮影ルート生成部
１４０　メモリ
１５０　プロペラ駆動モータ
１５２　モータドライバ
１５４　センサ部
１５６　移動体通信部
２００　撮影装置
２０２　被写体
２０２Ａ　被写体面
２１０　画角範囲
２２０　合焦面
２２０Ａ　撮影範囲
２２２　被写体面垂直方向
２２４　撮像装置の光軸の方向
２２６　被写界深度の前端
２２８　被写界深度の後端
２２９　領域
２３０　合焦面の前方の焦点ずれ量
２３２　合焦面の後方の焦点ずれ量
２５０　コントローラ
２５０Ａ　コントローラ操作部
２５０Ｂ　コントローラ表示部
２５０Ｃ　コントローラ通信部
２５０Ｄ　制御装置
３００　情報処理装置
３１０　操作部
３２０　表示装置
３２１　前画像ボタン
３２２　次画像ボタン
３２３　再撮影ボタン
３２４　終了ボタン
３３０　処理装置制御部
３３１　入出力インターフェイス
３３２　ＣＰＵ
３３３　ＲＯＭ
３３４　ＲＡＭ
３３５　表示制御部
３３６　メモリ
３４１　画像群取得部
３４２　撮影画像判断部
３４３　撮影失敗箇所特定部
３４４　撮影失敗箇所表示部
３４５　再撮影確認画面表示部
３４６　推奨撮影パラメータ決定部
４００　記憶媒体
５００　対象物
５０１　三次元モデルデータ
５０１Ａ　アーチリブ
５０１Ｂ　床版
５０１Ｃ　橋脚
ＣＩ　合成画像
Ｄｆ　後方被写界深度
ＤＮ　前方被写界深度
ＤＯＦ　被写界深度
ＦＩ　失敗画像
ＩＤ　撮影画像
ＩＤ１　撮影画像
ＩＤ２　撮影画像
ＩＧ　画像群
Ｐ　特徴点
Ｒ１　撮影範囲
Ｒ２　撮影範囲
Ｓ　直線
Ｓ１　ステップ
Ｓ２　ステップ
Ｓ３　ステップ
Ｓ４　ステップ
θ　撮影角度

Claims (17)

  1. 　プロセッサを備える情報処理装置であって、
    　前記プロセッサは、
    　対象物を撮影した複数の撮影画像を含む画像群を取得し、
    　前記画像群に対し、前記複数の撮影画像の各撮影画像が予め定めた基準を満たすかを判断し、
    　前記基準を満たさないと判断された失敗画像の撮影失敗箇所を特定する、
    　情報処理装置。
  2. 　前記プロセッサは、前記画像群の隣接関係を特定することで、前記撮影失敗箇所を特定する、請求項１に記載の情報処理装置。
  3. 　前記プロセッサは、前記画像群の隣接関係及び前記撮影失敗箇所を表示させる表示装置を備える、請求項１に記載の情報処理装置。
  4. 　前記表示装置は、前記プロセッサにより、前記隣接関係に基づいて前記画像群の撮影画像を合成させた合成画像の上に前記撮影失敗箇所を、表示する、
    　請求項３記載の情報処理装置。
  5. 　前記表示装置は、前記プロセッサにより特定された前記失敗画像の内容を表示する、請求項３又は４に記載の情報処理装置。
  6. 　前記プロセッサは、前記失敗画像に対し再撮影するかどうかの確認画面を前記表示装置に表示させ、且つ、再撮影の可否の指示を受け付ける、請求項３から５のいずれか一項に記載の情報処理装置。
  7. 　前記プロセッサは、前記失敗画像に対する拡大表示及び縮小表示の指示を受け付け、前記受け付けた前記指示に従い前記失敗画像を前記表示装置に表示させる、請求項３から６のいずれか一項に記載の情報処理装置。
  8. 　前記プロセッサは、前記失敗画像の内容に基づいて、前記撮影失敗箇所に対する推奨撮影パラメータを決定する、請求項１から７のいずれか一項に記載の情報処理装置。
  9. 　前記プロセッサは、前記撮影失敗箇所を特定する識別情報を、撮影装置を備える移動体に送信する、請求項１から８のいずれか一項に記載の情報処理装置。
  10. 　前記プロセッサは、前記撮影失敗箇所及び前記推奨撮影パラメータを、撮影装置を備える移動体に送信する、請求項８に記載の情報処理装置。
  11. 　前記プロセッサは、前記画像群に含まれる前記撮影画像を画像解析することにより前記撮影画像が前記基準を満たすかを判断する、請求項１から１０のいずれか一項に記載の情報処理装置。
  12. 　前記プロセッサは、前記撮影画像を撮影した際の撮影条件を取得し、前記撮影条件に基づいて前記撮影画像が前記基準を満たすかを判断する、請求項１から１０のいずれか一項に記載の情報処理装置。
  13. 　前記プロセッサは、前記画像群の各前記撮影画像における特徴点の対応関係から前記画像群の隣接関係を特定する、請求項１から１２のいずれか一項に記載の情報処理装置。
  14. 　前記プロセッサは、前記撮影画像の撮影条件及び対象物の情報に基づいて、前記画像群の隣接関係を特定する、請求項１から１２のいずれか一項に記載の情報処理装置。
  15. 　プロセッサを備える情報処理装置が実行する情報処理方法であって、
    　前記プロセッサにより実行される、
    　対象物を撮影した複数の撮影画像を含む画像群を取得するステップと、
    　前記画像群に対し、前記複数の撮影画像の各撮影画像が予め定めた基準を満たすかを判断するステップと、
    　前記基準を満たさないと判断された失敗画像の撮影失敗箇所を特定するステップと、
    　を含む情報処理方法。
  16. 　プロセッサを備える情報処理装置により実行されるプログラムであって、
    　前記プロセッサに、
    　対象物を撮影した複数の撮影画像を含む画像群を取得するステップと、
    　前記画像群に対し、前記複数の撮影画像の各撮影画像が予め定めた基準を満たすかを判断するステップと、
    　前記基準を満たさないと判断された失敗画像の撮影失敗箇所を特定するステップと、
    　を実行させるプログラム。
  17. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項１６に記載のプログラムが記録された記録媒体。
PCT/JP2022/037777 2021-11-19 2022-10-11 情報処理装置、情報処理方法及びプログラム WO2023089983A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021188960 2021-11-19
JP2021-188960 2021-11-19

Publications (1)

Publication Number Publication Date
WO2023089983A1 true WO2023089983A1 (ja) 2023-05-25

Family

ID=86396738

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/037777 WO2023089983A1 (ja) 2021-11-19 2022-10-11 情報処理装置、情報処理方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2023089983A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016125913A (ja) * 2015-01-05 2016-07-11 キヤノン株式会社 画像取得装置及び画像取得装置の制御方法
WO2020162264A1 (ja) * 2019-02-07 2020-08-13 富士フイルム株式会社 撮影システム、撮影箇所設定装置、撮影装置及び撮影方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016125913A (ja) * 2015-01-05 2016-07-11 キヤノン株式会社 画像取得装置及び画像取得装置の制御方法
WO2020162264A1 (ja) * 2019-02-07 2020-08-13 富士フイルム株式会社 撮影システム、撮影箇所設定装置、撮影装置及び撮影方法

Similar Documents

Publication Publication Date Title
JP6387782B2 (ja) 制御装置、制御方法及びコンピュータプログラム
JP6574845B2 (ja) 図面作成装置及び図面作成方法
US20220086362A1 (en) Focusing method and apparatus, aerial camera and unmanned aerial vehicle
US11122215B2 (en) Imaging apparatus, unmanned moving object, imaging method, system, and program
WO2019230604A1 (ja) 検査システム
JP2018205264A (ja) 画像処理装置、画像処理方法および画像処理用プログラム
JP2023100642A (ja) 検査システム
US20210352208A1 (en) Photographing system, photographed-portion setting apparatus, photographing apparatus, and photographing method
JP2021096865A (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
WO2020225979A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP2024020389A (ja) 制御方法、制御装置及びプログラム
JP6681101B2 (ja) 検査システム
WO2023089983A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2023089984A1 (ja) 移動体、移動体撮影システム及び移動体撮影方法
US20220279155A1 (en) Mobile object, control device, and imaging method
KR102402949B1 (ko) 정밀도가 향상된 영상 정보의 획득 방법
WO2020107487A1 (zh) 图像处理方法和无人机
WO2021035746A1 (zh) 图像处理方法、装置和可移动平台
JP2018174002A (ja) 移動体
JP6681102B2 (ja) 検査システム
WO2023195394A1 (ja) 撮像支援装置、移動体、撮像支援方法、及びプログラム
US20240155223A1 (en) Imaging control device, imaging system, imaging control method, and imaging control program
WO2021115175A1 (zh) 图像处理装置、图像处理方法、程序及记录介质
JP2019056961A (ja) 撮影画像補正システム、撮影画像データ取得装置及び撮影画像補正方法
JP2024072827A (ja) 制御装置、撮像システム及び撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22895269

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023561445

Country of ref document: JP

Kind code of ref document: A