WO2018070354A1 - 撮影計画生成装置、撮影計画生成方法、およびプログラム - Google Patents

撮影計画生成装置、撮影計画生成方法、およびプログラム Download PDF

Info

Publication number
WO2018070354A1
WO2018070354A1 PCT/JP2017/036477 JP2017036477W WO2018070354A1 WO 2018070354 A1 WO2018070354 A1 WO 2018070354A1 JP 2017036477 W JP2017036477 W JP 2017036477W WO 2018070354 A1 WO2018070354 A1 WO 2018070354A1
Authority
WO
WIPO (PCT)
Prior art keywords
shooting
camera
floor slab
plan
unit
Prior art date
Application number
PCT/JP2017/036477
Other languages
English (en)
French (fr)
Inventor
修平 堀田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2018544989A priority Critical patent/JP6715340B2/ja
Publication of WO2018070354A1 publication Critical patent/WO2018070354A1/ja
Priority to US16/366,970 priority patent/US10742874B2/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/02Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/023Cartesian coordinate type
    • B25J9/026Gantry-type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01DCONSTRUCTION OF BRIDGES, ELEVATED ROADWAYS OR VIADUCTS; ASSEMBLY OF BRIDGES
    • E01D19/00Structural or constructional details of bridges
    • E01D19/10Railings; Protectors against smoke or gases, e.g. of locomotives; Maintenance travellers; Fastening of pipes or cables to bridges
    • E01D19/106Movable inspection or maintenance platforms, e.g. travelling scaffolding or vehicles specially designed to provide access to the undersides of bridges
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to a shooting plan generation device, a shooting plan generation method, and a program, and more particularly to a shooting plan generation device, a shooting plan generation method, and a program for generating a shooting plan of a mobile robot with a camera.
  • a technique has been proposed in which a building such as a bridge is photographed by a robot device equipped with a camera (a mobile robot with a camera), and the building is inspected using the photographed image.
  • Patent Document 1 discloses a movable camera-equipped robot attached to a lower surface of a bridge with a suspension carriage and a rail when inspecting the lower surface of a bridge floor slab or a steel girder.
  • Patent Document 2 discloses a technique related to generation of a movement route plan when a robot apparatus is moved to a destination.
  • the obstacle map used when generating the moving route plan is updated by causing the robot apparatus to observe the unobserved area on the moving route under a certain condition.
  • a technique for generating a travel route plan is described.
  • Patent Documents 1 and 2 described above do not mention a shooting plan related to acquisition of a shot image for inspection of a bridge. That is, in Patent Documents 1 and 2 described above, there is no mention regarding a shooting plan of a shooting image for inspection of a bridge floor slab and a steel member.
  • the present invention has been made in view of such circumstances, and the purpose thereof is a shooting plan generation device that generates a shooting plan for efficiently shooting without missing a shooting image used for inspection of a bridge, It is to provide a shooting plan generation method and program.
  • an imaging plan generation apparatus for imaging a bridge floor slab to be inspected and a steel member including a main girder and a cross girder or a diagonal structure.
  • An imaging plan generation apparatus for generating an imaging plan of a mobile robot with a camera that moves a camera in a three-dimensional space and changes the posture of the camera, the two main girders facing each other and the two facing each other.
  • a spatial information acquisition unit that acquires spatial information of one case divided by a cross beam or an inclined structure, and a camera that divides the entire floor slab corresponding to one case into a plurality of images and shoots with the camera.
  • a first determination unit that determines a plurality of floor slab shooting positions and postures based on spatial information of a case, and at least a plurality of joints of steel members among steel members corresponding to one case by a camera Turtle when shooting A plurality of steel member shooting positions and postures based on spatial information of the case, a plurality of floor slab shooting positions and postures determined by the first determination unit, and a second determination
  • a shooting plan generation unit that generates a shooting plan of the mobile robot with a camera based on the plurality of steel member shooting positions and postures determined by the unit.
  • the shooting position and posture are determined.
  • a plurality of steel member photographing positions and postures are determined.
  • the spatial information acquisition unit acquires spatial information based on CAD drawing data of the bridge.
  • the spatial information acquisition unit acquires the spatial information based on the CAD drawing data of the bridge, the spatial information acquisition unit can acquire accurate spatial information.
  • the spatial information acquisition unit has a first distance to two main beams facing each other and two horizontal beams facing each other with reference to the initial position of the robot in the three-dimensional space measured by the distance measurement unit.
  • the second distance to the counter-tilt and the third distance to the floor slab are acquired, and the spatial information is acquired based on the acquired first distance, second distance, and third distance.
  • the distance measurement unit uses the initial position of the robot in the three-dimensional space as a reference, the first distance to the two main beams facing each other, the two horizontal beams facing each other, or up to the tilting structure. A second distance and a third distance to the floor slab are measured. And according to this aspect, a spatial information acquisition part acquires spatial information based on the 1st distance acquired by the distance measurement part, the 2nd distance, and the 3rd distance. Thereby, even if there is no CAD drawing data of the bridge in this aspect, since the spatial information is acquired based on the distance information measured by the distance measuring unit, a shooting plan can be generated.
  • the imaging plan generation device further includes a member information acquisition unit that acquires member information that is information regarding a member of the case, and the first determination unit is configured to determine the floor based on the space information of the case and the member information.
  • the imaging position and orientation of the plate are determined, and the second determining unit determines the imaging position and orientation of the steel member based on the space information and the member information of the case.
  • the member information which is the information regarding the member of the case is acquired by the member information acquisition unit, and the first determination unit and the second determination unit determine the shooting position and the spatial information based on the acquired member information and spatial information. Determine posture.
  • the first determination unit calculates a floor slab shooting range based on the third distance, the focal length of the camera, and the size of the imaging element of the camera, and based on the spatial information between the floor slab shooting range and the case The floor slab shooting position is determined.
  • the imaging plan generation device further includes an imaging plan database in which a plurality of existing imaging plans are stored, and the first determination unit is configured to extract an existing imaging plan from the imaging plan database based on the spatial information of the space. And determining the floor slab shooting position based on the selected existing shooting plan, and the second determining unit selects and selects the existing shooting plan from the shooting plan database based on the spatial information of the gap.
  • the steel member photographing position and posture are determined based on the existing photographing plan.
  • the bridge 1 shown in FIG. 1 has a main girder 2, a cross girder 3, a counter-tilt 4 and a horizontal 5 which are connected by bolts, rivets or welding.
  • a floor slab 6 for driving a vehicle or the like is provided on the upper portion of the main beam 2 or the like.
  • the floor slab 6 is generally made of reinforced concrete.
  • the main girder 2 is a member that is passed between the abutment or the pier and supports the load of the vehicle on the floor slab 6.
  • the cross beam 3 is a member that connects the main beams 2 in order to support the load by the plurality of main beams 2.
  • the anti-tilt frame 4 and the horizontal frame 5 are members for connecting the main girders 2 to each other in order to resist lateral loads of wind and earthquake, respectively.
  • the space is a space defined by the two main girders 2 and the two transverse beams 3 or the oppositely inclined structures 4 opposed to each other, and the space unit is used when the bridge 1 is inspected. The inspection may be carried out by
  • the camera coordinate system based on the binocular camera 202 has, for example, an intersection Or between the pan axis P and the tilt axis T as the origin Or, the direction of the tilt axis T as the x-axis direction, and the direction of the pan axis P as the z-axis direction.
  • the directions orthogonal to the x-axis and the y-axis are defined as the y-axis direction.
  • FIG. 5 is a block diagram illustrating a functional configuration example of the inspection system 10.
  • the inspection system 10 includes a robot control unit 130 on the robot device 100 side, an X direction driving unit 108, a Y direction driving unit 110 and a Z direction driving unit 112, a binocular camera 202 on the imaging device 200 side,
  • the imaging control unit 204, the pan / tilt control unit 210, the pan / tilt driving unit 206, the robot side communication unit 230, and the terminal device 300 are configured.
  • the robot-side communication unit 230 performs two-way wireless communication with the terminal-side communication unit 310, and controls the pan / tilt mechanism 120 that controls the movement of the robot device 100 transmitted from the terminal-side communication unit 310.
  • Various commands such as a pan / tilt command and a shooting command for controlling the binocular camera 202 are received, and the received commands are output to the corresponding control units.
  • the robot control unit 130 controls the X direction driving unit 108, the Y direction driving unit 110, and the Z direction driving unit 112 based on the movement command input from the robot side communication unit 230, and the robot device 100 performs the X direction and Y direction.
  • the vertical extension arm 104 is expanded and contracted in the Z direction (see FIG. 2).
  • the pan / tilt control unit 210 operates the pan / tilt mechanism 120 in the pan direction and the tilt direction via the pan / tilt driving unit 206 based on the pan / tilt command input from the robot side communication unit 230 to pan / tilt the binocular camera 202 in a desired direction ( (See FIG. 4). That is, the pan / tilt control unit 210 changes the posture of the camera (imaging device 200) by the pan / tilt mechanism 120 and acquires an appropriate captured image.
  • the imaging control unit 204 causes the first imaging unit 202A and the second imaging unit 202B of the binocular camera 202 to capture a live view image or an inspection image based on an imaging command input from the robot side communication unit 230. .
  • the terminal control unit 320 outputs image data indicating the live view image received via the terminal side communication unit 310 to the display unit 340, and displays the live view image on the screen of the display unit 340.
  • the input unit 330 includes a robot operation input unit, a pan / tilt operation input unit, and a shooting operation input unit.
  • the robot operation input unit moves the robot apparatus 100 (two-lens camera 202) in the X direction, the Y direction, and the Z direction.
  • the pan / tilt operation input unit outputs a pan / tilt command for rotating the pan / tilt mechanism 120 (two-lens camera 202) in the pan direction and the tilt direction, and the photographing operation input unit outputs an inspection image by the two-lens camera 202.
  • a shooting command for instructing shooting is output.
  • FIG. 6 is a block diagram illustrating a functional configuration example of the shooting plan generation apparatus 400 according to the present embodiment.
  • the imaging plan generation device 400 illustrated in FIG. 6 includes a spatial information acquisition unit 401, a floor slab imaging determination unit (first determination unit) 403, a steel member imaging determination unit (second determination unit) 405, and an imaging plan.
  • a generation unit 407 is provided.
  • the spatial information acquisition unit 401 acquires spatial information of one case divided into two main girders 2 facing each other and two transverse girders 3 facing each other or an inclined frame 4.
  • Spatial information here refers to information indicating the size and position of the space between the spaces, for example, the three-dimensional coordinates of the space.
  • the spatial information acquisition unit 401 can acquire the spatial information of the space in various ways. For example, the spatial information acquisition unit 401 may acquire the spatial information based on the CAD information (CAD drawing data) 411 of the bridge 1 or acquire the spatial information based on the distance information measured by the distance measurement unit 409. May be. Further, when the CAD information 411 of the bridge 1 is inaccurate or insufficient, the spatial information acquisition unit 401 acquires the CAD information 411 of the bridge 1 and acquires the distance information from the distance measurement unit 409 to obtain the spatial information. May be obtained.
  • CAD information CAD drawing data
  • the floor slab photographing determining unit 403 divides the entire floor slab 6 corresponding to one gap into a plurality of parts and shoots the plurality of floor slab photographing positions and floor slab photographing postures when photographing with the camera. Determine based on spatial information. A plurality of positions for the floor slab photographing position are determined so as to cover the floor slab 6 in the space. Further, there are cases where a plurality of divided photographed images are panoramicly combined for each case, and in this case, the floor sculpture photographing position is determined in consideration of the synthesis margin of panoramic composition.
  • the floor slab shooting posture may be directly facing the floor slab 6 or may be oblique to the floor slab 6, and is not particularly limited in a range in which photographing covering the floor slab 6 can be performed. A photographed image photographed obliquely with respect to the floor slab 6 is faced by image processing.
  • the floor slab shooting position and floor slab shooting posture determined by the floor slab shooting determining unit 403 are transmitted to the shooting plan generating unit 407.
  • the shooting plan generation unit 407 includes a plurality of floor slab shooting positions and floor slab shooting postures determined by the floor slab shooting determination unit 403, and a plurality of steel member shooting positions and steel member shootings determined by the steel member shooting determination unit 405. Based on the posture, a shooting plan of the mobile robot with a camera is generated.
  • the shooting plan generation unit 407 generates a shooting plan that allows the robot apparatus 100 to move efficiently in one space and accurately acquire a shot image.
  • the shooting plan generating unit 407 causes the robot apparatus 100 to acquire a shot image of the floor slab 6 based on the floor slab shooting position and the floor slab shooting posture determined by the floor slab shooting determining unit 403 in the forward path, and shooting a steel member on the return path.
  • the photographed image of the steel member is acquired based on the steel member photographing position and the steel member photographing posture determined by the determining unit 405.
  • the distance measuring unit 409 uses the initial position S of the robot in the three-dimensional space as a reference, the first distance to the two main girders 2 facing each other, the first distance to the two cross beams 3 facing each other or the counter tilting structure 4. A distance of 2 and a third distance to the floor slab 6 are measured. And the spatial information acquisition part 401 acquires spatial information based on the measured 1st distance, 2nd distance, and 3rd distance.
  • FIG. 7 is a diagram for explaining an aspect of distance measurement by the distance measurement unit 409.
  • FIG. 7A shows the designation of the distance measurement position
  • FIG. 7B shows the three-dimensional space of the space 7 divided by the opposing main girder 2, the horizontal girder 3, and the counter tilting frame 4.
  • the imaging apparatus 200 of the robot apparatus 100 described above includes the binocular camera 202, can measure the distance, and functions as the distance measuring unit 409.
  • the distance measurement is performed using a stereo image acquired by the binocular camera 202, but the present invention is not limited to this.
  • the distance may be measured by a laser distance sensor.
  • FIG. 7A shows a live view image in the space displayed on the display unit 340 (FIG. 5).
  • the interstitial space is photographed by the binocular camera 202 of the imaging device 200 of the robot apparatus 100, and the inspector (user) confirms the live view image of the interstitial space by the display unit 340 (FIG. 5). Then, the inspector manually inputs and designates the distance measurement position via the input unit 330, for example.
  • the distance measurement position may be automatically specified by performing image recognition processing on the image acquired by the binocular camera 202 by the floor slab photographing determination unit 403.
  • 7A shows a designated distance measurement position when measuring the distance from the robot initial position S to the anti-tilt 4 (the (X +) direction in FIG. 7B).
  • the inspector will also be in the (X ⁇ ), (Y +), (Y ⁇ ), and (Z) directions shown in FIG. Specify the distance measurement position. When the entire captured image is on the same plane, the distance measurement position need not be specified.
  • the robot apparatus 100 Based on the designated distance measurement position, the robot apparatus 100 directs the binocular camera 202 in the (X +) direction, the distance from the robot initial position S to the anti-tilt 4 (first distance), and the binocular camera 202.
  • the distance from the robot initial position S to the cross beam 3 (first distance) in the (X ⁇ ) direction, and the binocular camera 202 toward the (Y +) and (Y ⁇ ) directions from the robot initial position S to the main beam A distance up to 2 (second distance) and a distance from the robot initial position S to the floor slab 6 (third distance) are measured with the binocular camera 202 directed in the (Z) direction.
  • the robot apparatus 100 transmits the measured distance to the spatial information acquisition unit 401, and the spatial information acquisition unit 401 generates and acquires the three-dimensional coordinates of the space 7 based on the received distance information.
  • the floor slab shooting determination unit 403 acquires the space information of the space 7 from the space information acquisition unit 401, and determines the floor slab shooting position and the floor slab shooting posture based on the acquired space information.
  • the floor slab shooting determination unit 403 calculates a floor slab shooting range based on the distance from the robot initial position S to the floor slab 6, the focal length of the binocular camera 202, and the size of the image sensor 250 of the camera. Based on the spatial information of the space 7, the floor slab shooting position can be determined.
  • FIG. 8 is a diagram for explaining the calculation of the floor slab shooting range.
  • the shooting range of the floor slab 6 corresponding to the floor slab image can be calculated as follows.
  • the floor slab image is a divided image of the floor slab 6 photographed at the floor slab photographing position.
  • image sensor APS (Advanced Photo System) -C
  • the floor slab shooting range is as follows.
  • the floor slab shooting determination unit 403 calculates the floor slab shooting range as described above, and compares the area of the floor slab 6 in the space 7 with the floor slab shooting range in the space information of the space 7 for efficient and comprehensive coverage. Specifically, a floor slab photographing position, which is a position where the floor slab 6 can be photographed, is determined.
  • FIGS. 9 and 10 are diagrams for explaining the floor slab photographing position determined by the floor slab photographing determining unit 403.
  • FIG. 9 and 10 show the case where floor slab photography is performed with the imaging device 200 facing the floor slab 6 directly.
  • FIG. 9 is a diagram showing the floor slab shooting position of the floor slab 6 in the space 7. In the case shown in FIG. 9, it is determined that floor slab images are shot at floor slab shooting positions A to L with respect to the floor slab 6 divided by the space 7.
  • the floor slab shooting positions of one space 7 are arranged along the Y axis, the floor slab shooting positions A to F and the floor slab shooting positions G to L, and two on the X axis. It is lined up one by one.
  • the space 7 has a size of 5 m in the X-axis direction and 3 m in the Y-axis direction, for example.
  • FIG. 10 is a diagram for explaining the floor slab shooting position in the case of panoramic synthesis of the shot floor slab images.
  • the floor slab shooting determination unit 403 determines the floor slab shooting position so that the entire floor slab 6 can be captured.
  • the floor slab shooting position is determined so as to secure the margin of overlap (overlapping part).
  • the margin for synthesis may be, for example, 30% at both ends of the floor slab image. It should be noted that the minimum secured amount of the margin for synthesis depends on the synthesis algorithm, so it is desirable that it can be changed.
  • the steel member shooting determining unit 405 acquires the space information of the space 7 from the space information acquiring unit 401, and determines the floor slab shooting position and the floor slab shooting posture based on the acquired space information.
  • FIG. 11 and 12 are diagrams for explaining the steel member photographing determination unit 405.
  • FIG. 11 and 12 a three-dimensional conceptual diagram of the space 7 is shown in (A), and a planar conceptual diagram of the space 7 is shown in (B).
  • FIG. 11 is a diagram for explaining a steel member photographing position with respect to a lower stage (indicated by a dot pattern in FIG. 11A) of the space 7 to be photographed in the Z-axis direction.
  • the steel member shooting positions M to U are indicated by arrows.
  • the steel member photographing position is mainly a photographing position for photographing the joint portion of the steel member. Specifically, at the steel member photographing position M, the joint portion between the main beam 2 and the counter tilting structure 4 is photographed, and at the steel member photographing position Q, the joint portion between the main beam 2 and the cross beam 3 is photographed.
  • the joint portion between the counter tilting structure 4 and the horizontal structure 5 is photographed, and at the steel member photographing position O, the joint portion between the main beam 2 and the transverse structure 5 is photographed.
  • the joint between the cross beam 3 and the horizontal structure 5 is photographed, and at the steel member photographing position S, the joint between the main beam 2 and the horizontal structure 5 is photographed.
  • the steel member photographing position P the joint portion of the horizontal structure 5 is photographed, and at the steel member photographing positions T and U, the joint portion of the horizontal structure 5 and the main girder 2 is photographed.
  • the steel member photographing positions T and U may not be set depending on the type of inspection and the bridge 1.
  • FIG. 11 demonstrates the steel member imaging
  • FIG. 11 When the horizontal structure 5 is not provided in the lower stage in the Z-axis direction of the space 7, it is the same as the steel member photographing position of FIG.
  • FIG. 12 is a diagram for explaining the steel member photographing position with respect to the upper stage in the Z-axis direction of the space 7 to be photographed.
  • the steel member photographing positions V to Y are indicated by arrows. Specifically, at the steel member photographing positions V and W, the joint between the main beam 2 and the counter tilting structure 4 is photographed, and at the steel member photographing positions X and Y, the joint between the main girder 2 and the cross beam 3 is photographed. ing.
  • the steel member photographing determination unit 405 also determines a steel member photographing posture at each steel member photographing position. In the steel member photographing posture, the parameters of the pan / tilt mechanism 120 are determined so that the joint portion of the steel member is photographed.
  • FIG. 13 is a flowchart showing the operation of the photographing plan generation apparatus 400.
  • the distance measuring unit 409 measures the distance between the facing beam 3 forming the space 7 and the initial position (step S11). The distance between the opposing main girder 2 forming the gap 7 and the initial position is measured (step S12), and the distance from the initial position to the floor slab 6 is measured (step S13).
  • the spatial information acquisition unit 401 acquires the distance to the horizontal beam 3, the distance to the main beam 2, and the distance to the floor slab 6 acquired from the distance measurement unit 409 to the spatial information acquisition unit 401. Thereafter, the spatial information acquisition unit 401 acquires spatial information based on the acquired distance information (spatial information acquisition step: step S14).
  • the floor slab photographing determining unit 403 determines the floor slab photographing position and posture based on the acquired space information (first determination step: step S15).
  • the steel member imaging determination unit 405 determines the steel member imaging position and orientation (second determination step: step S16).
  • generation part 407 produces
  • FIG. 14 is a block diagram illustrating a functional configuration example of the imaging plan generation device 400 according to the present embodiment.
  • the imaging plan generation device 400 illustrated in FIG. 14 includes a spatial information acquisition unit 401, a floor slab imaging determination unit 403, a steel member imaging determination unit 405, an imaging plan generation unit 407, and a member information acquisition unit 413.
  • the part already demonstrated in FIG. 6 attaches
  • the member information acquisition unit 413 acquires member information that is information regarding members of the space 7.
  • the member information acquired by the member information acquisition unit 413 is transmitted to the floor slab shooting determination unit 403 and the steel member shooting determination unit 405.
  • the floor slab photographing determination unit 403 determines the photographing position and orientation of the floor slab 6 based on the space information and member information of the space 7, and the steel member photographing determination unit 405 includes the space information and members of the space 7.
  • the photographing position and posture of the steel member are determined based on the information.
  • the member information is, for example, information 415 related to the horizontal structure 5.
  • the information 415 on the horizontal frame 5 is information on the distance (fourth distance) from the robot initial position S to the horizontal frame 5, the width of the horizontal frame 5, and the shape of the horizontal frame 5, for example.
  • the member information may be input by the user, or may be measured by the binocular camera 202 of the imaging device 200 of the robot apparatus 100 in the same manner as when acquiring spatial information in the space 7.
  • the shape of the horizontal structure 5 is, for example, “ ⁇ ” type or “>” type.
  • the floor slab photographing determining unit 403 and the steel member photographing determining unit 405 respectively determine a photographing position and a photographing posture based on the spatial information.
  • the member information includes not only the information on the horizontal structure 5 but also information on other members. For example, information on piping existing in the space 7 is also input as member information.
  • FIG. 15 and FIG. 16 are diagrams for explaining determination of the floor slab photographing position when there is a “ ⁇ type” horizontal frame 5.
  • FIG. 15 is a view of the bridge 1 as seen from the XY direction, and shows the arrangement of the floor slab 6, the horizontal structure 5, and the first imaging unit 202A in the Z-axis direction (vertical direction).
  • FIG. 15 is a view of the bridge 1 as seen from the XY direction, and shows the arrangement of the floor slab 6, the horizontal structure 5, and the first imaging unit 202A in the Z-axis direction (vertical direction).
  • FIG. 16 is a view of the space 7 of the bridge 1 as viewed from the Z-axis direction, and shows a case where the space 7 has a “ ⁇ ” type horizontal frame 5, and the horizontal plane shooting range 434 of the horizontal frame 5 and A horizontal covering photographing region 432 is shown.
  • FIG. 15 is a cross-sectional view 430 shown in FIG.
  • the floor slab shooting determination unit 403 calculates a horizontal plane shooting range 434 that is a shooting range on the horizontal plane of the horizontal frame 5 based on the distance 431 to the horizontal frame 5, the focal length of the camera, and the size of the imaging element 250 of the camera.
  • the shooting position and orientation of the floor slab 6 are determined based on the space information of the space 7, the member information, and the horizontal plane shooting range 434.
  • the floor slab photographing determining unit 403 of this example will be described in detail.
  • the floor slab shooting determination unit 403 calculates the floor slab shooting range as described with reference to FIG. After that, as shown in FIG. 15, the floor slab photographing determining unit 403 determines the distance from the robot initial position S to the horizontal frame 5, the focal length of the binocular camera 202, and the size of the image sensor 250 of the binocular camera 202.
  • a horizontal plane shooting range 434 that is a shooting range on the horizontal plane of the horizontal frame 5 is calculated in the same manner as the floor slab shooting range described in FIG.
  • the floor slab photographing determination unit 403 calculates a horizontal covering photographing region 432.
  • the horizontal composition covering photographing region 432 is determined with reference to the photographing position where the horizontal composition 5 is reflected on the horizontal composition horizontal plane (FIG. 15).
  • the twin-lens camera 202 is shown facing the floor slab 6 and the horizontal structure 5.
  • the floor slab photographing determination unit 403 determines the floor slab photographing position in a range other than the horizontal covering photographing region 432 so that the entire floor slab can be photographed comprehensively without causing the horizontal composition 5 to be an obstacle. . Further, the floor slab photographing determining unit 403 determines a floor slab photographing position where a margin for composition when panoramic composition is performed can be secured as necessary.
  • FIG. 17 is a view showing floor slab shooting positions AA to MM when the horizontal structure 5 exists. Since the floor slab shooting positions AA to MM are not located in the horizontal covering shooting area 432, the horizontal frame 5 is reflected in the floor slab image by shooting the floor slab 6 at the floor slab shooting positions AA to MM. The floor slab 6 can be photographed exhaustively. Compared with the floor slab shooting position in the case where there is no horizontal composition 5 described in FIG. 10 and the floor slab shooting position in the case where there is horizontal composition 5 described in FIG. Whereas there are 12 plate shooting positions, there are 13 floor plate shooting positions when there is a horizontal frame 5.
  • the floor slab shooting determination unit 403 adds shooting points to compensate for the unphotographed portion as necessary. In this case, when the entire floor slab cannot be covered only by moving the imaging device 200 in the horizontal direction (XY direction), a shooting point where the imaging device 200 is moved in the vertical direction (Z direction) is added.
  • FIG. 18 is a diagram illustrating a functional configuration example of the shooting plan generation apparatus 400 according to the present embodiment.
  • the imaging plan generation apparatus 400 shown in FIG. 18 includes a spatial information acquisition unit 401, a floor slab imaging determination unit 403, a steel member imaging determination unit 405, an imaging plan generation unit 407, and an imaging plan correction unit 417.
  • the shooting plan correction unit 417 corrects the shooting plan generated by the shooting plan generation unit 407. For example, the shooting plan correction unit 417 optimizes the shooting order so that the total shooting time and the total moving distance are the shortest.
  • the shooting plan correction unit 417 includes a shooting plan adjustment unit 419 and a shooting plan addition unit 421.
  • the photographing plan adjusting unit 419 adjusts the floor slab photographing position or the steel member photographing position and posture in the photographing plan generated by the photographing plan generating unit 407 based on the adjustment command.
  • the adjustment command is received by, for example, an adjustment command receiving unit (not shown), and is a command for adjusting the floor slab photographing position, the floor slab photographing posture, the steel member photographing position, or the steel member photographing posture.
  • the adjustment command receiving unit is realized by the input unit 330, for example.
  • the photographing plan adding unit 421 receives an instruction to add a floor slab photographing position or a steel member photographing position.
  • the addition command is received by, for example, an additional command receiving unit (not shown), and based on the addition command, the floor slab shooting position or the steel member shooting position in the shooting plan generated by the shooting plan generation unit 407 is added.
  • the additional command receiving unit is realized by the input unit 330, for example.
  • FIG. 19 is a flowchart showing operations of the robot apparatus 100 and the shooting plan generation apparatus 400 of the present embodiment when the shooting plan is corrected.
  • FIG. 20 is a diagram showing a shooting plan described in FIG.
  • the robot apparatus 100 receives the imaging plan generated by the imaging plan generation apparatus 400 by the robot side communication unit 230 (step S20), and the robot control unit 130, the pan / tilt control unit 210, and the imaging control according to the received imaging plan.
  • the unit 204 is operated.
  • the steel member is shot at the shooting position (a), so the robot apparatus 100 is moved from the initial robot position S to the shooting position (a) (step S21) (see FIG. 20).
  • the photographing plan correcting unit 417 determines whether or not there is an input of a steel member photographing position and / or steel member photographing posture adjustment command (step S22).
  • the shooting plan correction unit 417 determines that no adjustment command is input
  • the robot control unit 130, the pan / tilt control unit 210, and the shooting control unit 204 move the robot apparatus 100 to the shooting position (b) (step S25).
  • the photographing plan correcting unit 417 determines that the adjustment command is input, the steel member photographing position and / or the steel member photographing posture is adjusted via the input unit 330 (step S23). That is, the user confirms the steel member photographed by the binocular camera 202 by the display unit 340 when the robot apparatus 100 moves to the photographing position (a), and the steel member photographing position via the input unit 330. And / or a steel member photographing posture adjustment command is input. Then, the adjusted steel member shooting position and steel member shooting posture are determined, and the shooting plan correction unit 417 reflects the adjustment in the shooting plan (step S24). Thereafter, the robot apparatus 100 is moved to the shooting position (b) according to the shooting plan (step S25).
  • the shooting positions (a), (b), (c), and (d) are sequentially performed in accordance with the received shooting plan as shown in FIG. A steel member photographed image is photographed.
  • FIG. 21 is a diagram illustrating a functional configuration example of the shooting plan generation apparatus 400 according to the present embodiment.
  • the imaging plan generation device 400 illustrated in FIG. 21 includes a spatial information acquisition unit 401, a floor slab imaging determination unit 403, a steel member imaging determination unit 405, an imaging plan generation unit 407, a member information acquisition unit 413, an imaging plan database 427, And a storage control unit 429.
  • the parts already described in FIGS. 6 and 14 are denoted by the same reference numerals, and the description is saved.
  • the shooting plan database 427 stores a plurality of existing shooting plans.
  • the shooting plan database 427 stores shooting plans and shooting plan templates generated in the past.
  • the shooting plan database 427 stores the shooting plan generated by the shooting plan generation unit 407.
  • the shooting plan database 427 may store a bridge name, a space number, a space size, member information, and the like in association with the shooting plan.
  • the storage control unit 429 stores the shooting plan generated by the shooting plan generation unit 407 in the shooting plan database 427. As described above, when the shooting plan database 427 stores the shooting plan generated by the shooting plan generation unit 407, the shooting plan generated by the control of the storage control unit 429 is stored in the shooting plan database 427.
  • the floor slab photographing determination unit 403 of the present embodiment selects an existing photographing plan from the photographing plan database 427 based on the space information of the space 7, and determines the floor slab photographing position based on the selected existing photographing plan. To do.
  • the steel member photographing determination unit 405 of the present embodiment selects an existing photographing plan from the photographing plan database 427 based on the space information of the space 7, and the steel member photographing position and posture based on the selected existing photographing plan. To decide.
  • the shooting plan generation unit 407 has acquired the floor slab shooting position determined by the floor slab shooting determination unit 403 and the steel member shooting position and posture determined by the steel member shooting determination unit 405 acquired by the spatial information acquisition unit 401. Correction is performed based on the difference between the spatial information and the spatial information of the selected imaging plan or the difference between the member information acquired by the spatial information acquisition unit 401 and the member information of the selected imaging plan. That is, the shooting plan generation unit 407 corrects an existing shooting plan stored in the shooting plan database 427 based on the spatial information or member information. In this case, the existing shooting plan stored in the shooting plan database 427 stores spatial information and member information related to the shooting plan in association with each other.
  • FIG. 22 is a diagram showing the appearance of an unmanned air vehicle (drone), which is another example of a mobile robot with a camera.
  • the unmanned aerial vehicle 500 includes an imaging device 200 (FIG. 4).
  • the unmanned aerial vehicle 500 performs imaging of the inspection target based on the imaging plan generated by the imaging plan generation device 400 described above.
  • the imaging device 200 provided in the unmanned air vehicle 500 is moved in the three-dimensional space by the unmanned air vehicle 500, and the shooting posture of the imaging device 200 is changed by the pan / tilt mechanism 120. Note that the inspection system 10 described in FIG. 5 is applied to the unmanned air vehicle 500 as well.

Abstract

橋梁の検査に使用される撮影画像を漏れなく、効率的に撮影を行うための撮影計画を生成する撮影計画生成装置、撮影計画生成方法、およびプログラムを提供する。撮影計画生成装置(400)は、格間の空間情報を取得する空間情報取得部(401)と、カメラの複数の床版撮影位置および姿勢を、格間の空間情報に基づいて決定する第1の決定部(403)と、鋼部材の複数の接合部をカメラにより撮影する際のカメラの複数の鋼部材撮影位置および姿勢を、格間の空間情報に基づいて決定する第2の決定部(405)と、第1の決定部により決定された複数の床版撮影位置および姿勢と第2の決定部により決定された複数の鋼部材撮影位置および姿勢とに基づいて、カメラ付き移動式ロボットの撮影計画を生成する撮影計画生成部(407)と、を備える。

Description

撮影計画生成装置、撮影計画生成方法、およびプログラム
 本発明は、撮影計画生成装置、撮影計画生成方法、およびプログラムに関し、特にカメラ付き移動式ロボットの撮影計画を生成する撮影計画生成装置、撮影計画生成方法、およびプログラムに関する。
 従来より、カメラを装備したロボット装置(カメラ付き移動式ロボット)により橋梁などの建造物を撮影し、その撮影画像を使用して建造物の検査を行う技術が提案されている。
 例えば特許文献1では、橋梁の床版の下面や鋼鈑桁の検査を行う場合に、橋梁の下面に懸垂台車とレールにより取り付けられた移動可能なカメラ付きロボットが開示されている。
 また従来より、移動式ロボットの移動計画を生成することに関する技術が提案されている。
 例えば特許文献2では、ロボット装置を目的地に移動させる場合の移動経路計画の生成に関する技術が開示されている。特許文献2に記載された技術では、移動経路上の未観測領域を一定の条件の下でロボット装置に観測させることにより、移動経路計画を生成する際に使用される障害物地図を更新して、移動経路計画を生成する技術が記載されている。
特開2016-079615号公報 特開2003-266345号公報
 ここで、一般に橋梁を検査する場合には橋梁を構成する床版および主桁等の鋼部材について検査が行われる。そして橋梁の検査を行うカメラ付き移動式ロボットは、橋梁を構成する床版および鋼部材に関して漏れなく検査用の撮影画像を取得しなければならない。また、橋梁の検査を行うカメラ付き移動式ロボットは、多数の撮影画像を取得する必要があるので、床版および鋼部材の検査のための撮影画像を効率的に取得する必要がある。
 しかしながら、上述した特許文献1および2では、橋梁の検査のための撮影画像の取得に関する撮影計画については言及されていない。すなわち、上述した特許文献1および2では、橋梁の床版および鋼部材の検査のための撮影画像の撮影計画に関しては言及されていない。
 本発明はこのような事情に鑑みてなされたもので、その目的は、橋梁の検査に使用される撮影画像を漏れなく、効率的に撮影を行うための撮影計画を生成する撮影計画生成装置、撮影計画生成方法、およびプログラムを提供することである。
 上記目的を達成するために、本発明の一の態様である撮影計画生成装置は、検査対象である橋梁の床版と、主桁および横桁または対傾構を含む鋼部材とを撮影する際に、カメラを三次元空間内で移動させ、かつカメラの姿勢を変化させるカメラ付き移動式ロボットの撮影計画を生成する撮影計画生成装置であって、互いに対向する2つの主桁および互いに対向する2つの横桁または対傾構により区切られた1つの格間の空間情報を取得する空間情報取得部と、1つの格間に対応する床版の全体を複数に分割してカメラにより撮影する際のカメラの複数の床版撮影位置および姿勢を、格間の空間情報に基づいて決定する第1の決定部と、1つの格間に対応する鋼部材のうちの少なくとも鋼部材の複数の接合部をカメラにより撮影する際のカメラの複数の鋼部材撮影位置および姿勢を、格間の空間情報に基づいて決定する第2の決定部と、第1の決定部により決定された複数の床版撮影位置および姿勢と第2の決定部により決定された複数の鋼部材撮影位置および姿勢とに基づいて、カメラ付き移動式ロボットの撮影計画を生成する撮影計画生成部と、を備える。
 本態様によれば、第1の決定部により格間の空間情報に基づいて、1つの格間に対応する床版の全体を複数に分割してカメラにより撮影する際のカメラの複数の床版撮影位置および姿勢が決定される。また本態様によれば、第2の決定部により格間の空間情報に基づいて、1つの格間に対応する鋼部材のうちの少なくとも鋼部材の複数の接合部をカメラにより撮影する際のカメラの複数の鋼部材撮影位置および姿勢が決定される。そして本態様によれば、第1の決定部および第2の決定部で決定された撮影位置および姿勢に基づいて撮影計画が生成されるので、橋梁を構成する床版および鋼部材の撮影画像を漏れなく効率的に取得することのできる撮影計画を生成することができる。
 好ましくは、空間情報取得部は、橋梁のCAD図面データに基づいて空間情報を取得する。
 本態様によれば、空間情報取得部は橋梁のCAD図面データに基づいて空間情報を取得するので、空間情報取得部は正確な空間情報を取得することができる。
 好ましくは、空間情報取得部は、距離測定部に測定された三次元空間内のロボット初期位置を基準にして、互いに対向する2つの主桁までの第1の距離、互いに対向する2つの横桁または対傾構までの第2の距離、および床版までの第3の距離を取得し、取得した第1の距離、第2の距離および第3の距離に基づいて空間情報を取得する。
 本態様によれば、距離測定部により、三次元空間内のロボット初期位置を基準にして、互いに対向する2つの主桁までの第1の距離、互いに対向する2つの横桁または対傾構までの第2の距離、および床版までの第3の距離を測定される。そして本態様によれば、空間情報取得部は距離測定部で取得された第1の距離、第2の距離および第3の距離に基づいて空間情報を取得する。これにより本態様は、橋梁のCAD図面データが無い場合であっても、距離測定部で測定された距離情報に基づいて空間情報が取得されるので、撮影計画を生成することができる。
 好ましくは、撮影計画生成装置は、格間の部材に関する情報である部材情報を取得する部材情報取得部を更に備え、第1の決定部は、格間の空間情報と部材情報とに基づいて床版の撮影位置および姿勢を決定し、第2の決定部は、格間の空間情報と部材情報とに基づいて鋼部材の撮影位置および姿勢を決定する。
 本態様によれば、部材情報取得部により格間の部材に関する情報である部材情報が取得され、第1の決定部および第2の決定部は、取得された部材情報と空間情報により撮影位置および姿勢を決定する。これにより本態様は、橋梁に部材が設けられている場合であっても検査のための撮影画像を漏れなく、効率的に撮影することができる撮影計画を生成することができる。
 好ましくは、撮影計画生成装置は、格間の部材に関する情報である部材情報であって、部材情報は、ロボット初期位置を基準にして横構までの第4の距離、横構の幅、および横構の形状に関する情報である部材情報を取得する部材情報取得部を更に備え、第1の決定部は、格間の空間情報と部材情報に基づいて床版の撮影位置および姿勢を決定し、第2の決定部は、格間の空間情報と部材情報に基づいて鋼部材の撮影位置および姿勢を決定する。
 本態様によれば、部材情報取得部により、ロボット初期位置を基準にして横構までの第4の距離、横構の幅、および横構の形状に関する情報が取得される。これにより本態様は、橋梁に部材が設けられている場合であっても検査のための撮影画像を漏れなく、効率的に撮影することができる。
 好ましくは、第1の決定部は、第4の距離、カメラが有する焦点距離、およびカメラの撮像素子のサイズにより、横構の水平面での撮影範囲である水平面撮影範囲を算出し、格間の空間情報、部材情報、および水平面撮影範囲に基づいて床版の撮影位置および姿勢を決定する。
 本態様によれば、第1の決定部により、横構の水平面での撮影範囲である水平面撮影範囲が算出され、その水平面撮影範囲、格間の空間情報、および部材情報に基づいて床版の撮影位置および姿勢が決定される。これにより本態様は、横構の水平面での撮影範囲が考慮された撮影計画が生成されるので、床版を漏れなく、且つ効率的に撮影することができる撮影計画を生成することができる。
 好ましくは、第1の決定部は、第3の距離、カメラが有する焦点距離、およびカメラの撮像素子のサイズにより床版撮影範囲を算出し、床版撮影範囲と格間の空間情報に基づいて、床版撮影位置を決定する。
 本態様によれば、第1の決定部により床版撮影範囲が算出され、算出された撮影範囲に基づいて床版撮影位置が決定されるので、床版の撮影画像を漏れなく効率的に撮影することができる撮影計画を生成することができる。
 好ましくは、撮影計画生成装置は、既存の複数の撮影計画が保存されている撮影計画データベースを更に備え、第1の決定部は、格間の空間情報に基づいて撮影計画データベースから既存の撮影計画を選択し、選択された既存の撮影計画に基づいて床版撮影位置を決定し、第2の決定部は、格間の空間情報に基づいて撮影計画データベースから既存の撮影計画を選択し、選択された既存の撮影計画に基づいて鋼部材撮影位置および姿勢を決定する。
 本態様によれば、既存の複数の撮影計画が保存されている撮影計画データベースを有し、第1の決定部および第2の決定部は、空間情報に基づいて撮影計画データベースから既存の撮影計画を選択し、選択された既存の撮影計画に基づいて撮影位置および姿勢を決定する。これにより本態様は、既存の撮影計画に基づいた撮影計画を効率よく生成することができる。
 好ましくは、撮影計画生成装置は、格間の部材に関する情報である部材情報を取得する部材情報取得部を更に備え、撮影計画生成部は、第1の決定部で決定された床版撮影位置および姿勢、および第2の決定部で決定された鋼部材撮影位置および姿勢を、空間情報取得部で取得された空間情報と選択された撮影計画の空間情報との差分または空間情報取得部で取得された部材情報と選択された撮影計画の部材情報との差分に基づいて、補正を行う。
 本態様によれば、第1の決定部または第2の決定部で決定された撮影位置および姿勢が、空間情報取得部で取得された空間情報と選択された撮影計画の空間情報との差分または空間情報取得部で取得された部材情報と選択された撮影計画の部材情報との差分に基づいて、補正される。これにより本態様は、既存の撮影計画に補正がされるので、漏れの無い効率的な撮影計画を生成することができる。
 好ましくは、撮影計画生成装置は、撮影計画生成部で生成された撮影計画を撮影計画データベースに保存させる保存制御部を更に備える。
 本態様によれば、保存制御部により生成された撮影計画が撮影計画データベースに保存されるので、生成された撮影計画を有効に使用することができる。
 好ましくは、撮影計画生成装置は、床版撮影位置および姿勢、または鋼部材撮影位置および姿勢の調整指令に基づいて、撮影計画生成部で生成された撮影計画における床版撮影位置および姿勢、または鋼部材撮影位置および姿勢の調整を行う撮影計画調整部と、を更に備える。
 本態様によれば、撮影計画調整部により、床版撮影位置および姿勢、または鋼部材撮影位置および姿勢の調整指令に基づいて、撮影計画における床版撮影位置および姿勢、または鋼部材撮影位置および姿勢の調整が行われる。
 好ましくは、撮影計画生成装置は、床版撮影位置または鋼部材撮影位置の追加指令に基づいて、撮影計画生成部で生成された撮影計画における床版撮影位置または鋼部材撮影位置の追加を行う撮影計画追加部と、を更に備える。
 本態様によれば、撮影計画追加部により追加指令に基づいて、撮影計画生成部で生成された撮影計画における床版撮影位置または鋼部材撮影位置の追加が行われる。これにより本態様は、追加指令に基づいて撮影計画に床版撮影位置または鋼部材撮影位置の追加が行われる。
 好ましくは、第1の決定部は、カメラを床版に正対させた場合の床版撮影位置を決定する。
 本態様によれば、第1の決定部によりカメラを床版に正対させた場合の床版撮影位置が決定されるので、漏れがなく且つ効率的な撮影画像の取得が行われる。
 本発明の他の態様である撮影計画生成方法は、検査対象である橋梁の床版と、主桁および横桁または対傾構を含む鋼部材とを撮影する際に、カメラを三次元空間内で移動させ、かつカメラの姿勢を変化させるカメラ付き移動式ロボットの撮影計画を生成する撮影計画生成方法であって、互いに対向する2つの主桁および互いに対向する2つの横桁または対傾構により区切られた1つの格間の空間情報を取得する空間情報取得ステップと、1つの格間に対応する床版の全体を複数に分割してカメラにより撮影する際のカメラの複数の床版撮影位置および姿勢を、格間の空間情報に基づいて決定する第1の決定ステップと、1つの格間に対応する鋼部材のうちの少なくとも鋼部材の複数の接合部をカメラにより撮影する際のカメラの複数の鋼部材撮影位置および姿勢を、格間の空間情報に基づいて決定する第2の決定ステップと、第1の決定ステップにより決定された複数の床版撮影位置および姿勢と第2の決定ステップにより決定された複数の鋼部材撮影位置および姿勢とに基づいて、カメラ付き移動式ロボットの撮影計画を生成する撮影計画生成ステップと、を含む。
 本発明の他の態様であるプログラムは、検査対象である橋梁の床版と、主桁および横桁または対傾構を含む鋼部材とを撮影する際に、カメラを三次元空間内で移動させ、かつカメラの姿勢を変化させるカメラ付き移動式ロボットの撮影計画を生成する撮影計画生成方法をコンピュータに実行させるプログラムであって、互いに対向する2つの主桁および互いに対向する2つの横桁または対傾構により区切られた1つの格間の空間情報を取得する空間情報取得ステップと、1つの格間に対応する床版の全体を複数に分割してカメラにより撮影する際のカメラの複数の床版撮影位置および姿勢を、格間の空間情報に基づいて決定する第1の決定ステップと、1つの格間に対応する鋼部材のうちの少なくとも鋼部材の複数の接合部をカメラにより撮影する際のカメラの複数の鋼部材撮影位置および姿勢を、格間の空間情報に基づいて決定する第2の決定ステップと、第1の決定ステップにより決定された複数の床版撮影位置および姿勢と第2の決定ステップにより決定された複数の鋼部材撮影位置および姿勢とに基づいて、カメラ付き移動式ロボットの撮影計画を生成する撮影計画生成ステップと、をコンピュータに実行させる。
 本発明によれば、第1の決定部により格間の空間情報に基づいて、1つの格間に対応する床版の全体を複数に分割してカメラにより撮影する際のカメラの複数の床版撮影位置および姿勢が決定され、第2の決定部により格間の空間情報に基づいて、1つの格間に対応する鋼部材のうちの少なくとも鋼部材の複数の接合部をカメラにより撮影する際のカメラの複数の鋼部材撮影位置および姿勢が決定され、第1の決定部および第2の決定部で決定された撮影位置および姿勢に基づいて撮影計画が生成されるので、橋梁を構成する床版および鋼部材の撮影画像を漏れなく効率的に取得することのできる撮影計画を生成することができる。
橋梁の構造を示す斜視図である。 ロボット装置の外観を示す斜視図である。 ロボット装置の要部断面図である。 二眼カメラおよびパンチルト機構の外観斜視図である。 点検システムの機能構成例を示すブロック図である。 撮影計画生成装置の機能構成例を示すブロック図である。 距離測定部の距離測定に関して説明する図である。 床版撮影範囲の算出に関して説明する図である。 床版撮影決定部で決定される床版撮影位置に関して説明する図である。 床版撮影決定部で決定される床版撮影位置に関して説明する図である。 鋼部材撮影決定部に関して説明する図である。 鋼部材撮影決定部に関して説明する図である。 撮影計画生成装置の動作を示すフロー図である。 撮影計画生成装置の機能構成例を示すブロック図である。 横構がある場合の床版撮影位置の決定に関して説明する図である。 横構がある場合の床版撮影位置の決定に関して説明する図である。 横構がある場合の床版撮影位置を示す図である。 撮影計画生成装置の機能構成例を示す図である。 ロボット装置および本実施形態の撮影計画生成装置の動作を示すフロー図である。 撮影計画が示された図である。 撮影計画生成装置の機能構成例を示す図である。 カメラ付き移動式ロボットの他の例を示す図である。
 以下、添付図面にしたがって本発明に掛かる撮影計画生成装置、撮影計画生成方法、およびプログラムの好ましい実施の形態について説明する。
 図1は、検査対象である構造物の一つである橋梁1の構造を示す斜視図であり、橋梁1を下から見た斜視図である。
 図1に示す橋梁1は、主桁2と、横桁3と、対傾構4と、横構5とを有し、これらがボルト、リベットまたは溶接により連結されて構成されている。また、主桁2等の上部には、車輌等が走行するための床版6が打設されている。床版6は、鉄筋コンクリート製のものが一般的である。
 主桁2は、橋台または橋脚の間に渡され、床版6上の車輌等の荷重を支える部材である。横桁3は、荷重を複数の主桁2で支持するため、主桁2を連結する部材である。対傾構4および横構5は、それぞれ風および地震の横荷重に抵抗するため、主桁2を相互に連結する部材である。なお、格間とは床版6が対向する2つの主桁2および対向する2つの横桁3または対傾構4により区切られた空間のことであり、橋梁1の検査が行われるときには格間単位により検査が実施される場合がある。
 図2は、撮像装置200の一実施形態である二眼カメラ202を含むロボット装置100の外観を示す斜視図であり、橋梁1の主桁2間に設置されている状態に関して示している。また、図3は、図2に示したロボット装置100の要部断面図である。なお、ロボット装置100は、カメラ付き移動式ロボットの一例であり、橋梁1の検査作業を目的とするロボットである。
 図2および図3に示すようにロボット装置100は、撮像装置200を備え、撮像装置200の3次元空間内の位置(撮影位置)を制御するとともに、撮像装置200による撮影方向を制御して、橋梁1の点検時に複数の部材から構成された橋梁1の任意の点検部材等を撮影するものである。
 ロボット装置100は、後に詳しく説明するが、主フレーム102と、垂直伸延アーム104と、垂直伸延アーム104の駆動部および各種の制御部等が配設された筐体106と、筐体106を主フレーム102の長手方向(主桁2の長手方向と直交する方向)(X方向)に移動させるX方向駆動部108(図5)と、ロボット装置100全体を主桁2の長手方向(Y方向)に移動させるY方向駆動部110(図5)と、垂直伸延アーム104を垂直方向(Z方向)に伸縮させるZ方向駆動部112(図5)とを備えている。
 X方向駆動部108は、主フレーム102の長手方向(X方向)に配設されたボールネジ108Aと、筐体106に配設されたボールナット108Bと、ボールネジ108Aを回転させるモータ108Cとから構成され、モータ108Cによりボールネジ108Aを正転または逆転させることにより、筐体106をX方向に移動させる。
 Y方向駆動部110は、主フレーム102の両端にそれぞれ配設されたタイヤ110A、110Bと、タイヤ110A、110B内に配設されたモータ(図示せず)とから構成され、タイヤ110A、110Bをモータ駆動することによりロボット装置100全体をY方向に移動させる。
 なお、ロボット装置100は、主フレーム102の両端のタイヤ110A、110Bが、2箇所の主桁2の下フランジ上に載置され、かつ主桁2を挟む態様で設置される。これにより、ロボット装置100は、主桁2の下フランジに懸垂して、主桁2に沿って移動(自走)することができる。また、主フレーム102は、図示しないが、主桁2の間隔に合わせて長さが調整可能に構成されている。
 垂直伸延アーム104は、ロボット装置100の筐体106に配設されており、筐体106とともにX方向およびY方向に移動する。また、垂直伸延アーム104は、筐体106内に設けられたZ方向駆動部112(図5)によりZ方向に伸縮する。
 図4は二眼カメラおよびパンチルト機構120の外観斜視図である。図4に示すように垂直伸延アーム104の先端には、カメラ設置部104Aが設けられており、カメラ設置部104Aには、パンチルト機構120によりパン方向およびチルト方向に回転可能な二眼カメラ202が設置されている。
 二眼カメラ202は、視差の異なる2枚の視差画像(立体画像)を撮影する第1の撮像部202Aと第2の撮像部202Bとを有し、二眼カメラ202による撮影範囲に対応する構造物(橋梁1)の空間情報であって、二眼カメラ202を基準にしたローカル座標系(カメラ座標系)における橋梁1の空間情報を取得し、また、撮影される2つの画像のうちの少なくとも一方の画像を、点検調書に添付する「検査(点検)画像」として取得する。
 また、二眼カメラ202は、パンチルト駆動部206(図5)から駆動力が加えられるパンチルト機構120により垂直伸延アーム104と同軸のパン軸Pを中心に回転し、あるいは水平方向のチルト軸Tを中心に回転する。これにより、二眼カメラ202は任意の姿勢にて撮影(任意の撮影方向の撮影)ができる。
 本例の二眼カメラ202の第1の撮像部202Aの光軸Lと、第2の撮像部202Bの光軸Lとはそれぞれ平行である。また、パン軸Pは、チルト軸Tと直交している。更に、二眼カメラ202の基線長(即ち、第1の撮像部202Aと第2の撮像部202Bとの設置間隔)は既知である。
 また、二眼カメラ202を基準にしたカメラ座標系は例えば、パン軸Pとチルト軸Tとの交点を原点Orとし、チルト軸Tの方向をx軸方向、パン軸Pの方向をz軸方向、x軸およびy軸にそれぞれ直交する方向をy軸方向とする。
 二眼カメラ202の位置(カメラ座標系の原点Orの位置)であって、グローバル座標系(橋梁座標系)における位置(以下、「撮影位置」という)は、全地球測位システム(GPS:Global Positioning System)(以下、「GPS装置」という)により検出し、または橋梁座標系の原点に対するロボット装置100のX方向およびY方向に移動量、垂直伸延アーム104のZ方向の移動量により検出することができる。また、二眼カメラ202による撮影方向は、パンチルト機構120のパン角度α、チルト角度βにより検出し、または二眼カメラ202に搭載した方位センサ(図示せず)により検出することができる。
 図5は、点検システム10の機能構成例を示すブロック図である。
 図5に示すように点検システム10は、ロボット装置100側のロボット制御部130、X方向駆動部108、Y方向駆動部110およびZ方向駆動部112と、撮像装置200側の二眼カメラ202、撮影制御部204、パンチルト制御部210、およびパンチルト駆動部206と、ロボット側通信部230と、端末装置300とから構成されている。
 ロボット側通信部230は、端末側通信部310との間で双方向の無線通信を行い、端末側通信部310から送信されるロボット装置100の移動を制御する移動指令、パンチルト機構120を制御するパンチルト指令、二眼カメラ202を制御する撮影指令等の各種の指令を受信し、受信した指令をそれぞれ対応する制御部に出力する。
 ロボット制御部130は、ロボット側通信部230から入力する移動指令に基づいてX方向駆動部108、Y方向駆動部110、およびZ方向駆動部112を制御し、ロボット装置100のX方向およびY方向に移動させるとともに、垂直伸延アーム104をZ方向に伸縮させる(図2参照)。
 パンチルト制御部210はロボット側通信部230から入力するパンチルト指令に基づいてパンチルト駆動部206を介してパンチルト機構120をパン方向およびチルト方向に動作させ、二眼カメラ202を所望の方向にパンチルトさせる(図4参照)。すなわち、パンチルト制御部210は、パンチルト機構120によりカメラ(撮像装置200)の姿勢を変化させて、適切な撮影画像の取得を行う。
 撮影制御部204は、ロボット側通信部230から入力する撮影指令に基づいて二眼カメラ202の第1の撮像部202Aおよび第2の撮像部202Bにライブビュー画像、または点検画像の撮影を行わせる。
 橋梁1の点検時に二眼カメラ202の第1の撮像部202Aおよび第2の撮像部202Bにより撮影された視差の異なる第1の画像Iおよび第2の画像Iを示す画像データと、二眼カメラ202の撮影位置(橋梁座標系におけるカメラ座標系の原点Orの位置)および撮影方向(本例では、パン角度αおよびチルト角度β)を示す情報は、それぞれロボット側通信部230を介して端末側通信部310に送信される。
 端末装置300は、点検システム10を操作する点検者により操作されるもので、主として端末側通信部310と、端末制御部320と、操作部として機能する入力部330と、表示部340と、記録部350とから構成されており、例えば、タブレット端末を適用することができる。
 端末側通信部310は、ロボット側通信部230との間で双方向の無線通信を行い、ロボット側通信部230が入力する各種の情報(第1の撮像部202Aおよび第2の撮像部202Bにより撮影されたライブビュー画像、第1の画像Iおよび第2の画像Iを示す画像データ、二眼カメラ202の撮影位置および撮影方向を示す情報)を受信するとともに、端末制御部320を介して入力する入力部330での操作に応じた各種の指令をロボット側通信部230に送信する。
 端末制御部320は、端末側通信部310を介して受信したライブビュー画像を示す画像データを表示部340に出力し、表示部340の画面にライブビュー画像を表示させる。入力部330は、ロボット操作入力部、パンチルト操作入力部および撮影操作入力部を有し、ロボット操作入力部は、ロボット装置100(二眼カメラ202)をX方向、Y方向およびZ方向に移動させる移動指令を出力し、パンチルト操作入力部は、パンチルト機構120(二眼カメラ202)をパン方向およびチルト方向に回転させるパンチルト指令を出力し、撮影操作入力部は、二眼カメラ202による点検画像の撮影を指示する撮影指令を出力する。点検者は、表示部340に表示されるライブビュー画像を見ながら入力部330を手動操作し、入力部330は、点検者による操作に応じて二眼カメラ202のX方向、Y方向およびZ方向の移動指令、パンチルト指令、および撮影指令等の各種の指令を端末制御部320に出力する。端末制御部320は、入力部330から入力する各種の指令を端末側通信部310を介してロボット側通信部230に送信する。
 また端末制御部320は撮影計画生成装置400を有する。撮影計画生成装置400で生成された撮影計画はロボット装置100に送信される。そして、ロボット制御部130、パンチルト機構120、および撮影制御部204は受信した撮影計画に基づいて制御される。以下で、撮影計画生成装置400に関して説明をする。
 <第1の実施形態>
 先ず、本発明の第1の実施形態の撮影計画生成装置400に関して説明する。
 図6は、本実施形態の撮影計画生成装置400の機能構成例を示すブロック図である。図6に示された撮影計画生成装置400は、空間情報取得部401、床版撮影決定部(第1の決定部)403、鋼部材撮影決定部(第2の決定部)405、および撮影計画生成部407を備えている。
 空間情報取得部401は、互いに対向する2つの主桁2および互いに対向する2つの横桁3または対傾構4に区切られた1つの格間の空間情報を取得する。ここで空間情報とは、格間の空間に関する大きさや位置を示す情報のことをいい、例えば格間の三次元座標である。空間情報取得部401は、様々な態様により格間の空間情報を取得することができる。例えば空間情報取得部401は、橋梁1のCAD情報(CAD図面データ)411に基づいて空間情報を取得してもよいし、距離測定部409により計測された距離情報に基づいて空間情報を取得してもよい。また、空間情報取得部401は、橋梁1のCAD情報411が不正確または不十分である場合には、橋梁1のCAD情報411を取得し且つ距離測定部409から距離情報を取得して空間情報を取得してもよい。
 床版撮影決定部403は、1つの格間に対応する床版6の全体を複数に分割してカメラにより撮影する際のカメラの複数の床版撮影位置および床版撮影姿勢を、格間の空間情報に基づいて決定する。床版撮影位置は、格間内の床版6を網羅するように複数の位置が決定される。また複数の分割された撮影画像は、格間毎にパノラマ合成される場合があり、この場合には撮影画像はパノラマ合成の合成のりしろが加味された床版撮影位置が決定される。床版撮影姿勢は、床版6に対して正対してもよいし、床版6に対して斜めでもよく、格間の床版6を網羅した撮影が行える範囲において特に限定はされない。床版6に対して斜めに撮影された撮影画像は、画像処理により正対化される。床版撮影決定部403で決定された床版撮影位置および床版撮影姿勢は、撮影計画生成部407に送信される。
 鋼部材撮影決定部405は、1つの格間に対応する鋼部材のうちの少なくとも鋼部材の複数の接合部をカメラにより撮影する際のカメラの複数の鋼部材撮影位置および鋼部材撮影姿勢を、格間の空間情報に基づいて決定する。ここで鋼部材は主桁2、横桁3、および対傾構4を含む部材のことである。鋼部材撮影決定部405は、主に鋼部材の接合部の撮影画像を取得する鋼部材撮影位置および鋼部材撮影姿勢を決定する。鋼部材の接合部は、ナットまたは溶接で接続されており、検査ではその接合部についての検査が行われる。鋼部材撮影決定部405で決定された鋼部材撮影位置および鋼部材撮影姿勢は、撮影計画生成部407に送信される。
 撮影計画生成部407は、床版撮影決定部403により決定された複数の床版撮影位置および床版撮影姿勢と、鋼部材撮影決定部405により決定された複数の鋼部材撮影位置および鋼部材撮影姿勢とに基づいて、カメラ付き移動式ロボットの撮影計画を生成する。撮影計画生成部407は、1つの格間においてロボット装置100が効率よく移動し且つ撮影画像を正確に取得できるような撮影計画を生成する。例えば撮影計画生成部407は、ロボット装置100に、往路では床版撮影決定部403で決定された床版撮影位置および床版撮影姿勢により床版6の撮影画像を取得させ、復路では鋼部材撮影決定部405で決定された鋼部材撮影位置および鋼部材撮影姿勢により鋼部材の撮影画像を取得させる。なお、生成された撮影計画に基づいて、格間内の撮影位置や撮影姿勢をグラフィカルに表示させてもよい。
 次に、距離測定部409に関して説明する。距離測定部409は、三次元空間内のロボット初期位置Sを基準にして、互いに対向する2つの主桁2までの第1の距離、互いに対向する2つの横桁3または対傾構4までの第2の距離、および床版6までの第3の距離を測定する。そして空間情報取得部401は、測定された第1の距離、第2の距離および第3の距離に基づいて空間情報を取得する。
 図7は、距離測定部409の距離測定の一態様に関して説明する図である。図7(A)では距離測定位置の指定に関して示されており、図7(B)では対向する主桁2と、横桁3、および対傾構4とで区切られた格間7の三次元空間内の距離の測定に関して示されている。なお、上述したロボット装置100の撮像装置200は二眼カメラ202を備えており、距離測定が可能であり距離測定部409として機能する。なお、図7で示した例では、二眼カメラ202で取得されるステレオ画像により距離測定を行う場合を示したがこれに限定されるものではない。例えば、レーザー距離センサにより距離を測定してもよい。
 図7(A)では、表示部340(図5)に表示される格間空間内のライブビュー画像が示されている。ロボット装置100の撮像装置200の二眼カメラ202により格間空間が撮影され、点検者(ユーザ)は、表示部340(図5)により格間空間のライブビュー画像を確認する。そして点検者は、例えば入力部330を介して距離測定位置を手動で入力および指定する。また、二眼カメラ202により取得された画像において画像認識処理を床版撮影決定部403で行って、距離測定位置が自動で指定されてもよい。なお図7(A)では、ロボット初期位置Sから対傾構4までの距離(図7(B)の(X+)方向)を測定する際の指定された距離測定位置が示されている。距離測定位置が手動で入力および指定される場合には、点検者は、同様に図7(B)に示された(X-)、(Y+)、(Y-)、および(Z)方向において距離測定位置を指定する。なお、撮影画像全体が同一平面の場合は、距離測定位置の指定は不要である。
 ロボット装置100は、指定された距離測定位置に基づいて、二眼カメラ202を(X+)方向に向けてロボット初期位置Sから対傾構4までの距離(第1の距離)、二眼カメラ202を(X-)方向に向けてロボット初期位置Sから横桁3までの距離(第1の距離)、二眼カメラ202を(Y+)および(Y-)方向へ向けてロボット初期位置Sから主桁2までの距離(第2の距離)、二眼カメラ202を(Z)方向へ向けてロボット初期位置Sから床版6までの距離(第3の距離)、を測定する。ロボット装置100は測定された距離を空間情報取得部401に送信し、空間情報取得部401は受信した距離情報に基づいて格間7の三次元座標を生成および取得する。
 次に、床版撮影決定部403に関して具体例を用いて説明を行う。床版撮影決定部403は空間情報取得部401から格間7の空間情報を取得し、取得した空間情報に基づいて床版撮影位置および床版撮影姿勢を決定する。
 先ず、床版撮影決定部403で算出される床版撮影範囲に関して説明する。床版撮影決定部403は、ロボット初期位置Sから床版6までの距離、二眼カメラ202が有する焦点距離、およびカメラの撮像素子250のサイズにより床版撮影範囲を算出し、床版撮影範囲と格間7の空間情報に基づいて、床版撮影位置を決定することができる。
 図8は床版撮影範囲の算出に関して説明する図である。
 撮像装置200から床版6までの距離D、床版画像を第1の撮像部202Aのレンズの焦点距離をF、撮像装置200の撮像素子250のサイズをSx×Syとする。この場合に、床版画像に対応した床版6の撮影範囲は以下のように算出することができる。なお、ここで床版画像とは床版撮影位置で撮影された床版6の分割画像である。
 X軸における床版の撮影範囲(Ax)=D×Sx/F
 Y軸における床版の撮影範囲(Ay)=D×Sy/F
 以下に具体例を使用して説明をする。
 撮像装置200から床版6までの距離:D=2100mm、焦点距離:F=27mm、撮像素子250(イメージセンサ(APS(Advanced Photo System)-C)):Sx=23.6mm、Sy=15.6mmとする。
 上述の条件では、床版撮影範囲は以下のようになる。
 X軸の床版の撮影範囲(Ax)=1835.6mm
 Y軸の床版の撮影範囲(Ay)=1213.3mm
 床版撮影決定部403は、床版撮影範囲を上述のように算出し、格間7の空間情報における格間7内の床版6の面積と床版撮影範囲を比較して効率よく、網羅的に床版6を撮影できる位置である床版撮影位置を決定する。
 図9および図10は、床版撮影決定部403で決定される床版撮影位置に関して説明する図である。なお、図9および図10に示した場合は、撮像装置200を床版6に正対さて床版撮影を行う場合に関して示されている。
 図9は格間7における床版6の床版撮影位置を示した図である。図9に示す場合では、格間7で区切られた床版6に対して床版撮影位置A~Lにおいて床版画像が撮影されることが決定されている。
 図9に示した場合では、一つの格間7の床版撮影位置は、Y軸に床版撮影位置A~Fと床版撮影位置G~Lと6箇所並んでおり、X軸に2箇所づつ並んでいる。なお、格間7は例えばX軸方向に5m、Y軸方向に3mのサイズである。
 図10は撮影した床版画像をパノラマ合成する場合の床版撮影位置に関して説明する図である。床版撮影決定部403は、床版6の全体を網羅して撮影できるように床版撮影位置を決定するが、撮影した床版撮影画像をパノラマ合成する場合は、隣接する床版撮影画像との合成のりしろ(オーバーラップ部分)を確保するように床版撮影位置を決定する。ここで合成のりしろは、例えば床版画像の両端30%づつとしてもよい。なお、合成のりしろの最低確保量は合成アルゴリズムに依存するため、変更できるようにすることが望ましい。
 次に、鋼部材撮影決定部405に関して具体例を用いて説明する。鋼部材撮影決定部405は空間情報取得部401から格間7の空間情報を取得し、取得した空間情報に基づいて床版撮影位置および床版撮影姿勢を決定する。
 図11および図12は、鋼部材撮影決定部405に関して説明する図である。なお、図11および図12では格間7の立体的な概念図を(A)に示し、格間7の平面的な概念図を(B)に示している。
 図11は、撮影対象の格間7のZ軸方向における下段(図11(A)中ではドット模様で示す)に関しての鋼部材撮影位置に関して説明する図である。図11(B)には、鋼部材撮影位置M~Uまでが矢印で示されている。このように鋼部材撮影位置は主に、鋼部材の接合部を撮影する撮影位置である。具体的には、鋼部材撮影位置Mでは主桁2と対傾構4との接合部が撮影され、鋼部材撮影位置Qでは主桁2と横桁3との接合部が撮影される。また、鋼部材撮影位置Nでは対傾構4と横構5との接合部、鋼部材撮影位置Oでは主桁2と横構5との接合部が撮影されている。また、鋼部材撮影位置Rでは横桁3と横構5との接合部、鋼部材撮影位置Sでは主桁2と横構5との接合部が撮影されている。また、鋼部材撮影位置Pでは横構5の接合部、鋼部材撮影位置TおよびUでは、横構5と主桁2との接合部が撮影されている。なお、鋼部材撮影位置TおよびUは、検査および橋梁1のタイプによっては設定されない場合がある。なお、図11で示した例は、格間7のZ軸方向における下段に横構5が設けられている場合の鋼部材撮影位置に関して説明したものである。格間7のZ軸方向における下段に横構5が設けられていない場合には、後で説明する図12の鋼部材撮影位置と同様となる。
 図12は、撮影対象の格間7のZ軸方向における上段に関しての鋼部材撮影位置に関して説明する図である。図12には、鋼部材撮影位置V~Yまでが矢印で示されている。具体的には、鋼部材撮影位置VおよびWでは主桁2と対傾構4との接合部が撮影され、鋼部材撮影位置XおよびYでは主桁2と横桁3との接合部が撮影されている。
 鋼部材撮影決定部405は、各鋼部材撮影位置での鋼部材撮影姿勢も決定する。鋼部材撮影姿勢は、鋼部材の接合部が撮影されるようにパンチルト機構120のパラメータが決定される。
 図13は、撮影計画生成装置400の動作を示すフロー図である。
 先ず空間情報取得部401は、CAD情報411に基づいて空間情報が入力されたか否かを判定する(ステップS10)。CAD情報411に基づいた空間情報が入力されている場合には、入力されている空間情報に基づいて床版撮影決定部403で床版撮影位置および姿勢が決定される(ステップS15)。
 一方、空間情報取得部401に空間情報が入力されていない場合には、距離測定部409により格間7を形成する対向した横桁3と初期位置までの距離が測定され(ステップS11)、格間7を形成する対向した主桁2と初期位置までの距離が測定され(ステップS12)、初期位置から床版6までの距離が測定される(ステップS13)。
 その後、空間情報取得部401は距離測定部409から取得した、横桁3までの距離、主桁2までの距離、および床版6までの距離が、空間情報取得部401に取得される。その後空間情報取得部401は、取得した距離情報に基づいて、空間情報を取得する(空間情報取得ステップ:ステップS14)。
 その後床版撮影決定部403は、取得された空間情報に基づいて、床版撮影位置および姿勢を決定する(第1の決定ステップ:ステップS15)。その後鋼部材撮影決定部405は、鋼部材撮影位置および姿勢を決定する(第2の決定ステップ:ステップS16)。そして撮影計画生成部407は、床版撮影決定部403の決定と鋼部材撮影決定部405の決定に基づいて、撮影計画を生成する(撮影計画生成ステップ:ステップS17)。
 上述の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ(処理手順)をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
 <第2の実施形態>
 次に、本発明の第2の実施形態に関して説明する。図14は、本実施形態の撮影計画生成装置400の機能構成例を示すブロック図である。図14に示された撮影計画生成装置400は、空間情報取得部401、床版撮影決定部403、鋼部材撮影決定部405、撮影計画生成部407、および部材情報取得部413を備えている。なお図6で既に説明を行った箇所は同じ符号を付し説明は省力する。
 部材情報取得部413は、格間7の部材に関する情報である部材情報を取得する。部材情報取得部413で取得された部材情報は、床版撮影決定部403および鋼部材撮影決定部405に送信される。そして床版撮影決定部403は、格間7の空間情報と部材情報とに基づいて床版6の撮影位置および姿勢を決定し、鋼部材撮影決定部405は、格間7の空間情報と部材情報とに基づいて鋼部材の撮影位置および姿勢を決定する。
 部材情報とは、例えば横構5に関する情報415である。横構5に関する情報415は、例えば、ロボット初期位置Sから横構5までの距離(第4の距離)、横構5の幅、横構5の形状に関する情報である。部材情報は、ユーザにより入力されてもよいし、格間7内の空間情報を取得するときと同様にロボット装置100の撮像装置200の二眼カメラ202により計測されてもよい。なお、横構5の形状とは例えば「<」型または「>」型等である。床版撮影決定部403および鋼部材撮影決定部405は、空間情報に基づいて撮影位置および撮影姿勢を各々決定する。なお、部材情報には横構5の情報だけではなくて、他の部材に関する情報も含まれる。例えば、格間7内に存在する配管の情報も部材情報として入力される。
 次に、部材の具体例として横構5がある場合の床版撮影決定部403が行う床版撮影位置の決定に関して説明する。図15および図16は、「<型」の横構5がある場合の床版撮影位置の決定に関して説明する図である。図15は、橋梁1をX-Y方向から見た図であり、Z軸方向(垂直方向)での床版6、横構5、および第1の撮像部202Aの配置を示している。図16は、橋梁1の格間7をZ軸方向から見た図であり、格間7に「<」型の横構5がある場合を示しており、横構5の水平面撮影範囲434および横構被り撮影領域432が示されている。なお図15は、図16に図示した断面430の図である。
 床版撮影決定部403は、横構5までの距離431、カメラが有する焦点距離、およびカメラの撮像素子250のサイズにより、横構5の水平面での撮影範囲である水平面撮影範囲434を算出し、格間7の空間情報、部材情報、および水平面撮影範囲434に基づいて床版6の撮影位置および姿勢を決定する。以下に具体的に本例の床版撮影決定部403に関して説明する。
 先ず床版撮影決定部403は、図8で説明したように床版撮影範囲を算出する。その後床版撮影決定部403は、図15で示すように、ロボット初期位置Sから横構5までの距離、二眼カメラ202が有する焦点距離、および二眼カメラ202の撮像素子250のサイズにより、図8で説明した床版撮影範囲と同様の方法で、横構5の水平面での撮影範囲である水平面撮影範囲434を算出する。その後、床版撮影決定部403は横構被り撮影領域432を算出する。横構被り撮影領域432は、横構水平面で横構5が写り込む撮影位置を基準にして決定される(図15)。なお、図15では二眼カメラ202は、床版6および横構5に対して正対した場合が示されている。
 図16に示すように、横構5に沿って一定の領域が横構被り撮影領域432となる。そして床版撮影決定部403は、横構被り撮影領域432以外の範囲に、床版撮影位置を決定することにより横構5が障害とならずに床版全体を網羅的に撮影できるようにする。また、床版撮影決定部403は、必要に応じてパノラマ合成を行う場合の合成のりしろを確保することができる床版撮影位置を決定する。
 図17は、横構5が存在する場合の床版撮影位置AA~MMを示す図である。床版撮影位置AA~MMは、横構被り撮影領域432内には位置しないので、床版撮影位置AA~MMで床版6を撮影することにより、横構5が床版画像に写り込むことがなく、床版6を網羅的に撮影することができる。なお、図10で説明した横構5がない場合の床版撮影位置と、図17で説明した横構5がある場合の床版撮影位置とで比較すると、横構5がない場合には床版撮影位置が12箇所であるのに対して、横構5がある場合には床版撮影位置は13箇所である。
 なお、床版撮影決定部403は、必要に応じて、未撮影部分を補う撮影ポイントを追加する。この場合、撮像装置200の水平方向(X-Y方向)の移動のみで床版全体を網羅できない場合には、垂直方向(Z方向)へ撮像装置200を移動させた撮影ポイントを追加する。
 <第3の実施形態>
 次に本発明の第3の実施形態に関して説明する。図18は、本実施形態の撮影計画生成装置400の機能構成例を示す図である。図18に示された撮影計画生成装置400は、空間情報取得部401、床版撮影決定部403、鋼部材撮影決定部405、撮影計画生成部407、および撮影計画修正部417を備えている。
 撮影計画修正部417は、撮影計画生成部407で生成された撮影計画を修正する。例えば撮影計画修正部417は、総撮影時間や総移動距離が最短となるように撮影順を最適化する。また撮影計画修正部417は、撮影計画調整部419と撮影計画追加部421とを含む。
 撮影計画調整部419は、調整指令に基づいて、撮影計画生成部407で生成された撮影計画における床版撮影位置、または鋼部材撮影位置および姿勢の調整を行う。ここで調整指令は、例えば調整指令受付部(不図示)により受け付けられ、床版撮影位置、床版撮影姿勢、鋼部材撮影位置、または鋼部材撮影姿勢を調整する指令である。ここで調整指令受付部は、例えば入力部330によって実現される。
 撮影計画追加部421は、床版撮影位置または鋼部材撮影位置の追加指令を受け付ける。ここで追加指令は、例えば追加指令受付部(不図示)により受け付けられ、追加指令に基づいて、撮影計画生成部407で生成された撮影計画における床版撮影位置または鋼部材撮影位置の追加を行う。ここで追加指令受付部は、例えば入力部330によって実現される。
 図19は、撮影計画が修正される場合のロボット装置100および本実施形態の撮影計画生成装置400の動作を示すフロー図である。また、図20は、図19で説明する撮影計画が示された図である。
 先ずロボット装置100は、撮影計画生成装置400で生成された撮影計画をロボット側通信部230で受信し(ステップS20)、受信した撮影計画にしたがってロボット制御部130、パンチルト制御部210、および撮影制御部204を動作させる。受信した撮影計画では、先ず撮影位置(a)により鋼部材の撮影が行われるのでロボット初期位置Sから撮影位置(a)にロボット装置100を移動させる(ステップS21)(図20を参照)。次に撮影計画修正部417は、鋼部材撮影位置および/または鋼部材撮影姿勢の調整指令の入力があるか否かを判定する(ステップS22)。撮影計画修正部417が調整指令の入力が無いと判定した場合には、ロボット制御部130、パンチルト制御部210、および撮影制御部204はロボット装置100を撮影位置(b)に移動させる(ステップS25)。
 一方、撮影計画修正部417が調整指令の入力が有ると判定した場合には、入力部330を介して鋼部材撮影位置および/または鋼部材撮影姿勢の調整が行われる(ステップS23)。すなわちユーザは、ロボット装置100が撮影位置(a)に移動したときに表示部340により二眼カメラ202で撮影された鋼部材をライブビュー画像で確認し、入力部330を介して鋼部材撮影位置および/または鋼部材撮影姿勢の調整指令を入力する。そして、調整後の鋼部材撮影位置および鋼部材撮影姿勢を確定し、撮影計画修正部417は撮影計画にその調整を反映させる(ステップS24)。その後、撮影計画に沿ってロボット装置100を撮影位置(b)に移動させる(ステップS25)。
 以上のように、撮影位置および撮影姿勢の調整が行われながら、受信した撮影計画に沿って図20に示すように撮影位置(a)、(b)、(c)、および(d)と順次鋼部材撮影画像が撮影される。
 <第4の実施形態>
 次に第4の実施形態に関して説明する。図21は、本実施形態の撮影計画生成装置400の機能構成例を示す図である。図21に示された撮影計画生成装置400は、空間情報取得部401、床版撮影決定部403、鋼部材撮影決定部405、撮影計画生成部407、部材情報取得部413、撮影計画データベース427、および保存制御部429を備えている。なお図6および図14で既に説明を行った箇所は同じ符号を付し説明は省力する。
 撮影計画データベース427は、既存の複数の撮影計画が保存されている。撮影計画データベース427は、過去に生成された撮影計画や撮影計画のテンプレートを記憶している。また、撮影計画データベース427は、撮影計画生成部407で生成された撮影計画を記憶する。撮影計画データベース427は、撮影計画に関連付けて、橋梁名、格間番号、格間サイズ、部材情報などを記憶してもよい。
 保存制御部429は、撮影計画生成部407で生成された撮影計画を撮影計画データベース427に保存させる。上述したように撮影計画データベース427は撮影計画生成部407で生成された撮影計画を記憶する場合には、保存制御部429の制御により生成された撮影計画が撮影計画データベース427に保存される。
 本実施形態の床版撮影決定部403は、格間7の空間情報に基づいて撮影計画データベース427から既存の撮影計画を選択し、選択された既存の撮影計画に基づいて床版撮影位置を決定する。
 本実施形態の鋼部材撮影決定部405は、格間7の空間情報に基づいて撮影計画データベース427から既存の撮影計画を選択し、選択された既存の撮影計画に基づいて鋼部材撮影位置および姿勢を決定する。
 撮影計画生成部407は、床版撮影決定部403で決定された床版撮影位置、および鋼部材撮影決定部405で決定された鋼部材撮影位置および姿勢を、空間情報取得部401で取得された空間情報と選択された撮影計画の空間情報との差分または空間情報取得部401で取得された部材情報と選択された撮影計画の部材情報との差分に基づいて、補正を行う。すなわち、撮影計画生成部407は、撮影計画データベース427に保存された既存の撮影計画に対して、空間情報または部材情報に基づいて補正を行う。この場合、撮影計画データベース427に保存されている既存の撮影計画には、その撮影計画に関しての空間情報および部材情報が関連して記憶されている。
 <他の例のロボット装置>
 上述では、カメラ付き移動式ロボットの一例としてロボット装置100(図2)について説明をしたが、本発明のカメラ付き移動式ロボットはこれに限定されるものではない。
 図22は、カメラ付き移動式ロボットの他の例である無人飛行体(ドローン)の外観を示す図である。無人飛行体500は、撮像装置200(図4)を備えている。無人飛行体500は、上述の撮影計画生成装置400で生成された撮影計画に基づいて、検査対象の撮影を行う。無人飛行体500に備えられている撮像装置200は、無人飛行体500により三次元空間内で移動し、また撮像装置200の撮影姿勢はパンチルト機構120で変えられる。なお、無人飛行体500においても、図5で説明した点検システム10が適用される。
 以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
 1    橋梁
 2    主桁
 3    横桁
 4    対傾構
 5    横構
 6    床版
 7    格間
 10   点検システム
 100  ロボット装置
 102  主フレーム
 104  垂直伸延アーム
 104A カメラ設置部
 106  筐体
 108  X方向駆動部
 108A ボールネジ
 108B ボールナット
 108C モータ
 110  Y方向駆動部
 110A タイヤ
 110B タイヤ
 112  Z方向駆動部
 120  パンチルト機構
 130  ロボット制御部
 200  撮像装置
 202  二眼カメラ
 202A 第1の撮像部
 202B 第2の撮像部
 204  撮影制御部
 206  パンチルト駆動部
 210  パンチルト制御部
 230  ロボット側通信部
 250  撮像素子
 300  端末装置
 310  端末側通信部
 320  端末制御部
 330  入力部
 340  表示部
 350  記録部
 400  撮影計画生成装置
 401  空間情報取得部
 403  床版撮影決定部
 405  鋼部材撮影決定部
 407  撮影計画生成部
 409  距離測定部
 413  部材情報取得部
 417  撮影計画修正部
 419  撮影計画調整部
 421  撮影計画追加部
 427  撮影計画データベース
 429  保存制御部

Claims (15)

  1.  検査対象である橋梁の床版と、主桁および横桁または対傾構を含む鋼部材とを撮影する際に、カメラを三次元空間内で移動させ、かつ前記カメラの姿勢を変化させるカメラ付き移動式ロボットの撮影計画を生成する撮影計画生成装置であって、
     互いに対向する2つの前記主桁および互いに対向する2つの前記横桁または前記対傾構により区切られた1つの格間の空間情報を取得する空間情報取得部と、
     前記1つの格間に対応する前記床版の全体を複数に分割して前記カメラにより撮影する際の前記カメラの複数の床版撮影位置および姿勢を、前記格間の空間情報に基づいて決定する第1の決定部と、
     前記1つの格間に対応する前記鋼部材のうちの少なくとも前記鋼部材の複数の接合部を前記カメラにより撮影する際の前記カメラの複数の鋼部材撮影位置および姿勢を、前記格間の空間情報に基づいて決定する第2の決定部と、
     前記第1の決定部により決定された前記複数の前記床版撮影位置および姿勢と前記第2の決定部により決定された前記複数の前記鋼部材撮影位置および姿勢とに基づいて、前記カメラ付き移動式ロボットの撮影計画を生成する撮影計画生成部と、
     を備えた撮影計画生成装置。
  2.  前記空間情報取得部は、前記橋梁のCAD図面データに基づいて空間情報を取得する請求項1に記載の撮影計画生成装置。
  3.  前記空間情報取得部は、距離測定部に測定された前記三次元空間内のロボット初期位置を基準にして、前記互いに対向する2つの前記主桁までの第1の距離、前記互いに対向する2つの前記横桁または前記対傾構までの第2の距離、および前記床版までの第3の距離を取得し、前記取得した前記第1の距離、前記第2の距離および前記第3の距離に基づいて空間情報を取得する請求項1または2に記載の撮影計画生成装置。
  4.  前記格間の部材に関する情報である部材情報を取得する部材情報取得部を更に備え、
     前記第1の決定部は、前記格間の空間情報と前記部材情報とに基づいて前記床版の撮影位置および姿勢を決定し、
     前記第2の決定部は、前記格間の空間情報と前記部材情報とに基づいて前記鋼部材の撮影位置および姿勢を決定する請求項1または2に記載の撮影計画生成装置。
  5.  前記格間の部材に関する情報である部材情報であって、前記部材情報は、前記ロボット初期位置を基準にして横構までの第4の距離、横構の幅、および横構の形状に関する情報である部材情報を取得する部材情報取得部を更に備え、
     前記第1の決定部は、前記格間の空間情報と前記部材情報に基づいて前記床版の撮影位置および姿勢を決定し、
     前記第2の決定部は、前記格間の空間情報と前記部材情報に基づいて前記鋼部材の撮影位置および姿勢を決定する請求項3に記載の撮影計画生成装置。
  6.  前記第1の決定部は、前記第4の距離、前記カメラが有する焦点距離、および前記カメラの撮像素子のサイズにより、前記横構の水平面での撮影範囲である水平面撮影範囲を算出し、前記格間の空間情報、前記部材情報、および前記水平面撮影範囲に基づいて前記床版の撮影位置および姿勢を決定する請求項5に記載の撮影計画生成装置。
  7.  前記第1の決定部は、前記第3の距離、前記カメラが有する焦点距離、および前記カメラの撮像素子のサイズにより床版撮影範囲を算出し、前記床版撮影範囲と前記格間の前記空間情報に基づいて、前記床版撮影位置を決定する請求項3、5、および6のいずれか1項に記載の撮影計画生成装置。
  8.  既存の複数の撮影計画が保存されている撮影計画データベースを更に備え、
     前記第1の決定部は、前記格間の空間情報に基づいて前記撮影計画データベースから既存の前記撮影計画を選択し、前記選択された既存の前記撮影計画に基づいて前記床版撮影位置を決定し、
     前記第2の決定部は、前記格間の空間情報に基づいて前記撮影計画データベースから既存の前記撮影計画を選択し、前記選択された既存の前記撮影計画に基づいて前記鋼部材撮影位置および姿勢を決定する請求項1から7のいずれか1項に記載の撮影計画生成装置。
  9.  前記格間の部材に関する情報である部材情報を取得する部材情報取得部を更に備え、
     前記撮影計画生成部は、前記第1の決定部で決定された前記床版撮影位置および姿勢、および前記第2の決定部で決定された前記鋼部材撮影位置および姿勢を、前記空間情報取得部で取得された前記空間情報と前記選択された前記撮影計画の空間情報との差分または前記空間情報取得部で取得された前記部材情報と前記選択された前記撮影計画の部材情報との差分に基づいて、補正を行う請求項8に記載の撮影計画生成装置。
  10.  前記撮影計画生成部で生成された前記撮影計画を前記撮影計画データベースに保存させる保存制御部を更に備える請求項8または9に記載の撮影計画生成装置。
  11.  前記床版撮影位置および前記姿勢、または前記鋼部材撮影位置および前記姿勢の調整指令に基づいて、前記撮影計画生成部で生成された前記撮影計画における前記床版撮影位置および前記姿勢、または前記鋼部材撮影位置および前記姿勢の調整を行う撮影計画調整部と、
     を更に備える請求項1から10のいずれか1項に記載の撮影計画生成装置。
  12.  前記床版撮影位置または前記鋼部材撮影位置の追加指令に基づいて、前記撮影計画生成部で生成された前記撮影計画における前記床版撮影位置または前記鋼部材撮影位置の追加を行う撮影計画追加部と、
     を更に備える請求項1から11のいずれか1項に記載の撮影計画生成装置。
  13.  前記第1の決定部は、前記カメラを前記床版に正対させた場合の前記床版撮影位置を決定する請求項1から12のいずれか1項に記載の撮影計画生成装置。
  14.  検査対象である橋梁の床版と、主桁および横桁または対傾構を含む鋼部材とを撮影する際に、カメラを三次元空間内で移動させ、かつ前記カメラの姿勢を変化させるカメラ付き移動式ロボットの撮影計画を生成する撮影計画生成方法であって、
     互いに対向する2つの前記主桁および互いに対向する2つの前記横桁または前記対傾構により区切られた1つの格間の空間情報を取得する空間情報取得ステップと、
     前記1つの格間に対応する前記床版の全体を複数に分割して前記カメラにより撮影する際の前記カメラの複数の床版撮影位置および姿勢を、前記格間の空間情報に基づいて決定する第1の決定ステップと、
     前記1つの格間に対応する前記鋼部材のうちの少なくとも前記鋼部材の複数の接合部を前記カメラにより撮影する際の前記カメラの複数の鋼部材撮影位置および姿勢を、前記格間の空間情報に基づいて決定する第2の決定ステップと、
     前記第1の決定ステップにより決定された前記複数の前記床版撮影位置および姿勢と前記第2の決定ステップにより決定された前記複数の前記鋼部材撮影位置および姿勢とに基づいて、前記カメラ付き移動式ロボットの撮影計画を生成する撮影計画生成ステップと、
     を含む撮影計画生成方法。
  15.  検査対象である橋梁の床版と、主桁および横桁または対傾構を含む鋼部材とを撮影する際に、カメラを三次元空間内で移動させ、かつ前記カメラの姿勢を変化させるカメラ付き移動式ロボットの撮影計画を生成する撮影計画生成方法をコンピュータに実行させるプログラムであって、
     互いに対向する2つの前記主桁および互いに対向する2つの前記横桁または前記対傾構により区切られた1つの格間の空間情報を取得する空間情報取得ステップと、
     前記1つの格間に対応する前記床版の全体を複数に分割して前記カメラにより撮影する際の前記カメラの複数の床版撮影位置および姿勢を、前記格間の空間情報に基づいて決定する第1の決定ステップと、
     前記1つの格間に対応する前記鋼部材のうちの少なくとも前記鋼部材の複数の接合部を前記カメラにより撮影する際の前記カメラの複数の鋼部材撮影位置および姿勢を、前記格間の空間情報に基づいて決定する第2の決定ステップと、
     前記第1の決定ステップにより決定された前記複数の前記床版撮影位置および姿勢と前記第2の決定ステップにより決定された前記複数の前記鋼部材撮影位置および姿勢とに基づいて、前記カメラ付き移動式ロボットの撮影計画を生成する撮影計画生成ステップと、
     をコンピュータに実行させるプログラム。
PCT/JP2017/036477 2016-10-14 2017-10-06 撮影計画生成装置、撮影計画生成方法、およびプログラム WO2018070354A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018544989A JP6715340B2 (ja) 2016-10-14 2017-10-06 撮影計画生成装置、撮影計画生成方法、およびプログラム
US16/366,970 US10742874B2 (en) 2016-10-14 2019-03-27 Imaging plan generation device, imaging plan generation method, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016-202589 2016-10-14
JP2016202589 2016-10-14
JP2017173282 2017-09-08
JP2017-173282 2017-09-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/366,970 Continuation US10742874B2 (en) 2016-10-14 2019-03-27 Imaging plan generation device, imaging plan generation method, and program

Publications (1)

Publication Number Publication Date
WO2018070354A1 true WO2018070354A1 (ja) 2018-04-19

Family

ID=61905546

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/036477 WO2018070354A1 (ja) 2016-10-14 2017-10-06 撮影計画生成装置、撮影計画生成方法、およびプログラム

Country Status (3)

Country Link
US (1) US10742874B2 (ja)
JP (1) JP6715340B2 (ja)
WO (1) WO2018070354A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020084568A (ja) * 2018-11-26 2020-06-04 中日本ハイウェイ・エンジニアリング東京株式会社 複雑な構造物の点検方法及び点検装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003266345A (ja) * 2002-03-18 2003-09-24 Sony Corp 経路計画装置、経路計画方法及び経路計画プログラム並びに移動型ロボット装置
JP2005339408A (ja) * 2004-05-28 2005-12-08 Toshiba Corp 自走式ロボット及びその制御方法
JP2006031144A (ja) * 2004-07-13 2006-02-02 Matsushita Electric Ind Co Ltd 自律走行監視装置
JP2011192270A (ja) * 2010-02-19 2011-09-29 West Japan Railway Co 構造物管理用図面作成装置、及びその処理プログラム
JP2016079615A (ja) * 2014-10-14 2016-05-16 富士フイルム株式会社 橋梁検査ロボットシステム
JP2016079614A (ja) * 2014-10-14 2016-05-16 富士フイルム株式会社 橋梁検査ロボットシステム
JP2016151129A (ja) * 2015-02-17 2016-08-22 株式会社横河ブリッジ 構造物点検装置及び構造物点検方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5249852B2 (ja) * 2009-05-15 2013-07-31 阪神高速技術株式会社 橋梁の床版の損傷検出方法
AU2015243788A1 (en) * 2014-04-10 2016-09-08 Sofinter S.P.A. Burner
WO2015163107A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
EP3135580B1 (en) * 2014-04-25 2023-10-18 Sony Group Corporation Control device, imaging device, control method, imaging method, and computer program
JP6387782B2 (ja) * 2014-10-17 2018-09-12 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
US20170277187A1 (en) * 2016-02-29 2017-09-28 Optecks, Llc Aerial Three-Dimensional Scanner
JP6765036B2 (ja) * 2016-03-28 2020-10-07 パナソニックIpマネジメント株式会社 外観検査装置と外観検査方法
US10788428B2 (en) * 2017-09-25 2020-09-29 The Boeing Company Positioning system for aerial non-destructive inspection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003266345A (ja) * 2002-03-18 2003-09-24 Sony Corp 経路計画装置、経路計画方法及び経路計画プログラム並びに移動型ロボット装置
JP2005339408A (ja) * 2004-05-28 2005-12-08 Toshiba Corp 自走式ロボット及びその制御方法
JP2006031144A (ja) * 2004-07-13 2006-02-02 Matsushita Electric Ind Co Ltd 自律走行監視装置
JP2011192270A (ja) * 2010-02-19 2011-09-29 West Japan Railway Co 構造物管理用図面作成装置、及びその処理プログラム
JP2016079615A (ja) * 2014-10-14 2016-05-16 富士フイルム株式会社 橋梁検査ロボットシステム
JP2016079614A (ja) * 2014-10-14 2016-05-16 富士フイルム株式会社 橋梁検査ロボットシステム
JP2016151129A (ja) * 2015-02-17 2016-08-22 株式会社横河ブリッジ 構造物点検装置及び構造物点検方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020084568A (ja) * 2018-11-26 2020-06-04 中日本ハイウェイ・エンジニアリング東京株式会社 複雑な構造物の点検方法及び点検装置

Also Published As

Publication number Publication date
JPWO2018070354A1 (ja) 2019-08-15
US20190222751A1 (en) 2019-07-18
US10742874B2 (en) 2020-08-11
JP6715340B2 (ja) 2020-07-01

Similar Documents

Publication Publication Date Title
US10748269B2 (en) Structure member specification device and structure member specification method
RU2743112C2 (ru) Устройство и способ для анализа вибраций с использованием высокоскоростных видеоданных и применение такого устройства для бесконтактного анализа вибраций
JP6450481B2 (ja) 撮像装置及び撮像方法
CN108432227B (zh) 摄影辅助装置及摄影辅助方法
JP6507268B2 (ja) 撮影支援装置及び撮影支援方法
US10212354B2 (en) Movable imaging device and movable imaging method
JP5337658B2 (ja) 広角撮像装置及び測定システム
JP6445151B2 (ja) ロボット装置及びロボット装置の移動制御方法
CN111953892B (zh) 无人飞行器、检查方法
US11107240B2 (en) Self position estimation device, self position estimation method, program, and image processing device
WO2018070354A1 (ja) 撮影計画生成装置、撮影計画生成方法、およびプログラム
WO2018180214A1 (ja) 画像処理装置、カメラ装置、および画像処理方法
WO2016189898A1 (ja) ロボット装置及びロボット装置の移動制御方法
JP6960319B2 (ja) 構造物の構成部材の位置調整方法
JP2024012969A (ja) 撮像制御装置、撮像制御装置の制御方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17861164

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018544989

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17861164

Country of ref document: EP

Kind code of ref document: A1