WO2024101046A1 - 画像表示装置、画像表示装置の作動方法、および画像表示装置の作動プログラム - Google Patents

画像表示装置、画像表示装置の作動方法、および画像表示装置の作動プログラム Download PDF

Info

Publication number
WO2024101046A1
WO2024101046A1 PCT/JP2023/036436 JP2023036436W WO2024101046A1 WO 2024101046 A1 WO2024101046 A1 WO 2024101046A1 JP 2023036436 W JP2023036436 W JP 2023036436W WO 2024101046 A1 WO2024101046 A1 WO 2024101046A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
displayed
partial image
display device
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/036436
Other languages
English (en)
French (fr)
Inventor
絵理奈 小椋
成利 石川
晃子 福島
大樹 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2024557069A priority Critical patent/JPWO2024101046A1/ja
Priority to CN202380078115.XA priority patent/CN120226343A/zh
Publication of WO2024101046A1 publication Critical patent/WO2024101046A1/ja
Priority to US19/200,637 priority patent/US20250265738A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • EFIXED CONSTRUCTIONS
    • E21EARTH OR ROCK DRILLING; MINING
    • E21DSHAFTS; TUNNELS; GALLERIES; LARGE UNDERGROUND CHAMBERS
    • E21D11/00Lining tunnels, galleries or other underground cavities, e.g. large underground chambers; Linings therefor; Making such linings in situ, e.g. by assembling
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00Cameras
    • G03B19/02Still-picture cameras
    • G03B19/04Roll-film cameras
    • G03B19/07Roll-film cameras having more than one objective
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00Two-dimensional [2D] image generation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00Two-dimensional [2D] image generation
    • G06T11/10Texturing; Colouring; Generation of textures or colours
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting

Definitions

  • the technology disclosed herein relates to an image display device, an operating method for an image display device, and an operating program for an image display device.
  • JP 2022-056085 A, JP 2022-139903 A, and JP 2017-168077 A a technology has been proposed for extracting abnormalities that have occurred in a structure from an image obtained by photographing the structure with a photographing device.
  • the structure is, for example, so-called infrastructure such as a dam, a bridge, or a tunnel.
  • the abnormalities include, for example, cracks, peeling, rust, water leakage, or exposed rebar.
  • JP 2022-056085 A and JP 2022-139903 A in the case of a relatively large structure such as a dam, bridge, or tunnel, an image that covers the entire structure is obtained by photographing the structure multiple times while moving the imaging device, for example, from the entrance to the exit of the tunnel.
  • Such an image that covers the entire structure will be very long, for example, an image from the entrance to the exit of a tunnel with a total length of 5 km.
  • an image is displayed on a display together with the results of the extraction of abnormalities, etc., and is made available for viewing by the user.
  • the image displayed in this case is a portion of an image that covers the entire structure, such as an image of a 50 m distance range, for example, 2 km to 2.05 km of a 5 km long tunnel.
  • JP 2017-168077 A describes a mode in which an image covering the entire structure (referred to as a panoramic image in JP 2017-168077 A) and a partial image of the image covering the entire structure (referred to as an inspection image in JP 2017-168077 A) are displayed on the same screen.
  • JP 2017-168077 A displays a frame for the inspection image on the panoramic image, allowing the user to recognize which part of the structure was photographed by the inspection image.
  • JP 2017-168077 A the panoramic image and the inspection image are displayed on the same screen, and the frame of the inspection image is displayed on the panoramic image, resulting in a cluttered screen configuration.
  • One embodiment of the technology disclosed herein provides an image display device, an operating method for an image display device, and an operating program for an image display device that allows a user to recognize, with a simple screen configuration, which part of a structure the displayed image was taken from.
  • the image display device of the present disclosure includes a processor, and the processor controls the display of a display screen having a display area of a partial image that is obtained by photographing a structure extending in a first direction with a photographing device and is a part of a long image whose long side direction is along the first direction, and a first index bar that extends along the first direction and indicates a first distance range that is at least a part of the distance range of the structure in the first direction, and on which a photographing position mark is displayed that indicates the photographing position of the structure of the partial image being displayed in the display area.
  • the processor preferably accepts a position specification of an arbitrary position on the first index bar, and displays in the display area a partial image in which the specified position corresponds to the shooting position.
  • the second distance range is preferably the entire distance range of the structure in the first direction.
  • the partial image can be enlarged and preferably an auxiliary window can be displayed that indicates which position on the partial image the enlarged portion corresponds to.
  • the display screen is provided with an operation unit for inputting an instruction to switch the partial image being displayed in the display area to a partial image adjacent to the partial image being displayed in the display area.
  • a focus point mark indicating a focus point on the long image can be displayed on the first index bar.
  • the points of interest include at least one of the points specified by the user and the points where a specific subject is present.
  • text memos or voice memos entered by the user can be displayed in association with the points of interest.
  • the location specified by the user is at least one of the location specified by the photographer of the long image when photographing the long image and the location specified by the inspector of the long image when inspecting the long image.
  • the first index bar be able to distinguish between areas where partial images are displayed and areas where they are not.
  • the processor preferably receives a specification of a measurement target within the partial image, and in response to the specification, displays at least one of the position of the measurement target in the structure and the actual dimensions of the measurement target.
  • the long image is preferably an image obtained by synthesizing multiple images obtained by photographing different parts of a structure multiple times with an imaging device along at least the first direction among the first direction and a second direction intersecting the first direction.
  • the multiple captured images are preferably images obtained by capturing images of the structure at multiple different positions in the first direction while moving the image capture device along the first direction.
  • the photographing device has a plurality of cameras arranged along the second direction, and the plurality of photographed images are images obtained by photographing the structure with the plurality of cameras. It is also preferable that the photographing device has a plurality of cameras arranged along the first direction, and the plurality of photographed images are images obtained by photographing the structure with the plurality of cameras.
  • the imaging device has multiple cameras arranged along the second direction, and the multiple captured images are images obtained by capturing images of the structure with the multiple cameras while moving the imaging device along the first direction, and the long image is an image obtained by synthesizing the multiple captured images along the first and second directions.
  • the structure is a tunnel
  • the first direction is the longitudinal direction connecting the entrance and exit of the tunnel
  • the second direction is the circumferential direction of the tunnel.
  • the operating method of the image display device disclosed herein includes controlling the display of a display screen having a display area of a partial image that is obtained by photographing a structure extending in a first direction with a photographing device and is a part of a long image whose long side direction is along the first direction, and a first index bar that extends along the first direction and indicates a first distance range that is at least a part of the distance range of the structure in the first direction, the first index bar displaying a photographing position mark that indicates the photographing position of the structure of the partial image being displayed in the display area.
  • the operating program of the image display device disclosed herein causes a computer to execute processing including controlling the display of a display screen having a display area of a partial image that is obtained by photographing a structure extending in a first direction with a photographing device and is a part of a long image whose long side direction is along the first direction, and a first index bar that extends along the first direction and indicates a first distance range that is at least a part of the distance range of the structure in the first direction, and on which a photographing position mark is displayed that indicates the photographing position of the structure of the partial image being displayed in the display area.
  • the technology disclosed herein can provide an image display device, an operating method for an image display device, and an operating program for an image display device that can enable a user to recognize which part of a structure the displayed image was taken of, using a simple screen configuration.
  • FIG. 13 is a diagram showing the state in which the inner wall surface of a tunnel is photographed using an imaging device.
  • FIG. FIG. FIG. FIG. 2 is a diagram showing the shooting areas of a first shooting unit and a second shooting unit.
  • FIG. 2 is a diagram for explaining the formation of a long image.
  • FIG. FIG. FIG. 13 is a diagram showing an operation screen when a location specification button is selected.
  • FIG. 11 is a diagram showing information on a location designated at the time of shooting.
  • 1 is a diagram showing an imaging device, an information management server, an inspector terminal, and information transmitted from the imaging device to the information management server.
  • FIG. 2 is a block diagram of a computer constituting an information management server and an inspector terminal.
  • FIG. 2 is a block diagram showing a processing unit of a CPU of the information management server.
  • FIG. 13 is a diagram showing inspection designated location information.
  • FIG. 13 is a diagram illustrating the process of an extraction unit.
  • FIG. 11 is a diagram showing extracted image information.
  • 3 is a block diagram showing a processing unit of a CPU of the inspector terminal;
  • FIG. FIG. FIG. 13 is a diagram showing a partial index bar on an overhead screen.
  • FIG. 13 is a diagram showing a state in which a text memo is displayed in association with a mark of a location designated at the time of shooting.
  • FIG. 13 is a diagram showing a state in which a text memo is displayed in association with an inspection designated location mark.
  • FIG. 13 is a diagram showing a partial image display screen.
  • FIG. 13 is a diagram showing a partial index bar on the partial image display screen.
  • 13 is a diagram showing a process of accepting a position specification of an arbitrary position on the partial index bar and displaying in the display area a partial image in which the position specified by the accepting process corresponds to the shooting position.
  • FIG. FIG. 4 is a diagram showing a group of operation buttons.
  • FIG. 13 is a diagram showing a case where a partial image is enlarged and displayed.
  • FIG. 13 is a diagram showing a case where an extracted image is displayed superimposed on a partial image.
  • 13 is a diagram showing a state in which the position and actual size of a measurement target specified in a partial image are displayed.
  • FIG. 13 is a diagram showing a state in which the position and actual size of a measurement target specified in a partial image are displayed.
  • FIG. 13A and 13B are diagrams illustrating a process of switching a partial image currently displayed in a display area to a partial image adjacent to the partial image currently displayed in the display area.
  • 13A and 13B are diagrams illustrating a process of switching a partial image currently displayed in a display area to a partial image adjacent to the partial image currently displayed in the display area.
  • 10 is a flowchart showing a processing procedure of the information management server and the inspector terminal.
  • FIG. 13 is a diagram showing another example in which a portion where a partial image is displayed is displayed distinctly from a portion where a partial image is not displayed.
  • FIG. 13 is a diagram showing an example in which marks for designated locations during shooting and the like are displayed on the overall index bar.
  • FIG. 11 is a diagram showing another example of the shooting-time designated location information.
  • the tunnel 10 has an entrance 13 and an exit 14, and extends in a longitudinal direction LD connecting the entrance 13 and the exit 14.
  • the length from the entrance 13 to the exit 14, i.e., the total length of the tunnel 10, is, for example, 10,000 m.
  • the photographer UP moves the photographing device 12 along the longitudinal direction LD from the entrance 13 to the exit 14, for example, by moving the photographing device 12 along the center line of the road surface 15.
  • the tunnel 10 is an example of a "structure” according to the technology of the present disclosure.
  • the longitudinal direction LD is an example of a "first direction” according to the technology of the present disclosure.
  • the circumferential direction CD is an example of a "second direction” according to the technology of the present disclosure.
  • the photographer UP is an example of a "user” according to the technology of the present disclosure.
  • the imaging device 12 is composed of an imaging device main body 20 and a dolly 21 on which the imaging device main body 20 is mounted.
  • the imaging device main body 20 has a base 22, a first support pillar 231 and a second support pillar 232, a first mounting plate 241 and a second mounting plate 242, and a first imaging unit 251 and a second imaging unit 252.
  • the base 22 is a rectangular plate and is attached to the cart 21 by screws or the like.
  • the first support pillar 231 and the second support pillar 232 are square pillars extending vertically from the base 22.
  • the first mounting plate 241 and the second mounting plate 242 are disk-shaped and their centers are fixed to the ends of the first support pillar 231 and the second support pillar 232 opposite the base 22.
  • first imaging units 251 are attached to the first mounting plate 241 via first mounting fixtures 261.
  • Five second imaging units 252 are attached to the second mounting plate 242 via second mounting fixtures 262.
  • the imaging device body 20 has a total of nine imaging units 25.
  • the first shooting unit 251 is arranged at 90°, 150°, 210°, and 270°.
  • the second shooting unit 252 is arranged at 60°, 120°, 180°, 240°, and 300°. In other words, the first shooting unit 251 and the second shooting unit 252 are all arranged at an angle interval of 60°.
  • the total of nine shooting units 25 including the first shooting unit 251 and the second shooting unit 252 are arranged at an angle interval of 30°.
  • the number of shooting units 25 is not limited to the example of nine. There may be one imaging unit 25 or more than nine.
  • the first and second photographing units 251 and 252 each consist of one camera 27 and two lights 28 arranged symmetrically on either side of the camera 27.
  • the camera 27 is, for example, a high-performance single-lens reflex camera equipped with an image sensor of 20 million pixels or more and equipped with a distance measuring function for measuring the distance to the subject and a blur correction function for correcting blur.
  • the lights 28 are, for example, LEDs (Light-Emitting Diodes) with a light distribution angle that exceeds the photographing angle of view of the camera 27.
  • the first support pillar 231 and the first mounting plate 241, and therefore the first imaging unit 251 are located in front of the traveling direction of the dolly 21.
  • the second support pillar 232 and the second mounting plate 242, and therefore the second imaging unit 252 are located in the rear of the traveling direction of the dolly 21. Therefore, the cameras 27 of the first imaging unit 251 and the second imaging unit 252 are arranged along the traveling direction of the dolly 21.
  • the traveling direction of the dolly 21 is along the length direction LD of the tunnel 10 as shown in FIG. 1. Therefore, it can be said that the camera 27 is arranged along the length direction LD.
  • the camera 27 is attached so as to surround the circular first mounting plate 241 and the second mounting plate 242, and the dolly 21 runs so that the normal direction of the first mounting plate 241 and the second mounting plate 242 is along the length direction LD.
  • the cameras 27 are arranged along the circumferential direction CD.
  • three or more cameras 27 may be arranged along the length direction LD.
  • one camera 27 may be moved along the circumferential direction CD and take multiple images in the circumferential direction CD.
  • the dolly 21 has a dolly body 35, front wheels 36, rear wheels 37, and a handle 38.
  • the dolly body 35 is box-shaped.
  • the imaging device body 20 is attached to the top plate portion of the dolly body 35 that is parallel to the horizontal surface.
  • the front wheels 36 and rear wheels 37 are arranged on the left and right sides of the bottom of the bogie body 35.
  • the bogie 21 runs on the road surface 15 using the front wheels 36 and rear wheels 37.
  • the rear wheels 37 are driven to rotate by a rear-wheel drive unit 39.
  • the front wheels 36 rotate following the rotation of the rear wheels 37.
  • the bogie 21 has four wheels and is a rear-wheel drive type.
  • the rear wheel drive unit 39 is two motors connected to the left and right rear wheels 37.
  • the two motors rotate the left and right rear wheels 37 independently. Therefore, when the motor connected to the right rear wheel 37 makes the right rear wheel 37 rotate faster than the left rear wheel 37, the trolley 21 turns left. On the other hand, when the motor connected to the left rear wheel 37 makes the left rear wheel 37 rotate faster than the right rear wheel 37, the trolley 21 turns right.
  • the handle 38 is attached to the upper rear surface of the dolly body 35.
  • the handle 38 is cylindrical and elongated in the width direction of the dolly body 35.
  • the handle 38 is held by the photographer UP to steer the dolly 21.
  • the dolly 21 travels on the road surface 15 by the photographer UP operating the handle 38.
  • the operation of the handle 38 by the photographer UP refers to the photographer UP grasping the handle 38 and changing the way in which he applies force to the handle 38 or adjusting the direction in which he applies force to the handle 38. In this way, in the imaging device 12, the photographer UP independently determines the travel speed and direction by operating the handle 38 to travel the dolly 21.
  • the rear wheel drive unit 39 is also driven in response to the operation of the handle 38 by the photographer UP. However, the rear wheel drive unit 39 is driven only according to the force applied to the dolly 21 by the photographer UP via the handle 38. For this reason, the dolly 21 will not move unless the force of the photographer UP is applied. Conversely, the dolly 21 will not move with only the force of the photographer UP, and will only move with the assistance of the rear wheel drive unit 39.
  • the force applied to the dolly 21 by the photographer UP is detected using, for example, a piezoelectric sensor (not shown), and the rear wheel drive unit 39 is driven in response to this detection result.
  • the photographer UP may ride on the dolly 21 and operate it.
  • the dolly 21 may also be driven automatically without the help of the photographer UP.
  • a number of magnetic bodies 40 are attached to the underside of the rear wheel 37 at equal angles along the circumferential direction.
  • a magnetic sensor 41 is provided at a position on the cart body 35 facing the magnetic bodies 40. The magnetic sensor 41 detects the magnetism emitted by the magnetic bodies 40.
  • a pulse PL corresponding to the magnetism of the magnetic bodies 40 is output from the magnetic sensor 41 along the time axis.
  • the travel distance of the cart 21, and therefore the imaging device 12 can be calculated based on the number of these pulses PL, the circumference of the rear wheel 37, and the spacing between the magnetic bodies 40, etc.
  • a tablet terminal 42 is attached to the inclined surface on the rear wheel 37 side of the cart body 35.
  • the tablet terminal 42 is removable from the cart body 35.
  • the tablet terminal 42 is operated by the photographer UP.
  • the tablet terminal 42 may be a commercially available one that can be used for other purposes, or may be one that cannot be used for anything other than the imaging device 12.
  • the camera 27 of the first photographing unit 251 photographs four areas (hereinafter referred to as first photographing areas) 501, one spaced apart from each other, out of the nine rectangular areas obtained by dividing the inner wall surface 11 into nine equal parts.
  • the camera 27 of the second photographing unit 252 photographs five areas (hereinafter referred to as second photographing areas) 502, one spaced apart from each other, out of the nine rectangular areas obtained by dividing the inner wall surface 11 into nine equal parts.
  • the first and second shooting areas 501 and 502 each have a short side aligned along the length direction LD and a long side aligned along the circumferential direction CD. As shown in FIG. 4, the first and second shooting areas 501 and 502 are arranged in a staggered pattern because the first and second shooting units 251 and 252 are arranged in different phases in the circumferential direction CD.
  • the first and second shooting areas 501 and 502 are an example of "different parts of a structure" according to the technology disclosed herein.
  • the first and second shooting areas 501 and 502 overlap somewhat in the length direction LD and the circumferential direction CD. In FIG. 5, the direction from the back of the page to the front is the traveling direction of the cart 21.
  • the photographing device 12 is moved along the longitudinal direction LD, and in the process of this movement, the camera 27 of the first photographing unit 251 photographs the first photographing area 501, and the camera 27 of the second photographing unit 252 photographs the second photographing area 502, in turn. Therefore, as shown in FIG. 6 as an example, a plurality of first photographed images 511 photographed of the first photographing area 501 and a plurality of second photographed images 512 photographed of the second photographing area 502 are obtained.
  • the first captured images 511 and the second captured images 512 thus obtained are aligned based on the overlapping portions and synthesized along the length direction LD and the circumferential direction CD to generate a long image 55 covering the entire surface of the inner wall surface 11.
  • the long side of the long image 55 is along the length direction LD, and the short side is along the circumferential direction CD.
  • the symbols A1 to A9 indicate the correspondence between the actual positions of the first captured images 511 and the second captured images 512 on the inner wall surface 11 and their positions in the long image 55.
  • the symbols A1 to A9 indicate the numbers 1 to 9 that are assigned in order to the nine regions obtained by dividing the inner wall surface 11 into nine equal parts.
  • the even numbers 2, 4, 6, and 8 are the first captured images 511, and the odd numbers 1, 3, 5, 7, and 9 are the second captured images 512.
  • the direction from the back of the page to the front is the traveling direction of the dolly 21.
  • the first captured image 511 and the second captured image 512 may be collectively referred to as captured image 51.
  • the photographing device 12 generates photographed image information 60, which is information on a plurality of photographed images 51.
  • the photographed image information 60 is information in which the photographed image 51 itself, the photographed date and time of the photographed image 51, the photographed position of the photographed image 51 in the circumferential direction CD (indicated as the circumferential position in FIG. 7), and the photographed position of the photographed image 51 in the length direction LD (indicated as the length direction position in FIG. 7) are registered for each image ID (Identification Data) for uniquely identifying the photographed image 51. Any of the numbers 1 to 9 of the symbols A1 to A9 shown in FIG. 6 is registered as the photographed position in the circumferential direction CD.
  • the moving distance of the photographing device 12 derived based on the number of pulses PL, etc.
  • the photographed image information 60 also registers basic information on the photographed image 51, such as the distance from the camera 27 to the subject (here, the inner wall surface 11) measured by the distance measuring function, the photographing magnification, the focal length, and the number of pixels of the image sensor.
  • An operation screen 65 is displayed on the touch panel display (not shown) of the tablet terminal 42.
  • a message 66 is displayed on the operation screen 65, informing the photographer UP of the distance from the entrance 13 of the tunnel 10, which is the starting point of shooting, to the current position.
  • the operation screen 65 also has a start shooting button 67, a pause button 68, an end shooting button 69, and a location designation button 70.
  • the start shooting button 67 is a button that the photographer UP uses to instruct the photographing device 12 to start taking the photographed image 51.
  • the photographer UP selects the start shooting button 67, for example, at the entrance 13 of the tunnel 10.
  • the lighting lamp 28 is turned on, and the camera 27 starts taking the photographed image 51.
  • Counting of the pulses PL output from the magnetic sensor 41 also starts, and the travel distance of the photographing device 12 is derived.
  • the pause button 68 is a button that allows the photographer UP to instruct the photographing device 12 to pause and resume photographing the photographed image 51.
  • photographing of the photographed image 51 by the camera 27 is temporarily stopped.
  • the pause button 68 is selected again in this state, photographing of the photographed image 51 by the camera 27 is resumed.
  • the end shooting button 69 is a button that the photographer UP uses to instruct the photographing device 12 to end photographing the photographed image 51.
  • the photographer UP selects the end shooting button 69, for example, at the exit 14 of the tunnel 10.
  • the illumination light 28 is turned off and photographing of the photographed image 51 by the camera 27 is terminated.
  • the counting of the pulses PL output from the magnetic sensor 41 is also terminated.
  • the location designation button 70 is a button for issuing an instruction to record a location that the photographer UP thinks should be examined more closely when inspecting the long image 55 after the capture of the captured image 51, and therefore the long image 55, finds when he or she finds the location.
  • the photographer UP finds a location that should be examined more closely when inspecting the long image 55 he or she first stops the movement of the imaging device 12. Then, the photographer UP selects the pause button 68 to temporarily suspend the capture of the captured image 51 by the camera 27, and then selects the location designation button 70.
  • the operation screen 65 transitions as shown in FIG. 9.
  • an input box 71 As an example, as shown in FIG. 9, when the location designation button 70 is selected, an input box 71, a first record button 721, and a second record button 722 are provided on the operation screen 65.
  • a text memo related to the designated location is input into the input box 71 by the photographer UP.
  • the first record button 721 is a button for issuing an instruction to record the text memo and the location in association with each other.
  • the second record button 722 is a button for issuing an instruction to record only the location without recording a text memo. In this way, the location can be recorded with or without a text memo.
  • the photographing device 12 generates designated location information 75 during photographing.
  • the designated location information 75 during photographing is information in which, for each location ID for uniquely identifying the location, the date and time when the location was designated, the designated position of the location in the length direction LD (represented as length direction position in FIG. 10), text memos, etc. are registered.
  • the designated position of the location in the length direction LD is the distance traveled by the photographing device 12 derived based on the number of pulses PL, etc., as is the shooting position of the photographed image 51 in the length direction LD.
  • the location designated by the photographer UP is an example of a "user designated location” and a "location of interest" according to the technology disclosed herein.
  • the image capture device 12 is connected to an information management server 80 so as to be able to communicate with each other via a WAN (Wide Area Network) such as the Internet or a public communication network.
  • the information management server 80 is, for example, a server computer.
  • the information management server 80 receives captured image information 60 and information 75 about the location specified at the time of capture from the image capture device 12.
  • the information management server 80 is further connected to an inspector terminal 81 via a WAN such as the Internet or a public communication network so as to be able to communicate with each other.
  • the inspector terminal 81 is a desktop personal computer, a notebook personal computer, or a tablet terminal.
  • the inspector terminal 81 is operated by an inspector UI of the long image 55.
  • the inspector terminal 81 is an example of an "image display device" according to the technology of the present disclosure.
  • the inspector UI is an example of a "user” according to the technology of the present disclosure.
  • FIG. 11 only one inspector terminal 81 is depicted in FIG. 11, in reality, multiple inspector terminals 81 are connected to the information management server 80.
  • the inspector terminal 81 may be a commercially available one that can be used for other purposes, or may be one that cannot be used for purposes other than as an image display device.
  • the computers that make up the information management server 80 and the inspector terminal 81 are basically the same in configuration, and include storage 85, memory 86, a CPU (Central Processing Unit) 87, a communication unit 88, a display 89, and an input device 90. These are interconnected via a bus line 91.
  • Storage 85 is a hard disk drive built into the computer that constitutes information management server 80 and inspector terminal 81, or connected via a cable or network.
  • storage 85 is a disk array consisting of multiple hard disk drives.
  • Storage 85 stores control programs such as an operating system, various application programs (hereinafter abbreviated as AP (Application Program)), and various data associated with these programs.
  • AP Application Program
  • a solid state drive may be used instead of a hard disk drive.
  • Memory 86 is a work memory for CPU 87 to execute processing.
  • CPU 87 loads programs stored in storage 85 into memory 86 and executes processing according to the programs. In this way, CPU 87 comprehensively controls each part of the computer.
  • CPU 87 is an example of a "processor" according to the technology of this disclosure. Note that memory 86 may be built into CPU 87.
  • the communication unit 88 is a network interface that controls the transmission of various information via a WAN or the like.
  • the display 89 displays various screens.
  • the various screens are equipped with operation functions using a GUI (Graphical User Interface).
  • the computers that make up the information management server 80 and the inspector terminal 81 accept input of operation instructions from the input device 90 via the various screens.
  • the input device 90 is a keyboard, mouse, touch panel, microphone for voice input, etc.
  • the computer parts constituting the information management server 80 are distinguished by adding the suffix "A” to their reference numbers (storage 85 and CPU 87), and the computer parts constituting the inspector terminal 81 are distinguished by adding the suffix "B" to their reference numbers (storage 85, CPU 87, display 89, and input device 90).
  • an operating program 95 is stored in storage 85A of the information management server 80.
  • the operating program 95 is an AP for causing a computer to function as the information management server 80.
  • storage 85A also stores a crack extraction model 96 and inspection designated location information 97.
  • the CPU 87A of the computer constituting the information management server 80 works in cooperation with the memory 86 etc. to function as an acquisition unit 100, a read/write (hereinafter abbreviated as RW (Read Write)) control unit 101, an extraction unit 102, and a screen distribution control unit 103.
  • RW Read Write
  • the acquisition unit 100 acquires the captured image information 60 and the location information 75 designated at the time of shooting from the imaging device 12.
  • the acquisition unit 100 outputs the captured image information 60 and the location information 75 designated at the time of shooting to the RW control unit 101.
  • the RW control unit 101 controls the storage of various data in storage 85A and the reading of various data stored in storage 85A.
  • the RW control unit 101 stores the captured image information 60 and the designated location information 75 at the time of shooting from the acquisition unit 100 in storage 85A.
  • the RW control unit 101 reads the captured image information 60 from storage 85A, and outputs the read captured image information 60 to the extraction unit 102 and the screen delivery control unit 103.
  • the RW control unit 101 also reads the designated location information 75 at the time of shooting and the designated location information 97 at the time of inspection from storage 85A, and outputs the read designated location information 75 at the time of shooting and the designated location information 97 at the time of inspection to the screen delivery control unit 103.
  • the RW control unit 101 also reads the crack extraction model 96 from storage 85A, and outputs the read crack extraction model 96 to the extraction unit 102.
  • the extraction unit 102 applies the captured images 51 of the captured image information 60 to the crack extraction model 96, and causes the crack extraction model 96 to output extracted images 110 (see FIG. 15) of cracks 111 (see FIG. 15).
  • the extraction unit 102 causes the extracted images 110 to be output for all captured images 51.
  • the extraction unit 102 generates extracted image information 105, which is information on the extracted images 110 for all captured images 51.
  • the extraction unit 102 outputs the extracted image information 105 to the screen distribution control unit 103.
  • the screen distribution control unit 103 controls the generation of various screens and the distribution of various screens to the inspector terminal 81.
  • the screen distribution control unit 103 generates a partial image display screen 135 (see FIG. 23) based on the captured image information 60, the location designated at the time of capture information 75, and the location designated at the time of inspection information 97, and controls the distribution of the generated partial image display screen 135 to the inspector terminal 81.
  • the screen distribution control unit 103 outputs various screens in the form of screen data for web distribution created using a markup language such as XML (Extensible Markup Language). This makes it possible for the inspector terminal 81 to view various screens on a web browser.
  • the screen distribution control unit 103 specifies the inspector terminal 81 to which the various screens are to be distributed by a terminal ID that is registered in the distribution request for the various screens and that uniquely identifies the inspector terminal.
  • JSON Javascript (registered trademark) Object Notation
  • the inspection designated location information 97 is information generated when the inspector UI finds a location that he or she thinks should be monitored during past inspection of the long image 55 and gives an instruction to record that location on the partial image display screen 135.
  • the inspection designated location information 97 is information in which, like the photography designated location information 75, the date and time when the location was designated, the designated position of the location in the length direction LD (shown as the length direction position in FIG. 14), and text memos are registered for each location ID for uniquely identifying the location.
  • the location designated by the inspector UI can be recorded with or without a text memo.
  • the location designated by the inspector UI is an example of a "user designated location" and a "location of interest" according to the technology disclosed herein.
  • the extraction unit 102 inputs the captured image 51 to the crack extraction model 96, and causes the crack extraction model 96 to output an extracted image 110.
  • the extracted image 110 is an image in which a crack 111 that appears in the captured image 51 is indicated by, for example, a red line.
  • the crack 111 is an example of a "specific subject" according to the technology of the present disclosure. Note that while FIG. 15 shows an example in which the crack 111 has been extracted in the extracted image 110, there are of course cases in which the crack 111 is not extracted in the extracted image 110.
  • the crack extraction model 96 is a machine learning model composed of, for example, a neural network.
  • the crack extraction model 96 is repeatedly trained using as training data a pair of a training image 51 and a correct answer image in which cracks 111 appearing in the training image 51 have been manually annotated.
  • the crack extraction model 96 outputs a training extracted image 110 in response to an input of a training image 51.
  • the crack extraction model 96 stored in the storage 85 has reached a preset level of extraction accuracy for the cracks 111 in the training extracted image 110 relative to the correct answer image.
  • the extracted image information 105 is information in which the extracted image 110 itself, the position of the extracted image 110 in the circumferential direction CD (referred to as the circumferential position in FIG. 16), and the position of the extracted image 110 in the length direction LD (referred to as the length direction position in FIG. 16) are registered for each image ID (Identification Data) for uniquely identifying the extracted image 110.
  • image ID Identity Data
  • the image ID of the captured image 51, the shooting position of the captured image 51 in the circumferential direction CD, and the shooting position of the captured image 51 in the length direction LD are transcribed into the image ID of the extracted image 110, the position of the extracted image 110 in the circumferential direction CD, and the position of the extracted image 110 in the length direction LD.
  • an inspection AP 112 is stored in the storage 85B of the inspector terminal 81.
  • the inspection AP 112 is installed in the inspector terminal 81 by the inspector UI.
  • the inspection AP 112 is an AP for causing the computer constituting the inspector terminal 81 to function as an "image display device" according to the technology of the present disclosure.
  • the inspection AP 112 is an example of an "operation program for an image display device" according to the technology of the present disclosure.
  • the CPU 87B of the inspector terminal 81 works in cooperation with the memory 86 etc. to function as the browser control unit 113.
  • the browser control unit 113 controls the operation of a dedicated web browser for the inspection AP 112.
  • the browser control unit 113 generates various screens.
  • the browser control unit 113 receives screen data for various screens from the information management server 80.
  • the browser control unit 113 reproduces various screens to be displayed on the web browser based on the screen data, and displays these on the display 89B.
  • the browser control unit 113 also accepts various operation instructions input from the input device 90B by the inspector UI via the various screens.
  • the browser control unit 113 transmits various requests according to the operation instructions to the information management server 80.
  • the browser control unit 113 displays on the display 89 an overhead screen 115 delivered from the information management server 80 in response to a request from the inspector UI.
  • the overhead screen 115 is divided into an upper display area 116 and a lower display area 117.
  • An overall index bar 118 is displayed in the upper display area 116.
  • the overall index bar 118 is a thin, rod-shaped GUI whose long side direction coincides with the length direction LD.
  • the overall index bar 118 indicates a distance range of 0 m to 10,000 m.
  • the distance range of 0 m to 10,000 m is, in other words, the distance range of the entire length of the tunnel 10.
  • the overall index bar 118 is an example of a "second index bar" according to the technology disclosed herein.
  • the distance range of 0 m to 10,000 m is also an example of a "second distance range” according to the technology disclosed herein.
  • the overall index bar 118 is divided into small areas 119 of 1000 m each.
  • the five small areas 119 covering the first half of the tunnel 10 from 0 m to 5000 m are arranged in the upper section of the upper display area 116, and the five small areas 119 covering the second half of the tunnel 10 from 5000 m to 10000 m are arranged in the lower section of the upper display area 116.
  • the partial index bar 120 is displayed in the lower display area 117.
  • the partial index bar 120 is a thin, rod-shaped GUI whose long side direction coincides with the length direction LD, similar to the entire index bar 118.
  • the partial index bar 120 indicates ten distance ranges obtained by dividing the total distance range of 0m to 10,000m of the tunnel 10 into ten equal parts: 0m to 1000m, 1000m to 2000m, 2000m to 3000m, ..., 7000m to 8000m, 8000m to 9000m, and 9000m to 10000m.
  • the partial index bar 120 is an example of a "first index bar” according to the technology disclosed herein.
  • the distance ranges of 0m to 1000m, 1000m to 2000m, etc. are examples of a "first distance range” according to the technology disclosed herein.
  • the lower display area 117 can only display a maximum of five partial index bars 120 covering 5000 m.
  • a scroll bar 121 is provided in the lower display area 117, and the partial index bar 120 displayed in the lower display area 117 can be changed by operating the scroll bar 121.
  • the partial index bar 120 displayed in the lower display area 117 can also be changed by placing the mouse cursor 130 (see FIG. 21, etc.) on a desired small area 119 of the whole index bar 118 and single-clicking.
  • the partial index bar 120 indicating the distance range of 2000 m to 3000 m when a small area 119 in the distance range of 2000 m to 3000 m is selected, the partial index bar 120 indicating the distance range of 2000 m to 3000 m, and the partial index bars 120 indicating the distance range of 6000 m to 7000 m are displayed in the lower display area 117.
  • FIG. 18 illustrates an example in which the partial index bars 120 of 0m to 1000m, 1000m to 2000m, 2000m to 3000m, 3000m to 4000m, and 4000m to 5000m are currently displayed in the lower display area 117.
  • FIG. 19 also illustrates an example in which partial index bars 120 for 5000m to 6000m, 6000m to 7000m, 7000m to 8000m, 8000m to 9000m, and 9000m to 10000m are displayed in the lower display area 117.
  • the partial index bar 120 displays a numerical value and a scale 125 indicating the distance every 100 m.
  • a designated location mark 126 at the top of the partial index bar 120 is displayed, a designated location mark 127 at the bottom is displayed, and a crack presence mark 128 is displayed inside.
  • the designated location mark 126 at the time of photography, the designated location mark 127 at the time of inspection, and the crack presence mark 128 are examples of "attention location marks" according to the technology of this disclosure.
  • the designated location mark 126 at the time of shooting is a mark that resembles the shape of a pin.
  • the screen distribution control unit 103 places the designated location mark 126 at a position on the partial index bar 120 that corresponds to the designated position of the location in the length direction LD of the designated location information 75 at the time of shooting.
  • the inspection designated location mark 127 is a triangular mark that resembles an arrowhead shape.
  • the screen distribution control unit 103 places the inspection designated location mark 127 at a position on the partial index bar 120 that corresponds to the designated position of the location in the length direction LD of the inspection designated location information 97.
  • the crack presence location mark 128 is a line that extends across the entire width of the partial index bar 120.
  • the crack presence location mark 128 is thicker than the scale 125 to distinguish it from the scale 125.
  • the screen distribution control unit 103 places the crack presence location mark 128 at a position on the partial index bar 120 that corresponds to a position in the length direction LD of the extracted image 110 from which a crack 111 with a length equal to or greater than the threshold is extracted.
  • the location where a crack 111 with a length equal to or greater than the threshold exists is an example of a "location of interest" according to the technology of the present disclosure, just like the location specified by the photographer UP and the location specified by the inspector UI.
  • the designated location mark 126 during photography and the designated location mark 127 during inspection can be selected with the mouse cursor 130.
  • a text memo bubble 131 recorded in association with the location specified by the photographer UP is displayed above the selected designated location mark 126 during photography.
  • a text memo bubble 132 recorded in association with the location specified by the inspector UI is displayed below the selected designated location mark 127 during inspection. If no text memo has been recorded, then naturally the bubble 131 and 132 are not displayed.
  • the browser control unit 113 When an instruction is given on the bird's-eye view screen 115, for example, by placing the mouse cursor 130 on a desired small area 119 of the overall index bar 118 and double-clicking, the browser control unit 113 sends a delivery request for a partial image display screen 135 to the information management server 80. In response to the delivery request for the partial image display screen 135, the screen delivery control unit 103 generates the partial image display screen 135 shown in FIG. 23 as an example, and delivers the generated partial image display screen 135 to the inspector terminal 81. The browser control unit 113 displays the partial image display screen 135 on the display 89B.
  • the partial image display screen 135 has a partial index bar 120 and a partial image display area 136.
  • a partial image 137 that is a part of the long image 55 is displayed in the partial image display area 136.
  • the partial image 137 is an image within a distance range of 50 m.
  • the partial image 137 within a distance range of 50 m at the end on the entrance 13 side is displayed.
  • a numerical value indicating the distance is displayed every 5 m at the top of the partial image display area 136. Also, like the partial index bar 120, the top of the partial image display area 136 displays the designated location mark 126 for photography, the designated location mark 127 for inspection, and the crack presence location mark 128.
  • FIG. 23 shows an example in which the small area 119 from 0m to 1000m is double-clicked on the overhead screen 115, and a partial index bar 120 from 0m to 1000m and a partial image 137 in the distance range from 0m to 50m are displayed.
  • the partial image display screen 135 is an example of a "display screen” according to the technology of the present disclosure.
  • the partial image display area 136 is an example of a "display area" according to the technology of the present disclosure.
  • a back button 138 is provided at the top of the partial image display screen 135. When the back button 138 is selected, the display returns to the bird's-eye view screen 115. Inside the partial image display area 136, an auxiliary window 139 is provided in which the partial image 137 is displayed in its initial display state before being enlarged. Furthermore, a group of operation buttons 140 are provided to the left of the partial image display area 136.
  • the partial index bar 120 of the partial image display screen 135 has a scale 125 and a distance indication every 100 m, and also has a designated location mark 126 for shooting, and is basically the same display format as the partial index bar 120 of the overhead screen 115.
  • a shooting position mark 145 is displayed on the partial index bar 120 of the partial image display screen 135.
  • the shooting position mark 145 indicates the shooting position in the tunnel 10 of the partial image 137 being displayed in the partial image display area 136. More specifically, the shooting position mark 145 is a frame that encloses the distance range of the tunnel 10 shown in the partial image 137.
  • FIG. 24 shows an example in which a partial image 137 with a distance range of 0 m to 50 m is displayed in the partial image display area 136, and a shooting position mark 145 that encloses the distance range of 0 m to 50 m is displayed on the partial index bar 120.
  • a displayed mark 146 is displayed at the bottom of the partial index bar 120 to indicate the location where the partial image 137 is displayed.
  • the displayed mark 146 is a solid bar extending along the long side of the partial index bar 120. This displayed mark 146 makes it possible to distinguish between the locations where the partial image 137 is displayed and the locations where it is not displayed.
  • text memo bubbles 131 and 132 are displayed in response to the selection of the designated location at time of photography mark 126 and the designated location at time of inspection mark 127.
  • Distance range switching buttons 147A and 147B are provided on the left and right of the partial index bar 120.
  • the display of the partial index bar 120 is switched to the partial index bar 120 on the single entrance 13 side.
  • the distance range switching button 147B is selected, the display of the partial index bar 120 is switched to the partial index bar 120 on the single exit 14 side.
  • the display of the partial image 137 in the partial image display area 136 is switched.
  • the distance range switching button 147A is selected.
  • the display of the partial index bar 120 in the distance range of 3000m to 4000m is switched to the partial index bar 120 in the distance range of 2000m to 3000m.
  • the display of the partial image 137 in the partial image display area 136 is switched to the partial image 137 in the distance range of 2000m to 2050m.
  • the partial index bar 120 in the distance range of 7000m to 8000m is displayed and the distance range switching button 147B is selected.
  • the display of the partial index bar 120 in the distance range of 7000m to 8000m is switched to the partial index bar 120 in the distance range of 8000m to 9000m.
  • the display of the partial image 137 in the partial image display area 136 is switched to the partial image 137 in the distance range of 8000m to 8050m.
  • the browser control unit 113 When a position specification is accepted, the browser control unit 113 generates position specification information 150 indicating the specified position, and transmits it to the information management server 80.
  • the screen delivery control unit 103 displays the partial image 137, whose specified position corresponds to the shooting position, in the partial image display area 136.
  • the screen delivery control unit 103 also changes the display of the shooting position mark 145 in response to the display change of the partial image 137.
  • the screen delivery control unit 103 displays a displayed mark 146 at the bottom of the partial index bar 120.
  • the screen delivery control unit 103 distributes the partial image display screen 135 thus generated to the inspector terminal 81.
  • FIG. 25 shows an example in which the position of 180 m on the partial index bar 120 is specified by the cursor 130.
  • the partial image 137 in the partial image display area 136 switches from a partial image 137 in the distance range of 0 m to 50 m to a partial image 137 in the distance range of 180 m to 230 m.
  • the shooting position mark 145 also switches from the distance range of 0 m to 50 m to the distance range of 180 m to 230 m, and a displayed mark 146 is displayed below the distance range of 180 m to 230 m.
  • the operation button group 140 includes a zoom button 155, a movement/rotation button 156, a superimposition/unsuperimposition button 157, a measurement button 158, and display switching buttons 159A and 159B.
  • the zoom button 155 is a button for enlarging or reducing the display size of the partial image 137 in the partial image display area 136.
  • a frame 160 is displayed in the auxiliary window 139.
  • the frame 160 indicates which position of the currently enlarged portion of the partial image 137 in the initial display state before enlargement.
  • the movement and rotation button 156 is a button for changing the display position of the partial image 137 in the partial image display area 136 to either up, down, left, or right.
  • the movement and rotation button 156 is also a button for changing the display orientation of the partial image 137 in the partial image display area 136 in a clockwise or counterclockwise manner in increments of a specified angle (e.g., 90°).
  • the superimpose/unsuperimpose button 157 is a button for instructing the superimposition and unsuperimposition of the extracted image 110 on the partial image 137 in the partial image display area 136.
  • the superimpose/unsuperimpose button 157 is selected in FIG. 23, the extracted image 110 is displayed superimposed on the partial image 137 in the partial image display area 136, as shown in FIG. 28 as an example.
  • the superimpose/unsuperimpose button 157 is selected again in this state, the superimposition of the extracted image 110 is canceled, and the display form of FIG. 23 is restored.
  • the measurement button 158 is a button for displaying the position and actual size of the measurement target in the tunnel 10 in the partial image 137 of the partial image display area 136.
  • a display window 166 including the position in the tunnel 10 of the crack 111 specified in the area 165 and the actual size of the crack 111 specified in the area 165 is displayed in the partial image display area 136.
  • the position in the tunnel 10 of the crack 111 specified in the area 165 is the center position of the side along the length direction LD of the area 165.
  • the actual size here is the width W in the length direction LD and the height H in the circumferential direction CD of the crack 111 specified in the area 165.
  • FIG. 29 shows an example in which the position in the tunnel 10 is 24 m, the width W is 4.8 m, and the height H is 2 m.
  • a display window 166 including the position in the tunnel 10 of the crack 111 specified by the points 167 and the actual size of the crack 111 specified by the points 167 is displayed in the partial image display area 136.
  • the position in the tunnel 10 of the crack 111 specified by the points 167 is the center position of the line connecting the points 167.
  • the actual size is the length L of the line connecting the points 167.
  • FIG. 30 shows an example in which the position in the tunnel 10 is 24 m and the length L is 4.8 m.
  • the measurement target may be specified as the rectangular area 165 shown in FIG. 29 or as the point 167 shown in FIG. 30.
  • the actual size can be calculated from the distance to the subject measured by the distance measurement function of the camera 27, the shooting magnification, the focal length, the number of pixels of the image sensor, the pixel size, the pixel pitch, etc.
  • Display switch buttons 159A and 159B are buttons for switching the display of partial image 137 being displayed in partial image display area 136.
  • Display switch buttons 159A and 159B are an example of an "operation unit" according to the technology of this disclosure.
  • FIG. 31 illustrates an example in which the display switch button 159A is selected when a partial image 137 in the distance range of 600m to 650m is displayed in the partial image display area 136.
  • the display of the partial image 137 in the partial image display area 136 is switched to a partial image 137 in the distance range of 550m to 600m adjacent to the partial image 137 in the distance range of 600m to 650m.
  • the display of the shooting position mark 145 is also switched from the distance range of 600m to 650m to the distance range of 550m to 600m.
  • a displayed mark 146 is also displayed below the distance range of 550m to 600m.
  • the partial image 137 in the distance range of 550m to 600m is an example of an "adjacent partial image" according to the technology of this disclosure. Note that if the partial image 137 in the distance range of 550m to 600m had been displayed up until that point, the displayed mark 146 has already been displayed below the distance range of 550m to 600m.
  • FIG. 32 illustrates an example in which the display switch button 159B is selected when a partial image 137 in the distance range of 100 m to 150 m is displayed in the partial image display area 136.
  • the display of the partial image 137 in the partial image display area 136 is switched to a partial image 137 in the distance range of 150 m to 200 m adjacent to the partial image 137 in the distance range of 100 m to 150 m.
  • the display of the shooting position mark 145 is also switched from the distance range of 100 m to 150 m to the distance range of 150 m to 200 m.
  • a displayed mark 146 is also displayed below the distance range of 150 m to 200 m.
  • the partial image 137 in the distance range of 150 m to 200 m is an example of an "adjacent partial image" according to the technology of this disclosure. Note that if the partial image 137 in the distance range of 150 m to 200 m had been displayed up until that point, the displayed mark 146 has already been displayed below the distance range of 150 m to 200 m.
  • the operation of the above configuration will be described with reference to the flowchart shown in FIG. 33 as an example.
  • the inner wall surface 11 of the tunnel 10 is photographed by the camera 27 of the photographing device 12.
  • the distance traveled by the photographing device 12 is derived based on the pulse PL output from the magnetic sensor 41 in response to the magnetism of the magnetic body 40 attached to the rear wheel 37 of the dolly 21 of the photographing device 12.
  • the photographing device 12 generates photographed image information 60, which is information on the photographed image 51 obtained by the above photographing.
  • photographing designated location information 75 which is information on the location designated by the photographer UP via the operation screen 65 shown in FIG. 8 etc., is generated.
  • the CPU 87A of the information management server 80 functions as the acquisition unit 100, the RW control unit 101, the extraction unit 102, and the screen distribution control unit 103, as shown in FIG. 13. Also, when the inspection AP 112 is started in the inspector terminal 81, the CPU 87B of the inspector terminal 81 functions as the browser control unit 113, as shown in FIG. 17.
  • the photographed image information 60 and the designated location information 75 at the time of photographing are transmitted from the photographing device 12 to the information management server 80.
  • the photographed image information 60 and the designated location information 75 at the time of photographing are acquired by the acquisition unit 100 (step ST100).
  • the photographed image information 60 and the designated location information 75 at the time of photographing are output from the acquisition unit 100 to the RW control unit 101, and are stored in the storage 85A by the RW control unit 101 (step ST110).
  • a request for distribution of the overhead screen 115 is made by the inspector UI, and the distribution request is sent from the browser control unit 113 to the information management server 80 (step ST200).
  • the RW control unit 101 reads out the captured image information 60 and the designated location information 75 at the time of shooting from the storage 85A (step ST130).
  • the captured image information 60 and the designated location information 75 at the time of shooting are output from the RW control unit 101 to the screen distribution control unit 103.
  • the captured image information 60 is output to the extraction unit 102 together with the crack extraction model 96.
  • the designated location information 97 at the time of inspection is also read out from the storage 85A by the RW control unit 101, and is output from the RW control unit 101 to the screen distribution control unit 103 together with the captured image information 60, etc.
  • the screen distribution control unit 103 generates the overhead screen 115 shown in Figures 18 and 19 and distributes it to the inspector terminal 81 (step ST140).
  • the browser control unit 113 displays the overhead screen 115 on the display 89B (step ST210).
  • An entire index bar 118 is displayed in the upper display area 116 of the overhead screen 115, and a partial index bar 120 is displayed in the lower display area 117.
  • the overall index bar 118 is divided into multiple small areas 119, each 1000 m apart. Of the multiple small areas 119, the small area 119 that corresponds to the distance range indicated by the partial index bar 120 being displayed in the lower display area 117 is displayed separately from the other small areas 119.
  • the partial index bar 120 displays a designated location mark 126 for photography, a designated location mark 127 for inspection, and a crack presence location mark 128.
  • An instruction to distribute the partial image display screen 135 is given on the bird's-eye view screen 115, and a distribution request corresponding to the distribution instruction is sent from the browser control unit 113 to the information management server 80 (step ST220).
  • the screen distribution control unit 103 When the request to distribute the partial image display screen 135 is accepted (step ST150), the screen distribution control unit 103 generates the partial image display screen 135 shown in FIG. 23 etc., and distributes it to the inspector terminal 81 (step ST160).
  • the browser control unit 113 displays the partial image display screen 135 on the display 89B (step ST230).
  • the partial image display screen 135 has a partial index bar 120 and a partial image display area 136. However, the partial image display screen 135 does not have a display area for the long image 55.
  • the partial image display area 136 displays a partial image 137 that is a part of the long image 55.
  • the partial index bar 120 displays a shooting position mark 145 that indicates the shooting position in the tunnel 10 of the partial image 137 being displayed in the partial image display area 136.
  • the captured image 51 is input to the crack extraction model 96 in the extraction unit 102, and an extracted image 110 is output from the crack extraction model 96.
  • extracted image information 105 is generated, which is information on the extracted images 110 of all captured images 51.
  • the extracted image information 105 is output from the extraction unit 102 to the screen delivery control unit 103.
  • the extracted image 110 is displayed superimposed on the partial image 137 in the partial image display area 136.
  • a display window 166 is displayed that shows the position of the specified object to be measured in the tunnel 10 and the actual dimensions of the specified object to be measured.
  • the CPU 87B of the inspector terminal 81 includes a browser control unit 113.
  • the browser control unit 113 controls the display of the partial image display screen 135 on the display 89B.
  • the partial image display screen 135 includes a partial index bar 120 and a partial image display area 136.
  • the partial image display area 136 displays a partial image 137.
  • the partial image 137 is an image obtained by photographing the tunnel 10 extending in the length direction LD with the photographing device 12, and is a part of the long image 55 whose long side direction is along the length direction LD.
  • the partial index bar 120 extends along the length direction LD, and indicates at least a part of the distance range of the tunnel 10 in the length direction LD.
  • the partial index bar 120 displays a photographing position mark 145 indicating the photographing position in the tunnel 10 of the partial image 137 being displayed in the partial image display area 136.
  • the photographing position mark 145 allows the inspector UI to recognize which part of the tunnel 10 was photographed with the partial image 137 being displayed in the partial image display area 136. This makes it possible to prevent problems such as being unable to identify the position of the tunnel 10 where a defect such as a crack 111 has occurred.
  • the partial image display screen 135 only has the partial index bar 120 and the partial image display area 136 as described above. This makes the screen configuration very simple. If a display area for the long image 55 were provided, a large space would be required, but the partial index bar 120 does not require as much space as the long image 55. Also, if the length of a structure is very long, such as the tunnel 10 in this example, it is difficult to display it using the long image 55, but the partial index bar 120 can display it even if the structure is long. Therefore, according to the technology disclosed herein, it is possible to have the inspector UI recognize, with a simple screen configuration, which part of the tunnel 10 the partial image 137 being displayed in the partial image display area 136 was captured from.
  • the browser control unit 113 accepts a position specification for any position on the partial index bar 120.
  • the browser control unit 113 displays a partial image 137 in the partial image display area 136, where the specified position corresponds to the shooting position. This allows the inspector UI to instantly display the desired partial image 137 with a simple operation, facilitating inspection of the long image 55.
  • the inspector terminal 81 can display an overall index bar 118 that indicates a wider distance range than the distance range of the partial index bar 120, and that indicates to which position within the distance range of the overall index bar 118 the currently displayed partial index bar 120 corresponds. This makes it possible for the inspector UI to recognize the position corresponding to the currently displayed partial index bar 120.
  • the distance range indicated by the overall index bar 118 is the entire distance range in the length direction LD of the tunnel 10. This makes it possible for the inspector UI to recognize which position in the entire distance range in the length direction LD of the tunnel 10 the partial index bar 120 being displayed corresponds to. Note that the distance range indicated by the overall index bar 118 does not necessarily have to be the entire distance range in the length direction LD of the tunnel 10. For example, half of the distance range in the length direction LD of the tunnel 10 may be indicated by the overall index bar 118.
  • the inspector terminal 81 is capable of enlarging and displaying a partial image 137 in the partial image display area 136. It is also possible to display an auxiliary window 139 that includes a frame 160 that indicates which position on the partial image 137 the enlarged portion corresponds to. This allows the inspector UI to recognize which part of the partial image 137 is being enlarged.
  • the partial image display screen 135 is provided with display switch buttons 159A and 159B for inputting an instruction to switch the partial image 137 being displayed in the partial image display area 136 to the partial image 137 adjacent to the partial image 137 being displayed in the partial image display area 136.
  • This allows the display of the partial image 137 in the partial image display area 136 to be instantly switched with a simple operation, facilitating inspection of the long image 55.
  • the inspector terminal 81 can display, in the partial index bar 120, attention point marks such as the designated point mark 126 at the time of shooting, which indicates attention points in the long image 55. This allows the inspector UI to recognize where the attention points are in the long image 55. Since attention points are points that the inspector UI should inspect with priority and focus, inspection of the long image 55 can be made more efficient if the inspector UI can recognize where the attention points are.
  • the points of interest include the points specified by the user, the photographer UP or the inspector UI, and the points where the crack 111, which is the specific subject, is located. Therefore, the inspector UI can be made to recognize where the points specified by the photographer UP or the inspector UI and the points where the crack 111 is located are located.
  • the inspector terminal 81 can display text memos made by the photographer UP or inspector UI in association with a location specified by the photographer UP or inspector UI. This allows the inspector UI to easily check the text memos.
  • the location specified by the user is the location specified by the photographer UP of the long image 55 when the long image 55 was photographed, and the location specified by the inspector UI of the long image 55 when inspecting the long image 55. Therefore, it is possible to cause the inspector UI to recognize where the location is located that was specified by the photographer UP of the long image 55 when the long image 55 was photographed, and the location that was specified by the inspector UI of the long image 55 when inspecting the long image 55.
  • the inspector terminal 81 can display a displayed mark 146 indicating the location where the partial image 137 is displayed, making it possible to distinguish between locations where the partial image 137 is displayed and locations where it is not displayed in the partial index bar 120. This allows the inspector UI to recognize locations that have been inspected by displaying the partial image 137 and locations that have not. This can eliminate the double work of inspecting a location that has already been inspected without realizing it.
  • the browser control unit 113 accepts the specification of the measurement target in the partial image 137.
  • the browser control unit 113 displays the position of the measurement target in the tunnel 10 and the actual dimensions of the measurement target in response to the specification. This allows the inspector UI to easily know the position of the measurement target in the tunnel 10 and the actual dimensions of the measurement target. Note that it is not limited to displaying both the position of the measurement target in the tunnel 10 and the actual dimensions of the measurement target, and it is sufficient to display at least one of these.
  • the long image 55 is an image obtained by synthesizing multiple captured images 51 obtained by capturing images of different parts of the tunnel 10 multiple times with the camera 12, at least along the length direction LD of the length direction LD and the circumferential direction CD that intersects (is perpendicular to) the length direction LD. Therefore, the long image 55 is an image that captures at least different parts along the length direction LD of the inner wall surface 11 of the tunnel 10, and is an image that is suitable for comprehensively inspecting the inner wall surface 11 of the tunnel 10 along the length direction LD.
  • intersecting refers to the first direction and the second direction intersecting at a certain angle, and includes other than the "perpendicular" of the illustrated length direction LD and circumferential direction CD.
  • the multiple captured images 51 are images obtained by capturing images of the inner wall surface 11 of the tunnel 10 at multiple different positions in the length direction LD while moving the imaging device 12 along the length direction LD. Therefore, multiple captured images 51 capturing different locations along the length direction LD of the inner wall surface 11 of the tunnel 10 can be easily obtained.
  • the photographing device 12 has multiple cameras 27 arranged along the circumferential direction CD.
  • the multiple photographed images 51 are images obtained by photographing the tunnel 10 with the multiple cameras 27 arranged along the circumferential direction CD. Therefore, it is possible to easily obtain multiple photographed images 51 that capture different locations along the circumferential direction CD of the inner wall surface 11 of the tunnel 10.
  • the photographing device 12 has multiple cameras 27 arranged along the length direction LD.
  • the multiple photographed images 51 are images obtained by photographing the tunnel 10 with the multiple cameras 27 arranged along the length direction LD. Therefore, it is possible to easily obtain multiple photographed images 51 that capture different locations along the length direction LD of the inner wall surface 11 of the tunnel 10.
  • the photographing device 12 has multiple cameras 27 arranged along the circumferential direction CD.
  • the multiple photographed images 51 are images obtained by photographing the tunnel 10 with the multiple cameras 27 while moving the photographing device 12 along the length direction LD.
  • the long image 55 is an image obtained by combining the multiple photographed images 51 along the length direction LD and the circumferential direction CD. For this reason, multiple photographed images 51 showing different locations along the length direction LD and the circumferential direction CD of the inner wall surface 11 of the tunnel 10 can be easily obtained.
  • the long image 55 is an image showing different locations along the length direction LD and the circumferential direction CD of the inner wall surface 11 of the tunnel 10, and is an image suitable for comprehensively inspecting the inner wall surface 11 of the tunnel 10 along the length direction LD and the circumferential direction CD.
  • the structure is a tunnel 10, the first direction is the longitudinal direction LD connecting the entrance 13 and exit 14 of the tunnel 10, and the second direction is the circumferential direction CD of the tunnel 10. This allows the inner wall surface 11 of the tunnel 10 to be comprehensively inspected.
  • the inspection designated location mark 127 may be displayed not only at locations previously designated by an inspector UI, but also at locations designated by an inspector UI viewing the partial image display screen 135.
  • the partial image 137 displayed in the partial image display area 136 may be an image in a distance range of a preset distance range, such as 50 m, with some margin, such as ⁇ 10 m.
  • the adjacent partial images 137 whose display is switched in response to the selection of the display switching buttons 159A and 159B are also images in a distance range with some margin.
  • the display switching button 159B is selected while a partial image 137 in a distance range of 190 m to 260 m (a distance range of 200 m to 250 m without a margin) is displayed in the partial image display area 136, the display is switched to a partial image 137 in a distance range of 240 m to 310 m (a distance range of 250 m to 300 m without a margin).
  • the partial image 137 in the distance range of 240 m to 310 m is an example of an "adjacent partial image" according to the technology disclosed herein.
  • the method of distinguishing between the areas where partial image 137 is displayed and the areas where it is not displayed is not limited to the illustrated displayed mark 146.
  • the areas of the partial index bar 120 where partial image 137 is displayed may be displayed in at least one of a brightness, color, and pattern that differs from the areas where it is not displayed, to distinguish between them.
  • This display method also allows the inspector UI to recognize the areas that have been inspected by displaying partial image 137 and the areas that have not, eliminating the need to inspect areas that have already been inspected again without realizing it.
  • the mark 126 for the location designated during photography, the mark 127 for the location designated during inspection, the mark 128 for the location of cracks, and the mark 146 for the location already displayed may be displayed not only on the partial index bar 120 but also on the overall index bar 118.
  • the memo recorded in association with the location specified by the photographer UP is not limited to the text memo shown in the example.
  • a voice memo may be recorded instead of a text memo, as shown in the designated location information 170 at the time of shooting in FIG. 36.
  • the designated location mark 126 at the time of shooting on the partial index bar 120 is selected, a voice memo is played and displayed from the speaker.
  • the memo recorded in association with the location specified by the inspector UI may also be a voice memo.
  • the memo recorded in association with the location specified by the photographer UP or inspector UI may be at least one of a text memo and a voice memo.
  • the specific subject to be extracted is not limited to the crack 111 shown in the example. Other abnormalities such as peeling, rust, water leakage, or exposed rebar may also be extracted. Multiple types of abnormalities may be extracted, and the extracted images of the multiple types of abnormalities may be selectively superimposed on the partial image 137 in response to the operation of the superimposition/unsuperimposition button 157. Furthermore, the specific subject to be extracted is not limited to abnormalities. It may also be lighting fixtures, ventilation openings, etc. arranged at regular intervals in the tunnel 10.
  • the structure is not limited to the tunnel 10. It may be a dam, a bridge, a levee, or a public facility.
  • the imaging device 12 may also be an aircraft such as a drone.
  • the width direction of the levee body is the first direction
  • the height direction is the second direction.
  • the length direction of the bridge girder is the first direction
  • the height direction is the second direction.
  • the hardware configuration of the computer that constitutes the information management server 80 can be modified in various ways.
  • the information management server 80 can be configured with multiple computers separated as hardware in order to improve processing power and reliability.
  • the functions of the acquisition unit 100 and RW control unit 101, and the functions of the extraction unit 102 and screen distribution control unit 103 are distributed and carried out by two server computers.
  • the information management server 80 is made up of two server computers.
  • some or all of the functions of the information management server 80 may be carried out by the inspector terminal 81.
  • the hardware configuration of the computer can be changed as appropriate according to the required performance such as processing power, safety, and reliability.
  • APs such as the operating program 95 can of course be duplicated or stored in a distributed manner across multiple storage devices in order to ensure safety and reliability.
  • the location and operator of the information management server 80 may be a data center operated by a company other than the structure inspection company, or it may be one of multiple inspection companies.
  • the hardware structure of the processing unit that executes various processes such as the acquisition unit 100, RW control unit 101, extraction unit 102, screen delivery control unit 103, and browser control unit 113 can use the various processors shown below.
  • the various processors include the CPUs 87A and 87B, which are general-purpose processors that execute software (operation program 95 and inspection AP 112) and function as various processing units as described above, as well as programmable logic devices (Programmable Logic Devices: PLDs), which are processors whose circuit configuration can be changed after manufacture such as FPGAs (Field Programmable Gate Arrays), and dedicated electric circuits, which are processors having a circuit configuration designed specifically to execute specific processes such as ASICs (Application Specific Integrated Circuits), etc.
  • PLDs programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • dedicated electric circuits which are processors having a circuit configuration designed specifically to execute specific processes such as ASICs (Application Specific Integrated Circuits), etc.
  • a single processing unit may be configured with one of these various processors, or may be configured with a combination of two or more processors of the same or different types (e.g., a combination of multiple FPGAs and/or a combination of a CPU and an FPGA). Also, multiple processing units may be configured with a single processor.
  • Examples of configuring multiple processing units with a single processor include, first, a form in which one processor is configured with a combination of one or more CPUs and software, as typified by client and server computers, and this processor functions as multiple processing units. Second, a form in which a processor is used to realize the functions of the entire system, including multiple processing units, with a single IC (Integrated Circuit) chip, as typified by system-on-chip (SoC). In this way, the various processing units are configured as a hardware structure using one or more of the various processors listed above.
  • SoC system-on-chip
  • the hardware structure of these various processors can be an electrical circuit that combines circuit elements such as semiconductor elements.
  • a processor is provided.
  • the processor a display area of a partial image that is a part of a long image obtained by photographing a structure extending in a first direction with a photographing device and whose long side direction is along the first direction; a first index bar extending along the first direction and indicating a first distance range that is at least a part of a distance range of the structure in the first direction, the first index bar indicating a shooting position mark indicating a shooting position of the partial image being displayed in the display area in the structure; Controlling to display a display screen having the display Image display device.
  • the processor Accepting a position designation of an arbitrary position of the first index bar; 2.
  • the image display device according to claim 1, wherein the partial image, the designated position of which corresponds to the shooting position, is displayed in the display area.
  • An image display device as described in appendix 1 or 2 which is capable of displaying a second index bar indicating a second distance range wider than the first distance range, the second index bar indicating to which position within the second distance range the first index bar being displayed corresponds.
  • the image display device according to claim 3, wherein the second distance range is the entire distance range of the structure in the first direction.
  • the partial image can be enlarged and displayed; 5.
  • the image display device according to claim 1, further comprising a window that indicates a position of the partial image corresponding to the enlarged portion.
  • the image display device which is capable of displaying a text memo or a voice memo input by the user in association with the portion of interest.
  • the first index bar is capable of displaying areas where the partial image is displayed and areas where the partial image is not displayed in a distinguishable manner.
  • [Additional Item 15] The image display device described in any one of Appendix 1 to Appendix 14, wherein the long image is an image obtained by synthesizing multiple captured images obtained by photographing different parts of the structure multiple times with the photographing device along at least the first direction among the first direction and a second direction intersecting the first direction.
  • [Additional Item 16] The image display device described in Appendix 15, wherein the multiple captured images are images obtained by photographing the structure at multiple different positions in the first direction while moving the imaging device along the first direction.
  • the imaging device has a plurality of cameras arranged along the second direction, 17.
  • the image display device according to claim 15, wherein the plurality of captured images are images obtained by capturing images of the structure with the plurality of cameras.
  • the imaging device has a plurality of cameras arranged along the first direction, 18.
  • the plurality of captured images are images obtained by photographing the structure with the plurality of cameras.
  • the imaging device has a plurality of cameras arranged along the second direction, the plurality of photographed images are images obtained by photographing the structure with the plurality of cameras while moving the photographing device along the first direction, 19.
  • the image display device according to any one of supplementary items 15 to 18, wherein the elongated image is an image obtained by synthesizing the plurality of captured images along the first direction and the second direction.
  • the structure is a tunnel;
  • the first direction is a longitudinal direction connecting an entrance and an exit of the tunnel, 20.
  • the image display device according to any one of claims 15 to 19, wherein the second direction is a circumferential direction of the tunnel.
  • a and/or B is synonymous with “at least one of A and B.”
  • a and/or B means that it may be just A, or just B, or a combination of A and B.
  • the same idea as “A and/or B” is also applied when three or more things are linked together with “and/or.”

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geochemistry & Mineralogy (AREA)
  • Geology (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

プロセッサを備え、プロセッサは、第1方向に延びる構造物を撮影装置で撮影して得られ、かつ長辺方向が第1方向に沿う長尺画像のうちの一部である部分画像の表示領域と、第1方向に沿って延び、構造物の第1方向の距離範囲のうちの少なくとも一部の第1距離範囲を示す第1インデックスバーであり、表示領域に表示中の部分画像の構造物における撮影位置を示す撮影位置マークが表示された第1インデックスバーと、を有する表示画面をディスプレイに表示する制御を行う、画像表示装置。

Description

画像表示装置、画像表示装置の作動方法、および画像表示装置の作動プログラム
 本開示の技術は、画像表示装置、画像表示装置の作動方法、および画像表示装置の作動プログラムに関する。
 例えば特開2022-056085号公報、特開2022-139903号公報、および特開2017-168077号公報に記載されているように、構造物を撮影装置で撮影して得られた画像から、構造物に生じた変状を抽出する技術が提案されている。構造物は、例えば、ダム、橋梁、あるいはトンネルといったいわゆるインフラストラクチャーである。変状は、例えば、ひび、剥離、錆、漏水、あるいは鉄筋の露出等である。
 特開2022-056085号公報および特開2022-139903号公報等に記載の技術では、ダム、橋梁、あるいはトンネルといった比較的大規模な構造物の場合、例えばトンネルの入口から出口まで等、撮影装置を移動させながら構造物を複数回撮影することで、構造物の全体を網羅した画像を得ている。こうした構造物の全体を網羅した画像は、例えば全長5kmのトンネルの入口から出口までの画像等、非常に長尺となる。
 また、特開2022-056085号公報および特開2022-139903号公報等に記載の技術では、画像を変状の抽出結果等とともにディスプレイに表示し、ユーザの閲覧に供することが行われている。この際に表示される画像は、例えば全長5kmのトンネルのうちの2km~2.05kmといった50mの距離範囲の画像等、構造物の全体を網羅した画像のうちの一部である。
 上記のような画像の表示形態の場合、ユーザは、表示されている画像が構造物のどこを撮影した画像なのかが分からなくなることがしばしばあった。そうすると、変状が発生している構造物の位置を特定することができないといった問題が生じていた。
 特開2017-168077号公報には、構造物の全体を網羅した画像(特開2017-168077号公報ではパノラマ画像と表記)と、構造物の全体を網羅した画像のうちの一部の画像(特開2017-168077号公報では点検画像と表記)とを同一の画面に表示する態様が記載されている。そして、上記問題の解決策として、特開2017-168077号公報では、パノラマ画像に点検画像の枠を表示し、点検画像が構造物のどこを撮影した画像なのかをユーザに認識させている。
 しかしながら、特開2017-168077号公報では、パノラマ画像と点検画像とを同一の画面に表示し、そのうえでパノラマ画像に点検画像の枠を表示しているため、画面構成が雑然としている。
 本開示の技術に係る1つの実施形態は、シンプルな画面構成で、表示されている画像が構造物のどこを撮影した画像なのかをユーザに認識させることが可能な画像表示装置、画像表示装置の作動方法、および画像表示装置の作動プログラムを提供する。
 本開示の画像表示装置は、プロセッサを備え、プロセッサは、第1方向に延びる構造物を撮影装置で撮影して得られ、かつ長辺方向が第1方向に沿う長尺画像のうちの一部である部分画像の表示領域と、第1方向に沿って延び、構造物の第1方向の距離範囲のうちの少なくとも一部の第1距離範囲を示す第1インデックスバーであり、表示領域に表示中の部分画像の構造物における撮影位置を示す撮影位置マークが表示された第1インデックスバーと、を有する表示画面をディスプレイに表示する制御を行う。
 プロセッサは、第1インデックスバーの任意の位置の位置指定を受け付け、位置指定された位置が撮影位置に該当する部分画像を表示領域に表示することが好ましい。
 第1距離範囲よりも広い第2距離範囲を示す第2インデックスバーであり、表示中の第1インデックスバーが第2距離範囲の中のどの位置に対応するかを示す第2インデックスバーを表示することが可能であることが好ましい。
 第2距離範囲は、構造物の第1方向の距離範囲の全体であることが好ましい。
 表示領域において、部分画像は拡大表示することが可能であり、拡大表示している部分が部分画像のどの位置に対応するかを示す補助ウィンドウを表示することが可能であることが好ましい。
 表示領域に表示中の部分画像を、表示領域に表示中の部分画像に隣接する部分画像に切り替える指示を入力するための操作部が、表示画面に設けられていることが好ましい。
 長尺画像の注目箇所を示す注目箇所マークを、第1インデックスバーに表示することが可能であることが好ましい。
 注目箇所は、ユーザが指定した箇所、および特定被写体が存在する箇所のうちの少なくとも1つを含むことが好ましい。
 ユーザにより入力されたテキストメモまたはボイスメモを注目箇所と関連付けて表示することが可能であることが好ましい。
 ユーザが指定した箇所は、長尺画像の撮影者が長尺画像の撮影時に指定した箇所、および長尺画像の点検者が長尺画像の点検時に指定した箇所のうちの少なくとも1つであることが好ましい。
 第1インデックスバーにおいて、部分画像を表示した箇所と表示していない箇所とを区別して表示することが可能であることが好ましい。
 第1インデックスバーにおいて、部分画像を表示した箇所を示す表示済みマークを表示することで、部分画像を表示した箇所と表示していない箇所とを区別して表示することが好ましい。
 第1インデックスバーの明るさ、色、および模様のうちの少なくとも1つを変更することで、部分画像を表示した箇所と表示していない箇所とを区別して表示することが好ましい。
 プロセッサは、部分画像内の測定対象の指定を受け付け、指定に応じて、測定対象の構造物における位置、および測定対象の実寸のうちの少なくとも1つを表示することが好ましい。
 長尺画像は、構造物の異なる箇所を撮影装置で複数回撮影することで得られた複数の撮影画像を、第1方向および第1方向と交差する第2方向のうちの、少なくとも第1方向に沿って合成した画像であることが好ましい。
 複数の撮影画像は、撮影装置を第1方向に沿って移動させながら、構造物を第1方向における異なる複数の位置で撮影することにより得られた画像であることが好ましい。
 撮影装置は、第2方向に沿って配された複数のカメラを有し、複数の撮影画像は、複数のカメラで構造物を撮影することで得られた画像であることが好ましい。また、撮影装置は、第1方向に沿って配された複数のカメラを有し、複数の撮影画像は、複数のカメラで構造物を撮影することで得られた画像であることが好ましい。
 撮影装置は、第2方向に沿って配された複数のカメラを有し、複数の撮影画像は、撮影装置を第1方向に沿って移動させながら、複数のカメラで構造物を撮影することで得られた画像であり、長尺画像は、複数の撮影画像を、第1方向および第2方向に沿って合成した画像である。
 構造物はトンネルであり、第1方向は、トンネルの入口と出口を結ぶ長さ方向であり、第2方向は、トンネルの周方向であることが好ましい。
 本開示の画像表示装置の作動方法は、第1方向に延びる構造物を撮影装置で撮影して得られ、かつ長辺方向が第1方向に沿う長尺画像のうちの一部である部分画像の表示領域と、第1方向に沿って延び、構造物の第1方向の距離範囲のうちの少なくとも一部の第1距離範囲を示す第1インデックスバーであり、表示領域に表示中の部分画像の構造物における撮影位置を示す撮影位置マークが表示された第1インデックスバーと、を有する表示画面をディスプレイに表示する制御を行うこと、を含む。
 本開示の画像表示装置の作動プログラムは、第1方向に延びる構造物を撮影装置で撮影して得られ、かつ長辺方向が第1方向に沿う長尺画像のうちの一部である部分画像の表示領域と、第1方向に沿って延び、構造物の第1方向の距離範囲のうちの少なくとも一部の第1距離範囲を示す第1インデックスバーであり、表示領域に表示中の部分画像の構造物における撮影位置を示す撮影位置マークが表示された第1インデックスバーと、を有する表示画面をディスプレイに表示する制御を行うこと、を含む処理をコンピュータに実行させる。
 本開示の技術によれば、シンプルな画面構成で、表示されている画像が構造物のどこを撮影した画像なのかをユーザに認識させることが可能な画像表示装置、画像表示装置の作動方法、および画像表示装置の作動プログラムを提供することができる。
撮影装置を用いてトンネルの内壁面を撮影している様子を示す図である。 撮影装置の側面図である。 撮影装置本体の斜視図である。 撮影装置本体の側面図である。 第1撮影ユニットと第2撮影ユニットの撮影領域を示す図である。 長尺画像の成り立ちを説明するための図である。 撮影画像情報を示す図である。 操作画面を示す図である。 箇所指定ボタンが選択された場合の操作画面を示す図である。 撮影時指定箇所情報を示す図である。 撮影装置、情報管理サーバ、点検者端末、および撮影装置から情報管理サーバに送信する情報を示す図である。 情報管理サーバおよび点検者端末を構成するコンピュータのブロック図である。 情報管理サーバのCPUの処理部を示すブロック図である。 点検時指定箇所情報を示す図である。 抽出部の処理を示す図である。 抽出画像情報を示す図である。 点検者端末のCPUの処理部を示すブロック図である。 俯瞰画面を示す図である。 俯瞰画面を示す図である。 俯瞰画面の部分インデックスバーを示す図である。 テキストメモを撮影時指定箇所マークと関連付けて表示する様子を示す図である。 テキストメモを点検時指定箇所マークと関連付けて表示する様子を示す図である。 部分画像表示画面を示す図である。 部分画像表示画面の部分インデックスバーを示す図である。 部分インデックスバーの任意の位置の位置指定を受け付け、位置指定を受け付けた位置が撮影位置に該当する部分画像を表示領域に表示する処理を示す図である。 操作ボタン群を示す図である。 部分画像を拡大表示した場合を示す図である。 部分画像に抽出画像を重畳表示した場合を示す図である。 部分画像内で指定された測定対象の位置および実寸を表示する様子を示す図である。 部分画像内で指定された測定対象の位置および実寸を表示する様子を示す図である。 表示領域に表示中の部分画像を、表示領域に表示中の部分画像に隣接する部分画像に切り替える処理を示す図である。 表示領域に表示中の部分画像を、表示領域に表示中の部分画像に隣接する部分画像に切り替える処理を示す図である。 情報管理サーバおよび点検者端末の処理手順を示すフローチャートである。 部分画像を表示した箇所と表示していない箇所とを区別して表示する別の例を示す図である。 全体インデックスバーに撮影時指定箇所マーク等を表示した例を示す図である。 撮影時指定箇所情報の別の例を示す図である。
 図1は、トンネル10の周方向CDに沿う内壁面11を、撮影装置12を用いて撮影者UPが撮影している様子を示す。トンネル10は入口13および出口14を有し、入口13と出口14を結ぶ長さ方向LDに延びている。入口13から出口14までの長さ、すなわちトンネル10の全長は、例えば10000mである。撮影者UPは、入口13から出口14まで、例えば路面15の中央線に沿って撮影装置12を移動させることで、撮影装置12を長さ方向LDに沿って移動させる。トンネル10は、本開示の技術に係る「構造物」の一例である。長さ方向LDは、本開示の技術に係る「第1方向」の一例である。周方向CDは、本開示の技術に係る「第2方向」の一例である。撮影者UPは、本開示の技術に係る「ユーザ」の一例である。
 一例として図2に示すように、撮影装置12は、撮影装置本体20と、撮影装置本体20が搭載された台車21とで構成される。撮影装置本体20は、図3および図4にも示すように、台座22と、第1支柱231および第2支柱232と、第1取付板241および第2取付板242と、第1撮影ユニット251および第2撮影ユニット252とを有する。
 台座22は矩形板状をしており、台車21にネジ止め等により取り付けられる。第1支柱231および第2支柱232は、台座22から垂直方向に延びる角柱である。第1取付板241および第2取付板242は円板状をしており、その中心が第1支柱231および第2支柱232の台座22とは反対側の端部に固定されている。
 第1取付板241には、第1取付具261を介して4つの第1撮影ユニット251が取り付けられている。また、第2取付板242には、第2取付具262を介して5つの第2撮影ユニット252が取り付けられている。つまり、撮影装置本体20は計9つの撮影ユニット25を有する。
 第1取付板241および第2取付板242の下部の角度を0°として、そこから時計回りに第1取付板241および第2取付板242の左側部の角度を90°、上部の角度を180°、右側部の角度を270°とした場合(図4参照)、第1撮影ユニット251は、90°、150°、210°および270°の位置に配されている。また、第2撮影ユニット252は、60°、120°、180°、240°、および300°の位置に配されている。つまり、第1撮影ユニット251および第2撮影ユニット252は、いずれも60°の角度間隔で配されている。また、第1撮影ユニット251および第2撮影ユニット252を合わせた計9つの撮影ユニット25は、30°の角度間隔で配されている。なお、撮影ユニット25の数は例示の9つに限らない。撮影ユニット25は1つでもよいし、9つよりも多くてもよい。
 第1撮影ユニット251および第2撮影ユニット252は、1台のカメラ27と、カメラ27を挟んで対称な位置に配された2台の照明灯28とで構成される。カメラ27は、例えば2000万画素以上の撮像素子を搭載し、被写体までの距離を測定する測距機能、ぶれを補正するぶれ補正機能等を備えた高性能一眼レフカメラである。照明灯28は、例えばカメラ27の撮影画角を超える配光角を有するLED(Light-Emitting Diode)である。
 撮影装置本体20が台車21に搭載された場合、第1支柱231および第1取付板241、ひいては第1撮影ユニット251は、台車21の進行方向の前側に位置する。また、第2支柱232および第2取付板242、ひいては第2撮影ユニット252は、台車21の進行方向の後ろ側に位置する。このため、第1撮影ユニット251および第2撮影ユニット252のカメラ27は、台車21の進行方向に沿って配されている。台車21の進行方向は、図1で示したようにトンネル10の長さ方向LDに沿う。このためカメラ27は長さ方向LDに沿って配されているといえる。また、カメラ27は円板状の第1取付板241および第2取付板242を囲むように取り付けられており、第1取付板241および第2取付板242の法線方向が長さ方向LDに沿うように台車21が走行される。これらのことから、カメラ27は周方向CDに沿って配されているともいえる。なお、長さ方向LDに沿って3台以上のカメラ27を配してもよい。また、長さ方向LDに沿って複数台のカメラ27を配さなくてもよい。同様に、周方向CDに沿って複数台のカメラ27を配さなくてもよい。例えば1台のカメラ27を周方向CDに沿って移動させながら、周方向CDについて複数回撮影してもよい。
 図2において、台車21は、台車本体35、前輪36、後輪37、およびハンドル38等を有する。台車本体35は箱状をしている。台車本体35の水平面と平行な天板部分に、撮影装置本体20が取り付けられる。
 前輪36および後輪37は、台車本体35の下部の左右に1つずつ配されている。台車21は、前輪36および後輪37によって路面15を走行する。後輪37は、後輪駆動部39によって回転駆動する。前輪36は後輪37の回転に従動して回転する。すなわち、台車21は4輪で、かつ後輪駆動型である。
 後輪駆動部39は、左右それぞれの後輪37に接続された2つのモータである。2つのモータは、左右の後輪37をそれぞれ独立に回転させる。このため、右側の後輪37に接続されたモータによって、左側の後輪37よりも右側の後輪37の回転速度が速められた場合、台車21は左に曲がる。一方、左側の後輪37に接続されたモータによって、右側の後輪37よりも左側の後輪37の回転速度が速められた場合、台車21は右に曲がる。
 ハンドル38は、台車本体35の後面上部に取り付けられている。ハンドル38は、台車本体35の幅方向に長い円柱状をしている。ハンドル38は、台車21を操縦するために撮影者UPにより把持される。換言すれば、台車21は、撮影者UPのハンドル38の操作によって路面15を走行する。ここで、撮影者UPのハンドル38の操作とは、撮影者UPがハンドル38を把持して、ハンドル38への力の入れ方を変えたり、ハンドル38に力を入れる向きを調節したりする操作である。このように、撮影装置12においては、ハンドル38の操作によって、撮影者UPが主体的に走行速度および走行方向を定めて台車21を走行させる。
 撮影者UPのハンドル38の操作に応じて後輪駆動部39も駆動する。ただし、この後輪駆動部39の駆動は、あくまでも撮影者UPがハンドル38を介して台車21に与えた力にしたがった駆動である。このため、撮影者UPの力が加わらなければ、当然ながら台車21は走行しない。逆に、撮影者UPの力だけでは台車21は走行せず、後輪駆動部39のアシストがあってはじめて台車21が走行する。撮影者UPが台車21に与えた力は、例えば圧電センサ(図示省略)を用いて検出され、この検出結果に応じて後輪駆動部39が駆動される。なお、撮影者UPが台車21に乗って操縦してもよい。また、撮影者UPの手を借りずに台車21を自動走行させてもよい。
 後輪37の裏面には、周方向に沿って等角度に複数の磁性体40が取り付けられている。また、磁性体40と対向する台車本体35の位置には、磁気センサ41が設けられている。磁気センサ41は磁性体40が発する磁気を検出する。後輪37が回転すると、時間軸に沿って、磁性体40の磁気に応じたパルスPLが磁気センサ41から出力される。このパルスPLの数、後輪37の円周、および磁性体40の配置間隔等に基づいて、台車21、ひいては撮影装置12の移動距離を導出することができる。
 台車本体35の後輪37側の傾斜面には、タブレット端末42が取り付けられている。タブレット端末42は台車本体35から取り外し可能である。タブレット端末42は撮影者UPにより操作される。なお、タブレット端末42は、他の用途に使用可能な市販のものでもよいし、撮影装置12以外では使用することができないものでもよい。
 一例として図5に示すように、第1撮影ユニット251のカメラ27は、内壁面11を9等分した9つの矩形状の領域のうちの、1つずつ間を空けた4つの領域(以下、第1撮影領域と表記する)501を撮影する。第2撮影ユニット252のカメラ27は、内壁面11を9等分した9つの矩形状の領域のうちの、1つずつ間を空けた5つの領域(以下、第2撮影領域と表記する)502を撮影する。
 第1撮影領域501および第2撮影領域502はいずれも、短辺方向が長さ方向LDに沿い、長辺方向が周方向CDに沿う。図4で示したように、第1撮影ユニット251および第2撮影ユニット252の周方向CDにおける配置位相が異なるため、第1撮影領域501および第2撮影領域502の配置は千鳥格子状となる。第1撮影領域501および第2撮影領域502は、本開示の技術に係る「構造物の異なる箇所」の一例である。なお、図5では表現していないが、第1撮影領域501および第2撮影領域502は、長さ方向LDおよび周方向CDに多少オーバーラップしている。また、図5においては、紙面の奥から手前に向かう方向が台車21の進行方向である。
 撮影装置12は長さ方向LDに沿って移動され、その移動の過程で、第1撮影ユニット251のカメラ27により第1撮影領域501を、第2撮影ユニット252のカメラ27により第2撮影領域502を、それぞれ次々に撮影する。このため、一例として図6に示すように、第1撮影領域501を撮影した複数の第1撮影画像511、および第2撮影領域502を撮影した複数の第2撮影画像512が得られる。
 こうして得られた複数の第1撮影画像511および複数の第2撮影画像512を、オーバーラップ部分に基づいて位置合わせして長さ方向LDおよび周方向CDに沿って合成することで、内壁面11の全面を網羅した長尺画像55を生成することができる。長尺画像55は、長辺方向が長さ方向LDに沿い、短辺方向が周方向CDに沿う。なお、A1~A9等の符号は、第1撮影画像511および第2撮影画像512の内壁面11における実際の位置と、長尺画像55における位置との対応関係を示す。A1~A9等の符号のうちの1~9は、内壁面11を9等分した9つの領域に順に付した数字である。偶数の2、4、6、8が第1撮影画像511、奇数の1、3、5、7、9が第2撮影画像512である。また、図6においても図5と同様に、紙面の奥から手前に向かう方向が台車21の進行方向である。以下では、第1撮影画像511および第2撮影画像512をまとめて撮影画像51と表記する場合がある。
 一例として図7に示すように、撮影装置12は、複数の撮影画像51の情報である撮影画像情報60を生成する。撮影画像情報60は、撮影画像51を一意に識別するための画像ID(Identification Data)毎に、撮影画像51自体、撮影画像51の撮影日時、周方向CDにおける撮影画像51の撮影位置(図7では周方向位置と表記)、および長さ方向LDにおける撮影画像51の撮影位置(図7では長さ方向位置と表記)等が登録された情報である。周方向CDにおける撮影位置には、図6で示したA1~A9等の符号のうちの数字の1~9のいずれかが登録される。長さ方向LDにおける撮影位置には、パルスPLの数等に基づいて導出した撮影装置12の移動距離が登録される。なお、撮影画像情報60には、測距機能で測定したカメラ27から被写体(ここでは内壁面11)までの距離、撮影倍率、焦点距離、および撮像素子の画素数等、撮影画像51に関する基本的な情報も登録されている。
 タブレット端末42のタッチパネルディスプレイ(図示省略)には、一例として図8に示す操作画面65が表示される。操作画面65には、撮影開始地点であるトンネル10の入口13から現在位置までの距離を撮影者UPに報せるメッセージ66が表示される。また、操作画面65には、撮影開始ボタン67、一時停止ボタン68、撮影終了ボタン69、および箇所指定ボタン70が設けられている。
 撮影開始ボタン67は、撮影者UPが撮影装置12に撮影画像51の撮影開始の指示を行うためのボタンである。撮影者UPは、例えばトンネル10の入口13において撮影開始ボタン67を選択する。撮影開始ボタン67が選択された場合、照明灯28が点灯され、カメラ27による撮影画像51の撮影が開始される。また、磁気センサ41から出力されるパルスPLの計数も開始され、撮影装置12の移動距離が導出される。
 一時停止ボタン68は、撮影者UPが撮影装置12に撮影画像51の撮影の一時停止および再開の指示を行うためのボタンである。撮影中に一時停止ボタン68が選択された場合、カメラ27による撮影画像51の撮影が一時停止される。この状態で再度一時停止ボタン68が選択された場合、カメラ27による撮影画像51の撮影が再開される。
 撮影終了ボタン69は、撮影者UPが撮影装置12に撮影画像51の撮影終了の指示を行うためのボタンである。撮影者UPは、例えばトンネル10の出口14において撮影終了ボタン69を選択する。撮影終了ボタン69が選択された場合、照明灯28が消灯され、カメラ27による撮影画像51の撮影が終了される。また、磁気センサ41から出力されるパルスPLの計数も終了される。
 箇所指定ボタン70は、撮影画像51、ひいては長尺画像55の撮影時に、撮影者UPがその後の長尺画像55の点検において精査したほうがよいと考えた箇所を発見した場合に、当該箇所を記録しておく指示を行うためのボタンである。撮影者UPは、長尺画像55の点検において精査したほうがよいと考えられる箇所を発見した場合、まずは撮影装置12の走行を停止する。そして、一時停止ボタン68を選択してカメラ27による撮影画像51の撮影を一時停止させた後、箇所指定ボタン70を選択する。箇所指定ボタン70が選択された場合、操作画面65は図9に示すように遷移する。
 一例として図9に示すように、箇所指定ボタン70が選択された場合の操作画面65には、入力ボックス71、第1記録ボタン721、および第2記録ボタン722が設けられる。入力ボックス71には、指定した箇所に関するテキストメモが撮影者UPにより入力される。第1記録ボタン721は、テキストメモおよび箇所を関連付けて記録する指示を行うためのボタンである。第2記録ボタン722は、テキストメモは記録せずに箇所のみを記録する指示を行うためボタンである。このように、箇所は、テキストメモを添えて記録することもできるし、テキストメモなしで記録することもできる。
 一例として図10に示すように、撮影装置12は撮影時指定箇所情報75を生成する。撮影時指定箇所情報75は、箇所を一意に識別するための箇所ID毎に、箇所を指定した日時、長さ方向LDにおける箇所の指定位置(図10においては長さ方向位置と表記)、およびテキストメモ等が登録された情報である。長さ方向LDにおける箇所の指定位置には、長さ方向LDにおける撮影画像51の撮影位置と同じく、パルスPLの数等に基づいて導出した撮影装置12の移動距離が登録される。なお、撮影者UPが指定した箇所は、本開示の技術に係る「ユーザが指定した箇所」および「注目箇所」の一例である。
 一例として図11に示すように、撮影装置12は、インターネットまたは公衆通信網等のWAN(Wide Area Network)を通じて、情報管理サーバ80と相互通信可能に接続される。情報管理サーバ80は、例えばサーバコンピュータである。情報管理サーバ80は、撮影装置12から撮影画像情報60および撮影時指定箇所情報75を受信する。
 情報管理サーバ80はさらに、インターネットまたは公衆通信網等のWANを通じて、点検者端末81と相互通信可能に接続される。点検者端末81は、デスクトップ型のパーソナルコンピュータ、ノート型のパーソナルコンピュータ、あるいはタブレット端末である。点検者端末81は長尺画像55の点検者UIにより操作される。点検者端末81は、本開示の技術に係る「画像表示装置」の一例である。点検者UIは、本開示の技術に係る「ユーザ」の一例である。なお、図11においては点検者端末81が1台しか描かれていないが、実際には、複数台の点検者端末81が情報管理サーバ80に接続されている。なお、点検者端末81は、他の用途に使用可能な市販のものでもよいし、画像表示装置の用途以外では使用することができないものでもよい。
 一例として図12に示すように、情報管理サーバ80および点検者端末81を構成するコンピュータは、基本的には同じ構成であり、ストレージ85、メモリ86、CPU(Central Processing Unit)87、通信部88、ディスプレイ89、および入力デバイス90を備えている。これらはバスライン91を介して相互接続されている。
 ストレージ85は、情報管理サーバ80および点検者端末81を構成するコンピュータに内蔵、またはケーブル、ネットワークを通じて接続されたハードディスクドライブである。もしくはストレージ85は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージ85には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム(以下、AP(Application Program)と略す)、およびこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。
 メモリ86は、CPU87が処理を実行するためのワークメモリである。CPU87は、ストレージ85に記憶されたプログラムをメモリ86へロードして、プログラムにしたがった処理を実行する。これによりCPU87はコンピュータの各部を統括的に制御する。CPU87は、本開示の技術に係る「プロセッサ」の一例である。なお、メモリ86は、CPU87に内蔵されていてもよい。
 通信部88は、WAN等を介した各種情報の伝送制御を行うネットワークインターフェースである。ディスプレイ89は各種画面を表示する。各種画面にはGUI(Graphical User Interface)による操作機能が備えられる。情報管理サーバ80および点検者端末81を構成するコンピュータは、各種画面を通じて、入力デバイス90からの操作指示の入力を受け付ける。入力デバイス90は、キーボード、マウス、タッチパネル、および音声入力用のマイク等である。
 なお、以下の説明では、情報管理サーバ80を構成するコンピュータの各部(ストレージ85およびCPU87)には添え字の「A」を、点検者端末81を構成するコンピュータの各部(ストレージ85、CPU87、ディスプレイ89、および入力デバイス90)には添え字の「B」をそれぞれ符号に付して区別する。
 一例として図13に示すように、情報管理サーバ80のストレージ85Aには、作動プログラム95が記憶されている。作動プログラム95は、コンピュータを情報管理サーバ80として機能させるためのAPである。ストレージ85Aには、作動プログラム95に加えて、ひび抽出モデル96、および点検時指定箇所情報97も記憶されている。
 作動プログラム95が起動されると、情報管理サーバ80を構成するコンピュータのCPU87Aは、メモリ86等と協働して、取得部100、リードライト(以下、RW(Read Write)と表記する)制御部101、抽出部102、および画面配信制御部103として機能する。
 取得部100は、撮影装置12からの撮影画像情報60および撮影時指定箇所情報75を取得する。取得部100は、撮影画像情報60および撮影時指定箇所情報75をRW制御部101に出力する。
 RW制御部101は、ストレージ85Aへの各種データの記憶、およびストレージ85Aに記憶された各種データの読み出しを制御する。RW制御部101は、取得部100からの撮影画像情報60および撮影時指定箇所情報75をストレージ85Aに記憶する。RW制御部101は、撮影画像情報60をストレージ85Aから読み出し、読み出した撮影画像情報60を抽出部102および画面配信制御部103に出力する。また、RW制御部101は、撮影時指定箇所情報75および点検時指定箇所情報97をストレージ85Aから読み出し、読み出した撮影時指定箇所情報75および点検時指定箇所情報97を画面配信制御部103に出力する。さらに、RW制御部101は、ひび抽出モデル96をストレージ85Aから読み出し、読み出したひび抽出モデル96を抽出部102に出力する。
 抽出部102は、撮影画像情報60の撮影画像51をひび抽出モデル96に適用し、ひび抽出モデル96からひび111(図15参照)の抽出画像110(図15参照)を出力させる。抽出部102は、全ての撮影画像51について抽出画像110を出力させる。抽出部102は、全ての撮影画像51の抽出画像110の情報である抽出画像情報105を生成する。抽出部102は、抽出画像情報105を画面配信制御部103に出力する。
 画面配信制御部103は、各種画面の生成、および各種画面の点検者端末81への配信を制御する。例えば画面配信制御部103は、撮影画像情報60、撮影時指定箇所情報75、および点検時指定箇所情報97等に基づいて部分画像表示画面135(図23参照)を生成し、生成した部分画像表示画面135を点検者端末81に配信する制御を行う。
 画面配信制御部103は、各種画面を、例えば、XML(Extensible Markup Language)等のマークアップ言語によって作成されるウェブ配信用の画面データの形式で出力する。これにより、点検者端末81では、各種画面をウェブブラウザ上で閲覧することが可能となる。画面配信制御部103は、各種画面の配信要求に登録された、点検者端末を一意に識別する端末IDによって、各種画面の配信先の点検者端末81を特定する。なお、XMLに代えて、JSON(Javascript(登録商標) Object Notation)等の他のデータ記述言語を利用してもよい。
 点検時指定箇所情報97は、過去の長尺画像55の点検時に、点検者UIが経過観察したほうがよいと考えた箇所を発見した場合に、部分画像表示画面135において当該箇所を記録しておく指示を行うことで生成された情報である。一例として図14に示すように、点検時指定箇所情報97は、撮影時指定箇所情報75と同様、箇所を一意に識別するための箇所ID毎に、箇所を指定した日時、長さ方向LDにおける箇所の指定位置(図14においては長さ方向位置と表記)、およびテキストメモ等が登録された情報である。点検者UIが指定した箇所は、撮影者UPが指定した箇所と同じく、テキストメモを添えて記録することもできるし、テキストメモなしで記録することもできる。点検者UIが指定した箇所は、撮影者UPが指定した箇所と同じく、本開示の技術に係る「ユーザが指定した箇所」および「注目箇所」の一例である。
 一例として図15に示すように、抽出部102は、撮影画像51をひび抽出モデル96に入力し、ひび抽出モデル96から抽出画像110を出力させる。抽出画像110は、撮影画像51に写るひび111が、例えば赤色の線で示された画像である。ひび111は、本開示の技術に係る「特定被写体」の一例である。なお、図15では、抽出画像110においてひび111が抽出された例を示しているが、抽出画像110においてひび111が抽出されない場合も当然ある。
 ひび抽出モデル96は、例えばニューラルネットワークにより構成される機械学習モデルである。ひび抽出モデル96は、学習用の撮影画像51と、学習用の撮影画像51に写るひび111が人手によりアノテーションされた正解画像との組を教師データとして繰り返し学習される。ひび抽出モデル96は、学習用の撮影画像51の入力に対して学習用の抽出画像110を出力する。ストレージ85に記憶されたひび抽出モデル96は、正解画像に対する学習用の抽出画像110のひび111の抽出精度が、予め設定されたレベルまで達したものである。
 一例として図16に示すように、抽出画像情報105は、撮影画像情報60と同様に、抽出画像110を一意に識別するための画像ID(Identification Data)毎に、抽出画像110自体、周方向CDにおける抽出画像110の位置(図16では周方向位置と表記)、および長さ方向LDにおける抽出画像110の位置(図16では長さ方向位置と表記)等が登録された情報である。抽出画像110の画像ID、周方向CDにおける抽出画像110の位置、および長さ方向LDにおける抽出画像110の位置には、撮影画像51の画像ID、周方向CDにおける撮影画像51の撮影位置、および長さ方向LDにおける撮影画像51の撮影位置が転記される。
 一例として図17に示すように、点検者端末81のストレージ85Bには、点検AP112が記憶されている。点検AP112は、点検者UIによって点検者端末81にインストールされる。点検AP112は、点検者端末81を構成するコンピュータを、本開示の技術に係る「画像表示装置」として機能させるためのAPである。すなわち、点検AP112は、本開示の技術に係る「画像表示装置の作動プログラム」の一例である。点検AP112が起動された場合、点検者端末81のCPU87Bは、メモリ86等と協働して、ブラウザ制御部113として機能する。ブラウザ制御部113は、点検AP112の専用のウェブブラウザの動作を制御する。
 ブラウザ制御部113は各種画面を生成する。ブラウザ制御部113は、情報管理サーバ80からの各種画面の画面データを受け取る。ブラウザ制御部113は、画面データに基づきウェブブラウザ上に表示する各種画面を再現し、これをディスプレイ89Bに表示する。また、ブラウザ制御部113は、各種画面を通じて、点検者UIによって入力デバイス90Bから入力される様々な操作指示を受け付ける。ブラウザ制御部113は、操作指示に応じた様々な要求を情報管理サーバ80に送信する。
 一例として図18および図19に示すように、ブラウザ制御部113は、点検者UIからの要求に応じて情報管理サーバ80から配信された俯瞰画面115をディスプレイ89に表示する。俯瞰画面115は、上側表示領域116と下側表示領域117とに二分されている。上側表示領域116には全体インデックスバー118が表示される。全体インデックスバー118は、長辺方向が長さ方向LDと一致する細長な棒状のGUIである。全体インデックスバー118は0m~10000mの距離範囲を示す。0m~10000mの距離範囲は、すなわちトンネル10の全長の距離範囲である。全体インデックスバー118は、本開示の技術に係る「第2インデックスバー」の一例である。また、0m~10000mの距離範囲は、本開示の技術に係る「第2距離範囲」の一例である。
 全体インデックスバー118は1000m毎の小領域119に分かれている。トンネル10の前半の0m~5000mの5つの小領域119が上側表示領域116の上段に、トンネル10の後半の5000m~10000mの5つの小領域119が上側表示領域116の下段に、それぞれ配されている。
 下側表示領域117には部分インデックスバー120が表示される。部分インデックスバー120は、全体インデックスバー118と同様に、長辺方向が長さ方向LDと一致する細長な棒状のGUIである。部分インデックスバー120は、トンネル10の全長の距離範囲である0m~10000mを10等分した、0m~1000m、1000m~2000m、2000m~3000m、・・・、7000m~8000m、8000m~9000m、および9000m~10000mの10通りの距離範囲をそれぞれ示す。部分インデックスバー120は、本開示の技術に係る「第1インデックスバー」の一例である。また、0m~1000m、1000m~2000m等の距離範囲は、本開示の技術に係る「第1距離範囲」の一例である。
 下側表示領域117には、最大で5000m分の5本の部分インデックスバー120しか表示することができない。下側表示領域117にはスクロールバー121が設けられており、このスクロールバー121を操作することで、下側表示領域117に表示する部分インデックスバー120を変更することができる。また、全体インデックスバー118の所望の小領域119にマウスのカーソル130(図21等参照)を合わせてシングルクリックすることでも、下側表示領域117に表示する部分インデックスバー120を変更することができる。例えば2000m~3000mの距離範囲の小領域119が選択された場合は、2000m~3000mの距離範囲を示す部分インデックスバー120を先頭に、6000m~7000mの距離範囲を示す部分インデックスバー120までが下側表示領域117に表示される。
 俯瞰画面115においては、全体インデックスバー118の小領域119のうち、下側表示領域117に表示中の部分インデックスバー120が示す距離範囲に該当する小領域119の明るさ、色、および模様のうちの少なくとも1つが変更(ハッチングで示す)されることで、他の小領域119と区別して表示される。この表示によって、下側表示領域117に表示中の部分インデックスバー120が、0m~10000mの距離範囲の中のどの位置に対応するかを示すことができる。なお、図18においては、0m~1000m、1000m~2000m、2000m~3000m、3000m~4000m、および4000m~5000mの部分インデックスバー120が、下側表示領域117に表示中である場合を例示している。また、図19においては、5000m~6000m、6000m~7000m、7000m~8000m、8000m~9000m、および9000m~10000mの部分インデックスバー120が、下側表示領域117に表示中である場合を例示している。
 一例として図20に示すように、部分インデックスバー120には、100m毎に距離を示す数値および目盛り125が表示される。また、部分インデックスバー120の上部には撮影時指定箇所マーク126が、下部には点検時指定箇所マーク127が、内部にはひび存在箇所マーク128が、それぞれ表示される。撮影時指定箇所マーク126、点検時指定箇所マーク127、およびひび存在箇所マーク128は、本開示の技術に係る「注目箇所マーク」の一例である。
 撮影時指定箇所マーク126はピンの形状を模したマークである。画面配信制御部103は、撮影時指定箇所情報75の長さ方向LDにおける箇所の指定位置に対応した部分インデックスバー120の位置に、撮影時指定箇所マーク126を配する。
 点検時指定箇所マーク127は鏃の形状(arrowhead shape)を模した三角形のマークである。画面配信制御部103は、点検時指定箇所情報97の長さ方向LDにおける箇所の指定位置に対応した部分インデックスバー120の位置に、点検時指定箇所マーク127を配する。
 ひび存在箇所マーク128は、部分インデックスバー120の幅方向の全体にわたって延びる線である。ひび存在箇所マーク128は、目盛り125と区別するために、目盛り125よりも太さが太くなっている。画面配信制御部103は、閾値以上の長さのひび111が抽出された抽出画像110の長さ方向LDにおける位置に対応した部分インデックスバー120の位置に、ひび存在箇所マーク128を配する。なお、閾値以上の長さのひび111が存在する箇所は、撮影者UPが指定した箇所および点検者UIが指定した箇所と同じく、本開示の技術に係る「注目箇所」の一例である。
 撮影時指定箇所マーク126および点検時指定箇所マーク127は、マウスのカーソル130により選択することが可能である。撮影時指定箇所マーク126が選択された場合、一例として図21に示すように、選択された撮影時指定箇所マーク126の上部に、撮影者UPが指定した箇所と関連付けて記録されたテキストメモの吹き出し131が表示される。また、点検時指定箇所マーク127が選択された場合、一例として図22に示すように、選択された点検時指定箇所マーク127の下部に、点検者UIが指定した箇所と関連付けて記録されたテキストメモの吹き出し132が表示される。テキストメモが記録されていない場合は、当然ながら吹き出し131および132は表示されない。
 俯瞰画面115において、例えば全体インデックスバー118の所望の小領域119にマウスのカーソル130を合わせてダブルクリックするといった指示がなされた場合、ブラウザ制御部113は、部分画像表示画面135の配信要求を情報管理サーバ80に送信する。画面配信制御部103は、部分画像表示画面135の配信要求を受けて、一例として図23に示す部分画像表示画面135を生成し、生成した部分画像表示画面135を点検者端末81に配信する。ブラウザ制御部113は部分画像表示画面135をディスプレイ89Bに表示する。
 部分画像表示画面135は、部分インデックスバー120と部分画像表示領域136とを有する。部分画像表示領域136には、長尺画像55のうちの一部である部分画像137が表示される。部分画像137は、ここでは50mの距離範囲の画像である。部分画像表示画面135の初期表示状態においては、入口13側の端の50mの距離範囲の部分画像137が表示される。
 部分画像表示領域136の上部には、5m毎に距離を示す数値が表示される。また、部分画像表示領域136の上部には、部分インデックスバー120と同じく、撮影時指定箇所マーク126、点検時指定箇所マーク127、およびひび存在箇所マーク128が表示される。
 図23は、俯瞰画面115において0m~1000mの小領域119がダブルクリックされ、0m~1000mの部分インデックスバー120と、0m~50mの距離範囲の部分画像137とが表示された例を示している。なお、部分画像表示画面135は、本開示の技術に係る「表示画面」の一例である。また、部分画像表示領域136は、本開示の技術に係る「表示領域」の一例である。
 部分画像表示画面135の上部には戻るボタン138が設けられている。戻るボタン138が選択された場合、俯瞰画面115に表示が戻される。また、部分画像表示領域136の内部には、拡大表示前の初期表示状態における部分画像137が表示された補助ウィンドウ139が設けられている。さらに、部分画像表示領域136の左横には操作ボタン群140が設けられている。
 部分画像表示画面135の部分インデックスバー120は、100m毎に距離を示す数値および目盛り125が表示され、また、撮影時指定箇所マーク126が表示される等、基本的には俯瞰画面115の部分インデックスバー120と同じ表示形態である。ただし、一例として図24に示すように、部分画像表示画面135の部分インデックスバー120には、撮影位置マーク145が表示される。撮影位置マーク145は、部分画像表示領域136に表示中の部分画像137のトンネル10における撮影位置を示す。撮影位置マーク145は、具体的には部分画像137に写るトンネル10の距離範囲を囲う枠である。図24においては、0m~50mの距離範囲の部分画像137が部分画像表示領域136に表示されていて、0m~50mの距離範囲を囲う撮影位置マーク145が部分インデックスバー120に表示された例を示している。
 部分インデックスバー120の下部には、部分画像137を表示した箇所を示す表示済みマーク146が表示される。表示済みマーク146は、部分インデックスバー120の長辺方向に沿って延びる塗り潰しバーである。この表示済みマーク146によって、部分画像137を表示した箇所と表示していない箇所とを区別して表示することが可能となる。なお、図示は省略するが、部分画像表示画面135においても俯瞰画面115の場合と同じく、撮影時指定箇所マーク126および点検時指定箇所マーク127の選択に応じて、テキストメモの吹き出し131および132が表示される。
 部分インデックスバー120の左右には、距離範囲切替ボタン147Aおよび147Bが設けられている。距離範囲切替ボタン147Aが選択された場合、部分インデックスバー120の表示が1本入口13側の部分インデックスバー120に切り替えられる。一方、距離範囲切替ボタン147Bが選択された場合、部分インデックスバー120の表示が1本出口14側の部分インデックスバー120に切り替えられる。また、この部分インデックスバー120の表示の変更に連動して、部分画像表示領域136の部分画像137の表示が切り替えられる。
 例えば3000m~4000mの距離範囲の部分インデックスバー120が表示されていて、距離範囲切替ボタン147Aが選択された場合を考える。この場合、3000m~4000mの距離範囲の部分インデックスバー120の表示が、2000m~3000mの距離範囲の部分インデックスバー120に切り替えられる。また、部分画像表示領域136の部分画像137の表示が、2000m~2050mの距離範囲の部分画像137に切り替えられる。また、例えば7000m~8000mの距離範囲の部分インデックスバー120が表示されていて、距離範囲切替ボタン147Bが選択された場合を考える。この場合、7000m~8000mの距離範囲の部分インデックスバー120の表示が、8000m~9000mの距離範囲の部分インデックスバー120に切り替えられる。また、部分画像表示領域136の部分画像137の表示が、8000m~8050mの距離範囲の部分画像137に切り替えられる。
 一例として図25に示すように、部分画像表示画面135においては、カーソル130によって部分インデックスバー120の任意の位置の位置指定を行うことが可能である。位置指定を受け付けた場合、ブラウザ制御部113は、位置指定された位置を示す位置指定情報150を生成し、情報管理サーバ80に送信する。画面配信制御部103は、位置指定された位置が撮影位置に該当する部分画像137を部分画像表示領域136に表示する。また、画面配信制御部103は、部分画像137の表示変更に応じて、撮影位置マーク145の表示も変更する。さらに、画面配信制御部103は、表示変更された部分画像137が、それまで表示していない部分画像137であった場合は、部分インデックスバー120の下部に表示済みマーク146を表示する。画面配信制御部103は、こうして生成した部分画像表示画面135を点検者端末81に配信する。
 図25においては、カーソル130によって部分インデックスバー120の180mの位置が位置指定された場合を例示している。この場合、部分画像表示領域136の部分画像137は、0m~50mの距離範囲の部分画像137から180m~230mの距離範囲の部分画像137に切り替わる。また、撮影位置マーク145も、0m~50mの距離範囲から180m~230mの距離範囲に切り替わり、180m~230mの距離範囲の下部に表示済みマーク146が表示される。
 一例として図26に示すように、操作ボタン群140は、拡大縮小ボタン155、移動回転ボタン156、重畳/重畳解除ボタン157、測定ボタン158、並びに表示切替ボタン159Aおよび159B等を有する。
 拡大縮小ボタン155は、部分画像表示領域136の部分画像137の表示サイズを、拡大または縮小するためのボタンである。一例として図27に示すように、拡大縮小ボタン155が操作されて部分画像表示領域136の部分画像137の表示サイズが拡大された場合、枠160が補助ウィンドウ139に表示される。枠160は、現在拡大表示している部分が、拡大表示前の初期表示状態における部分画像137のどの位置に対応するかを示す。
 移動回転ボタン156は、部分画像表示領域136の部分画像137の表示位置を、上下左右のいずれかに変更するためのボタンである。また、移動回転ボタン156は、部分画像表示領域136の部分画像137の表示向きを、時計回りまたは反時計回りに所定角度(例えば90°)毎に変更するためのボタンである。
 重畳/重畳解除ボタン157は、部分画像表示領域136の部分画像137への抽出画像110の重畳および重畳解除を指示するためのボタンである。図23において重畳/重畳解除ボタン157が選択された場合、一例として図28に示すように、部分画像表示領域136の部分画像137に抽出画像110が重畳表示される。この状態で重畳/重畳解除ボタン157が再度選択された場合、抽出画像110の重畳が解除され、図23の表示形態に戻される。
 測定ボタン158は、部分画像表示領域136の部分画像137内の測定対象のトンネル10における位置、および実寸を表示させるためのボタンである。一例として図29に示すように、測定ボタン158が選択され、測定対象としてのひび111を囲む矩形状の領域165が指定された場合、領域165で指定されたひび111のトンネル10における位置、および領域165で指定されたひび111の実寸を含む表示ウィンドウ166が部分画像表示領域136に表示される。領域165で指定されたひび111のトンネル10における位置は、領域165の長さ方向LDに沿う辺の中心の位置である。また実寸は、ここでは領域165で指定されたひび111の長さ方向LDにおける幅W、および周方向CDにおける高さHである。図29においては、トンネル10における位置が24m、幅Wが4.8m、高さHが2mであった場合を例示している。
 また、一例として図30に示すように、測定ボタン158が選択され、測定対象としてのひび111上の複数の点167が指定された場合、点167で指定されたひび111のトンネル10における位置、および点167で指定されたひび111の実寸を含む表示ウィンドウ166が部分画像表示領域136に表示される。点167で指定されたひび111のトンネル10における位置は、点167を結ぶ線の中心の位置である。また実寸は、ここでは点167を結ぶ線の長さLである。図30においては、トンネル10における位置が24m、長さLが4.8mであった場合を例示している。このように、測定対象の指定は、図29で示した矩形状の領域165であってもよいし、図30で示した点167であってもよい。なお、実寸は、カメラ27の測距機能で測定した被写体までの距離、撮影倍率、焦点距離、撮像素子の画素数、画素サイズ、および画素ピッチ等から求めることができる。
 表示切替ボタン159Aおよび159Bは、部分画像表示領域136に表示中の部分画像137の表示を切り替えるためのボタンである。表示切替ボタン159Aおよび159Bは、本開示の技術に係る「操作部」の一例である。
 一例として図31および図32に示すように、表示切替ボタン159Aおよび159Bが選択された場合、部分画像表示領域136に表示中の部分画像137が、部分画像表示領域136に表示中の部分画像137に隣接する部分画像137に切り替えられる。
 図31は、部分画像表示領域136に600m~650mの距離範囲の部分画像137が表示されていた場合に、表示切替ボタン159Aが選択された場合を例示している。この場合、部分画像表示領域136の部分画像137の表示が、600m~650mの距離範囲の部分画像137に隣接する550m~600mの距離範囲の部分画像137に切り替えられる。また、撮影位置マーク145の表示も、600m~650mの距離範囲から550m~600mの距離範囲に切り替えられる。さらに、550m~600mの距離範囲の下部にも表示済みマーク146が表示される。この場合、550m~600mの距離範囲の部分画像137が、本開示の技術に係る「隣接する部分画像」の一例である。なお、550m~600mの距離範囲の部分画像137をそれまで表示していた場合は、550m~600mの距離範囲の下部への表示済みマーク146の表示は既になされている。
 図32は、部分画像表示領域136に100m~150mの距離範囲の部分画像137が表示されていた場合に、表示切替ボタン159Bが選択された場合を例示している。この場合、部分画像表示領域136の部分画像137の表示が、100m~150mの距離範囲の部分画像137に隣接する150m~200mの距離範囲の部分画像137に切り替えられる。また、撮影位置マーク145の表示も、100m~150mの距離範囲から150m~200mの距離範囲に切り替えられる。さらに、150m~200mの距離範囲の下部にも表示済みマーク146が表示される。この場合、150m~200mの距離範囲の部分画像137が、本開示の技術に係る「隣接する部分画像」の一例である。なお、150m~200mの距離範囲の部分画像137をそれまで表示していた場合は、150m~200mの距離範囲の下部への表示済みマーク146の表示は既になされている。
 次に、上記構成による作用について、一例として図33に示すフローチャートを参照しつつ説明する。図1、図5、および図6で示したように、撮影装置12のカメラ27によりトンネル10の内壁面11が撮影される。この際、撮影装置12の台車21の後輪37に取り付けられた磁性体40の磁気に応じて磁気センサ41から出力されたパルスPLに基づいて、撮影装置12の移動距離が導出される。そして、図7で示したように、撮影装置12にて、上記撮影により得られた撮影画像51の情報である撮影画像情報60が生成される。また、図10で示したように、図8等で示した操作画面65を通じて撮影者UPにより指定された箇所の情報である撮影時指定箇所情報75が生成される。
 情報管理サーバ80において作動プログラム95が起動されると、図13で示したように、情報管理サーバ80のCPU87Aが、取得部100、RW制御部101、抽出部102、および画面配信制御部103として機能される。また、点検者端末81において点検AP112が起動されると、図17で示したように、点検者端末81のCPU87Bがブラウザ制御部113として機能される。
 図11で示したように、撮影装置12から情報管理サーバ80に、撮影画像情報60および撮影時指定箇所情報75が送信される。撮影画像情報60および撮影時指定箇所情報75は、取得部100で取得される(ステップST100)。撮影画像情報60および撮影時指定箇所情報75は、取得部100からRW制御部101に出力され、RW制御部101によってストレージ85Aに記憶される(ステップST110)。
 点検者端末81において、点検者UIにより俯瞰画面115の配信要求がなされ、当該配信要求がブラウザ制御部113から情報管理サーバ80に送信される(ステップST200)。俯瞰画面115の配信要求が受け付けられた場合(ステップST120)、RW制御部101によって撮影画像情報60および撮影時指定箇所情報75がストレージ85Aから読み出される(ステップST130)。撮影画像情報60および撮影時指定箇所情報75は、RW制御部101から画面配信制御部103に出力される。また、撮影画像情報60は、ひび抽出モデル96とともに抽出部102に出力される。さらに、点検時指定箇所情報97もRW制御部101によってストレージ85Aから読み出され、撮影画像情報60等とともにRW制御部101から画面配信制御部103に出力される。
 画面配信制御部103によって、図18および図19で示した俯瞰画面115が生成され、点検者端末81に配信される(ステップST140)。点検者端末81では、ブラウザ制御部113によって俯瞰画面115がディスプレイ89Bに表示される(ステップST210)。俯瞰画面115の上側表示領域116には全体インデックスバー118が、下側表示領域117には部分インデックスバー120が、それぞれ表示される。
 全体インデックスバー118は1000m毎の複数の小領域119に分かれている。複数の小領域119のうち、下側表示領域117に表示中の部分インデックスバー120が示す距離範囲に該当する小領域119が、他の小領域119と区別して表示される。また、図20で示したように、部分インデックスバー120には、撮影時指定箇所マーク126、点検時指定箇所マーク127、およびひび存在箇所マーク128が表示される。
 俯瞰画面115において部分画像表示画面135の配信指示がなされ、当該配信指示に応じた配信要求がブラウザ制御部113から情報管理サーバ80に送信される(ステップST220)。部分画像表示画面135の配信要求が受け付けられた場合(ステップST150)、画面配信制御部103によって、図23等で示した部分画像表示画面135が生成され、点検者端末81に配信される(ステップST160)。点検者端末81では、ブラウザ制御部113によって部分画像表示画面135がディスプレイ89Bに表示される(ステップST230)。
 部分画像表示画面135は、部分インデックスバー120と部分画像表示領域136とを有する。ただし、部分画像表示画面135は、長尺画像55の表示領域を有していない。部分画像表示領域136には、長尺画像55の一部である部分画像137が表示される。部分インデックスバー120には、部分画像表示領域136に表示中の部分画像137のトンネル10における撮影位置を示す撮影位置マーク145が表示される。
 拡大縮小ボタン155が操作され、部分画像表示領域136の部分画像137が拡大表示された場合、図27で示したように、現在拡大表示している部分が、拡大表示前の初期表示状態における部分画像137のどの位置に対応するかを示す枠160が補助ウィンドウ139に表示される。
 重畳/重畳解除ボタン157が選択された場合、図15で示したように、抽出部102において撮影画像51がひび抽出モデル96に入力され、これによりひび抽出モデル96から抽出画像110が出力される。そして、図16で示したように、全ての撮影画像51の抽出画像110の情報である抽出画像情報105が生成される。抽出画像情報105は、抽出部102から画面配信制御部103に出力される。その後、図28で示したように、部分画像表示領域136の部分画像137に抽出画像110が重畳表示される。
 測定ボタン158が選択され、図29で示したように測定対象を囲む矩形状の領域165、または図30で示したように測定対象上の複数の点167が指定された場合、指定された測定対象のトンネル10における位置、および指定された測定対象の実寸を含む表示ウィンドウ166が表示される。
 表示切替ボタン159Aおよび159Bが選択された場合、図31および図32で示したように、部分画像表示領域136に表示中の部分画像137が、部分画像表示領域136に表示中の部分画像137に隣接する部分画像137に切り替えられる。
 以上説明したように、点検者端末81のCPU87Bは、ブラウザ制御部113を備える。ブラウザ制御部113は部分画像表示画面135をディスプレイ89Bに表示する制御を行う。部分画像表示画面135は、部分インデックスバー120と部分画像表示領域136とを有する。部分画像表示領域136には部分画像137が表示される。部分画像137は、長さ方向LDに延びるトンネル10を撮影装置12で撮影して得られた画像であり、かつ長辺方向が長さ方向LDに沿う長尺画像55のうちの一部である。部分インデックスバー120は、長さ方向LDに沿って延び、トンネル10の長さ方向LDの距離範囲のうちの少なくとも一部の距離範囲を示す。部分インデックスバー120には、部分画像表示領域136に表示中の部分画像137のトンネル10における撮影位置を示す撮影位置マーク145が表示される。
 撮影位置マーク145によれば、部分画像表示領域136に表示中の部分画像137が、トンネル10のどこを撮影した画像なのかを、点検者UIに認識させることが可能となる。このため、ひび111等の変状が発生しているトンネル10の位置を特定することができないといった問題の発生を防ぐことができる。
 部分画像表示画面135は、前述のように部分インデックスバー120と部分画像表示領域136とを有しているだけである。このため画面構成が非常にシンプルである。長尺画像55の表示領域を設ける場合は、その分大きなスペースが必要となるが、部分インデックスバー120であれば、長尺画像55と比べて大きなスペースは必要ない。また、構造物の長さが本例のトンネル10のように非常に長い場合には、長尺画像55では表示することが困難であるが、部分インデックスバー120は構造物の長さが長くなっても表示することが可能である。したがって、本開示の技術によれば、シンプルな画面構成で、部分画像表示領域136に表示中の部分画像137が、トンネル10のどこを撮影した画像なのかを、点検者UIに認識させることが可能となる。
 図25で示したように、ブラウザ制御部113は、部分インデックスバー120の任意の位置の位置指定を受け付ける。ブラウザ制御部113は、位置指定された位置が撮影位置に該当する部分画像137を部分画像表示領域136に表示する。このため、点検者UIが所望する部分画像137を簡単な操作で即座に表示することができ、長尺画像55の点検が捗る。
 図18等で示したように、点検者端末81では、部分インデックスバー120の距離範囲よりも広い距離範囲を示す全体インデックスバー118であり、表示中の部分インデックスバー120が、全体インデックスバー118の距離範囲の中のどの位置に対応するかを示す全体インデックスバー118を表示することが可能である。このため、表示中の部分インデックスバー120に対応する位置を、点検者UIに認識させることが可能となる。
 全体インデックスバー118で示される距離範囲は、トンネル10の長さ方向LDの距離範囲の全体である。このため、表示中の部分インデックスバー120が、トンネル10の長さ方向LDの距離範囲の全体のどの位置に対応するかを、点検者UIに認識させることが可能となる。なお、全体インデックスバー118で示される距離範囲は、必ずしもトンネル10の長さ方向LDの距離範囲の全体でなくてもよい。例えばトンネル10の長さ方向LDの距離範囲の半分を、全体インデックスバー118で示してもよい。
 図27で示したように、点検者端末81では、部分画像表示領域136において、部分画像137を拡大表示することが可能である。そして、拡大表示している部分が部分画像137のどの位置に対応するかを示す枠160を含む補助ウィンドウ139を表示することが可能である。このため、部分画像137のうちのどの部分を拡大表示しているのかを、点検者UIに認識させることができる。
 図26、図31、および図32で示したように、部分画像表示領域136に表示中の部分画像137を、部分画像表示領域136に表示中の部分画像137に隣接する部分画像137に切り替える指示を入力するための表示切替ボタン159Aおよび159Bが、部分画像表示画面135に設けられている。このため、部分画像表示領域136の部分画像137の表示を簡単な操作で即座に切り替えることができ、長尺画像55の点検が捗る。
 図20で示したように、点検者端末81では、長尺画像55の注目箇所を示す撮影時指定箇所マーク126等の注目箇所マークを、部分インデックスバー120に表示することが可能である。このため、長尺画像55の注目箇所がどこにあるかを、点検者UIに認識させることができる。注目箇所は、点検者UIが優先的かつ重点的に点検すべき箇所であるので、注目箇所がどこにあるかを点検者UIに認識させることができれば、長尺画像55の点検がより捗る。
 注目箇所は、ユーザである撮影者UPまたは点検者UIが指定した箇所、および特定被写体であるひび111が存在する箇所を含む。このため、撮影者UPまたは点検者UIが指定した箇所、およびひび111が存在する箇所がどこにあるかを、点検者UIに認識させることができる。
 図21および図22で示したように、点検者端末81では、撮影者UPまたは点検者UIによるテキストメモを、撮影者UPまたは点検者UIが指定した箇所と関連付けて表示することが可能である。このため、点検者UIはテキストメモを容易に確認することができる。
 ユーザが指定した箇所は、長尺画像55の撮影者UPが長尺画像55の撮影時に指定した箇所、および長尺画像55の点検者UIが長尺画像55の点検時に指定した箇所である。このため、長尺画像55の撮影者UPが長尺画像55の撮影時に指定した箇所、および長尺画像55の点検者UIが長尺画像55の点検時に指定した箇所がどこにあるかを、点検者UIに認識させることができる。
 図24で示したように、点検者端末81では、部分画像137を表示した箇所を示す表示済みマーク146を表示することで、部分インデックスバー120において、部分画像137を表示した箇所と表示していない箇所とを区別して表示することが可能である。このため、部分画像137を表示して点検した箇所とそうでない箇所とを、点検者UIに認識させることができる。一度点検した箇所を知らずにまた点検してしまうといった二度手間をなくすことができる。
 図29および図30で示したように、ブラウザ制御部113は、部分画像137内の測定対象の指定を受け付ける。ブラウザ制御部113は、指定に応じて、測定対象のトンネル10における位置、および測定対象の実寸を表示する。このため、点検者UIは、測定対象のトンネル10における位置、および測定対象の実寸を簡単に知ることができる。なお、測定対象のトンネル10における位置、および測定対象の実寸の両方に限らず、これらのうちの少なくとも1つを表示すればよい。
 図6で示したように、長尺画像55は、トンネル10の異なる箇所を撮影装置12で複数回撮影することで得られた複数の撮影画像51を、長さ方向LDおよび長さ方向LDと交差(直交)する周方向CDのうちの、少なくとも長さ方向LDに沿って合成した画像である。このため、長尺画像55は、少なくともトンネル10の内壁面11の長さ方向LDに沿う異なる箇所が写された画像となり、トンネル10の内壁面11を長さ方向LDに沿って網羅的に点検するのに好適な画像となる。なお、「交差」とは、ある角度でもって第1方向および第2方向が交わることを指し、例示の長さ方向LDおよび周方向CDの「直交」以外も含む。
 図1、図5、および図6で示したように、複数の撮影画像51は、撮影装置12を長さ方向LDに沿って移動させながら、トンネル10の内壁面11を長さ方向LDにおける異なる複数の位置で撮影することにより得られた画像である。このため、トンネル10の内壁面11の長さ方向LDに沿う異なる箇所が写された複数の撮影画像51を、容易に得ることができる。
 また、図2~図4で示したように、撮影装置12は、周方向CDに沿って配された複数のカメラ27を有する。そして、複数の撮影画像51は、周方向CDに沿って配された複数のカメラ27でトンネル10を撮影することで得られた画像である。このため、トンネル10の内壁面11の周方向CDに沿う異なる箇所が写された複数の撮影画像51を、容易に得ることができる。また、撮影装置12は、長さ方向LDに沿って配された複数のカメラ27を有する。そして、複数の撮影画像51は、長さ方向LDに沿って配された複数のカメラ27でトンネル10を撮影することで得られた画像である。このため、トンネル10の内壁面11の長さ方向LDに沿う異なる箇所が写された複数の撮影画像51を、容易に得ることができる。
 より詳しくは、撮影装置12は、周方向CDに沿って配された複数のカメラ27を有する。そして、複数の撮影画像51は、撮影装置12を長さ方向LDに沿って移動させながら、複数のカメラ27でトンネル10を撮影することで得られた画像である。長尺画像55は、複数の撮影画像51を、長さ方向LDおよび周方向CDに沿って合成した画像である。このため、トンネル10の内壁面11の長さ方向LDおよび周方向CDに沿う異なる箇所が写された複数の撮影画像51を、容易に得ることができる。また、長尺画像55は、トンネル10の内壁面11の長さ方向LDおよび周方向CDに沿う異なる箇所が写された画像となり、トンネル10の内壁面11を長さ方向LDおよび周方向CDに沿って網羅的に点検するのに好適な画像となる。
 構造物はトンネル10であり、第1方向は、トンネル10の入口13と出口14を結ぶ長さ方向LDであり、第2方向は、トンネル10の周方向CDである。このため、トンネル10の内壁面11を網羅的に点検することができる。
 部分画像表示画面135において、過去に点検者UIが指定した箇所だけでなく、部分画像表示画面135を閲覧している点検者UIが指定した箇所にも点検時指定箇所マーク127を表示してもよい。
 部分画像表示領域136に表示する部分画像137は、50mといった予め設定された距離範囲に、±10mといった多少のマージンを設けた距離範囲の画像であってもよい。この場合、表示切替ボタン159Aおよび159Bの選択に応じて表示を切り替える隣接する部分画像137も、多少のマージンを設けた距離範囲の画像となる。例えば、190m~260mの距離範囲(マージンなしでは200m~250mの距離範囲)の部分画像137が部分画像表示領域136に表示中に、表示切替ボタン159Bが選択された場合は、240m~310mの距離範囲(マージンなしでは250m~300mの距離範囲)の部分画像137に表示が切り替わる。この場合、240m~310mの距離範囲の部分画像137が、本開示の技術に係る「隣接する部分画像」の一例である。
 部分画像137を表示した箇所と表示していない箇所とを区別して表示する方法としては、例示の表示済みマーク146に限らない。一例として図34においてハッチングで示すように、部分インデックスバー120の部分画像137を表示した箇所を、表示していない箇所とは異なる明るさ、色、および模様のうちの少なくとも1つで表示することで区別して表示してもよい。この表示方法によっても、部分画像137を表示して点検した箇所とそうでない箇所とを、点検者UIに認識させることができ、一度点検した箇所を知らずにまた点検してしまうといった二度手間をなくすことができる。
 また、一例として図35に示すように、撮影時指定箇所マーク126、点検時指定箇所マーク127、ひび存在箇所マーク128、および表示済みマーク146を、部分インデックスバー120だけでなく全体インデックスバー118に表示してもよい。
 撮影者UPが指定した箇所と関連付けて記録するメモは、例示のテキストメモに限らない。一例として図36に示す撮影時指定箇所情報170のように、テキストメモに代えてボイスメモを記録してもよい。部分インデックスバー120の撮影時指定箇所マーク126が選択された場合は、スピーカーからボイスメモが再生表示される。なお、図示は省略するが、点検者UIが指定した箇所と関連付けて記録するメモも同じく、ボイスメモであってもよい。要するに、撮影者UPまたは点検者UIが指定した箇所と関連付けて記録するメモは、テキストメモおよびボイスメモのうちの少なくとも1つであればよい。
 トンネル10の内壁面11の全面ではなく、内壁面11の右側面、左側面、あるいは天井等、部分的に撮影して点検してもよい。また、内壁面11だけでなく、路面15を撮影して点検してもよい。
 抽出する特定被写体は例示のひび111に限らない。剥離、錆、漏水、あるいは鉄筋の露出等の他の変状を抽出してもよい。複数種類の変状を抽出し、重畳/重畳解除ボタン157の操作に応じて、複数種類の変状の抽出画像を選択的に部分画像137に重畳表示してもよい。また、抽出する特定被写体は変状に限らない。トンネル10に一定間隔で配された照明灯、換気口等でもよい。
 構造物はトンネル10に限らない。ダム、橋梁、堤防、あるいは公共施設等でもよい。撮影装置12も、例えばドローンといった飛行体でもよい。ダムの場合、例えば堤体の幅方向が第1方向、高さ方向が第2方向となる。橋梁の場合、例えば橋桁の長さ方向が第1方向、高さ方向が第2方向となる。
 情報管理サーバ80を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、情報管理サーバ80を、処理能力および信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。具体的には、取得部100およびRW制御部101の機能と、抽出部102および画面配信制御部103の機能とを、2台のサーバコンピュータに分散して担わせる。この場合は2台のサーバコンピュータで情報管理サーバ80を構成する。また、情報管理サーバ80の機能の一部あるいは全部を、点検者端末81に担わせてもよい。
 このように、コンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム95等のAPについても、安全性および信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。
 情報管理サーバ80の設置場所および運営主体は、構造物の点検会社とは別の会社が運営するデータセンタでもよいし、複数の点検会社のうちの1つでもよい。
 上記実施形態において、例えば、取得部100、RW制御部101、抽出部102、画面配信制御部103、およびブラウザ制御部113といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。各種のプロセッサには、上述したように、ソフトウェア(作動プログラム95および点検AP112)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU87Aおよび87Bに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
 1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、および/または、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
 複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
 以上の記載から、下記の付記項に記載の技術を把握することができる。
 [付記項1]
 プロセッサを備え、
 前記プロセッサは、
 第1方向に延びる構造物を撮影装置で撮影して得られ、かつ長辺方向が前記第1方向に沿う長尺画像のうちの一部である部分画像の表示領域と、
 前記第1方向に沿って延び、前記構造物の前記第1方向の距離範囲のうちの少なくとも一部の第1距離範囲を示す第1インデックスバーであり、前記表示領域に表示中の前記部分画像の前記構造物における撮影位置を示す撮影位置マークが表示された第1インデックスバーと、
を有する表示画面をディスプレイに表示する制御を行う、
画像表示装置。
 [付記項2]
 前記プロセッサは、
 前記第1インデックスバーの任意の位置の位置指定を受け付け、
 前記位置指定された位置が前記撮影位置に該当する前記部分画像を前記表示領域に表示する付記項1に記載の画像表示装置。
 [付記項3]
 前記第1距離範囲よりも広い第2距離範囲を示す第2インデックスバーであり、表示中の前記第1インデックスバーが前記第2距離範囲の中のどの位置に対応するかを示す第2インデックスバーを表示することが可能である付記項1または付記項2に記載の画像表示装置。
 [付記項4]
 前記第2距離範囲は、前記構造物の前記第1方向の距離範囲の全体である付記項3に記載の画像表示装置。
 [付記項5]
 前記表示領域において、前記部分画像は拡大表示することが可能であり、
 前記拡大表示している部分が前記部分画像のどの位置に対応するかを示す補助ウィンドウを表示することが可能である付記項1から付記項4のいずれか1項に記載の画像表示装置。
 [付記項6]
 前記表示領域に表示中の前記部分画像を、前記表示領域に表示中の前記部分画像に隣接する部分画像に切り替える指示を入力するための操作部が、前記表示画面に設けられている付記項1から付記項5のいずれか1項に記載の画像表示装置。
 [付記項7]
 前記長尺画像の注目箇所を示す注目箇所マークを、前記第1インデックスバーに表示することが可能である付記項1から付記項6のいずれか1項に記載の画像表示装置。
 [付記項8]
 前記注目箇所は、ユーザが指定した箇所、および特定被写体が存在する箇所のうちの少なくとも1つを含む付記項7に記載の画像表示装置。
 [付記項9]
 前記ユーザにより入力されたテキストメモまたはボイスメモを前記注目箇所と関連付けて表示することが可能である付記項8に記載の画像表示装置。
 [付記項10]
 前記ユーザが指定した箇所は、前記長尺画像の撮影者が前記長尺画像の撮影時に指定した箇所、および前記長尺画像の点検者が前記長尺画像の点検時に指定した箇所のうちの少なくとも1つである付記項8または付記項9に記載の画像表示装置。
 [付記項11]
 前記第1インデックスバーにおいて、前記部分画像を表示した箇所と表示していない箇所とを区別して表示することが可能である付記項1から付記項10のいずれか1項に記載の画像表示装置。
 [付記項12]
 前記第1インデックスバーにおいて、前記部分画像を表示した箇所を示す表示済みマークを表示することで、前記部分画像を表示した箇所と表示していない箇所とを区別して表示する付記項11に記載の画像表示装置。
 [付記項13]
 前記第1インデックスバーの明るさ、色、および模様のうちの少なくとも1つを変更することで、前記部分画像を表示した箇所と表示していない箇所とを区別して表示する付記項11に記載の画像表示装置。
 [付記項14]
 前記プロセッサは、
 前記部分画像内の測定対象の指定を受け付け、
 前記指定に応じて、前記測定対象の前記構造物における位置、および前記測定対象の実寸のうちの少なくとも1つを表示する付記項1から付記項13のいずれか1項に記載の画像表示装置。
 [付記項15]
 前記長尺画像は、前記構造物の異なる箇所を前記撮影装置で複数回撮影することで得られた複数の撮影画像を、前記第1方向および前記第1方向と交差する第2方向のうちの、少なくとも前記第1方向に沿って合成した画像である付記項1から付記項14のいずれか1項に記載の画像表示装置。
 [付記項16]
 前記複数の撮影画像は、前記撮影装置を前記第1方向に沿って移動させながら、前記構造物を前記第1方向における異なる複数の位置で撮影することにより得られた画像である付記項15に記載の画像表示装置。
 [付記項17]
 前記撮影装置は、前記第2方向に沿って配された複数のカメラを有し、
 前記複数の撮影画像は、前記複数のカメラで前記構造物を撮影することで得られた画像である付記項15または付記項16に記載の画像表示装置。
 [付記項18]
 前記撮影装置は、前記第1方向に沿って配された複数のカメラを有し、
 前記複数の撮影画像は、前記複数のカメラで前記構造物を撮影することで得られた画像である付記項17に記載の画像表示装置。
 [付記項19]
 前記撮影装置は、前記第2方向に沿って配された複数のカメラを有し、
 前記複数の撮影画像は、前記撮影装置を前記第1方向に沿って移動させながら、前記複数のカメラで前記構造物を撮影することで得られた画像であり、
 前記長尺画像は、前記複数の撮影画像を、前記第1方向および前記第2方向に沿って合成した画像である付記項15から付記項18のいずれか1項に記載の画像表示装置。
 [付記項20]
 前記構造物はトンネルであり、
 前記第1方向は、前記トンネルの入口と出口を結ぶ長さ方向であり、
 前記第2方向は、前記トンネルの周方向である付記項15から付記項19のいずれか1項に記載の画像表示装置。
 本開示の技術は、上述の種々の実施形態および/または種々の変形例を適宜組み合わせることも可能である。また、上記実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
 以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
 本明細書において、「Aおよび/またはB」は、「AおよびBのうちの少なくとも1つ」と同義である。つまり、「Aおよび/またはB」は、Aだけであってもよいし、Bだけであってもよいし、AおよびBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「および/または」で結び付けて表現する場合も、「Aおよび/またはB」と同様の考え方が適用される。
 本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (22)

  1.  プロセッサを備え、
     前記プロセッサは、
     第1方向に延びる構造物を撮影装置で撮影して得られ、かつ長辺方向が前記第1方向に沿う長尺画像のうちの一部である部分画像の表示領域と、
     前記第1方向に沿って延び、前記構造物の前記第1方向の距離範囲のうちの少なくとも一部の第1距離範囲を示す第1インデックスバーであり、前記表示領域に表示中の前記部分画像の前記構造物における撮影位置を示す撮影位置マークが表示された第1インデックスバーと、
    を有する表示画面をディスプレイに表示する制御を行う、
    画像表示装置。
  2.  前記プロセッサは、
     前記第1インデックスバーの任意の位置の位置指定を受け付け、
     前記位置指定された位置が前記撮影位置に該当する前記部分画像を前記表示領域に表示する請求項1に記載の画像表示装置。
  3.  前記第1距離範囲よりも広い第2距離範囲を示す第2インデックスバーであり、表示中の前記第1インデックスバーが前記第2距離範囲の中のどの位置に対応するかを示す第2インデックスバーを表示することが可能である請求項1に記載の画像表示装置。
  4.  前記第2距離範囲は、前記構造物の前記第1方向の距離範囲の全体である請求項3に記載の画像表示装置。
  5.  前記表示領域において、前記部分画像は拡大表示することが可能であり、
     前記拡大表示している部分が前記部分画像のどの位置に対応するかを示す補助ウィンドウを表示することが可能である請求項1に記載の画像表示装置。
  6.  前記表示領域に表示中の前記部分画像を、前記表示領域に表示中の前記部分画像に隣接する部分画像に切り替える指示を入力するための操作部が、前記表示画面に設けられている請求項1に記載の画像表示装置。
  7.  前記長尺画像の注目箇所を示す注目箇所マークを、前記第1インデックスバーに表示することが可能である請求項1に記載の画像表示装置。
  8.  前記注目箇所は、ユーザが指定した箇所、および特定被写体が存在する箇所のうちの少なくとも1つを含む請求項7に記載の画像表示装置。
  9.  前記ユーザにより入力されたテキストメモまたはボイスメモを前記注目箇所と関連付けて表示することが可能である請求項8に記載の画像表示装置。
  10.  前記ユーザが指定した箇所は、前記長尺画像の撮影者が前記長尺画像の撮影時に指定した箇所、および前記長尺画像の点検者が前記長尺画像の点検時に指定した箇所のうちの少なくとも1つである請求項8に記載の画像表示装置。
  11.  前記第1インデックスバーにおいて、前記部分画像を表示した箇所と表示していない箇所とを区別して表示することが可能である請求項1に記載の画像表示装置。
  12.  前記第1インデックスバーにおいて、前記部分画像を表示した箇所を示す表示済みマークを表示することで、前記部分画像を表示した箇所と表示していない箇所とを区別して表示する請求項11に記載の画像表示装置。
  13.  前記第1インデックスバーの明るさ、色、および模様のうちの少なくとも1つを変更することで、前記部分画像を表示した箇所と表示していない箇所とを区別して表示する請求項11に記載の画像表示装置。
  14.  前記プロセッサは、
     前記部分画像内の測定対象の指定を受け付け、
     前記指定に応じて、前記測定対象の前記構造物における位置、および前記測定対象の実寸のうちの少なくとも1つを表示する請求項1に記載の画像表示装置。
  15.  前記長尺画像は、前記構造物の異なる箇所を前記撮影装置で複数回撮影することで得られた複数の撮影画像を、前記第1方向および前記第1方向と交差する第2方向のうちの、少なくとも前記第1方向に沿って合成した画像である請求項1に記載の画像表示装置。
  16.  前記複数の撮影画像は、前記撮影装置を前記第1方向に沿って移動させながら、前記構造物を前記第1方向における異なる複数の位置で撮影することにより得られた画像である請求項15に記載の画像表示装置。
  17.  前記撮影装置は、前記第2方向に沿って配された複数のカメラを有し、
     前記複数の撮影画像は、前記複数のカメラで前記構造物を撮影することで得られた画像である請求項15に記載の画像表示装置。
  18.  前記撮影装置は、前記第1方向に沿って配された複数のカメラを有し、
     前記複数の撮影画像は、前記複数のカメラで前記構造物を撮影することで得られた画像である請求項17に記載の画像表示装置。
  19.  前記撮影装置は、前記第2方向に沿って配された複数のカメラを有し、
     前記複数の撮影画像は、前記撮影装置を前記第1方向に沿って移動させながら、前記複数のカメラで前記構造物を撮影することで得られた画像であり、
     前記長尺画像は、前記複数の撮影画像を、前記第1方向および前記第2方向に沿って合成した画像である請求項15に記載の画像表示装置。
  20.  前記構造物はトンネルであり、
     前記第1方向は、前記トンネルの入口と出口を結ぶ長さ方向であり、
     前記第2方向は、前記トンネルの周方向である請求項15に記載の画像表示装置。
  21.  第1方向に延びる構造物を撮影装置で撮影して得られ、かつ長辺方向が前記第1方向に沿う長尺画像のうちの一部である部分画像の表示領域と、
     前記第1方向に沿って延び、前記構造物の前記第1方向の距離範囲のうちの少なくとも一部の第1距離範囲を示す第1インデックスバーであり、前記表示領域に表示中の前記部分画像の前記構造物における撮影位置を示す撮影位置マークが表示された第1インデックスバーと、
    を有する表示画面をディスプレイに表示する制御を行うこと、
    を含む画像表示装置の作動方法。
  22.  第1方向に延びる構造物を撮影装置で撮影して得られ、かつ長辺方向が前記第1方向に沿う長尺画像のうちの一部である部分画像の表示領域と、
     前記第1方向に沿って延び、前記構造物の前記第1方向の距離範囲のうちの少なくとも一部の第1距離範囲を示す第1インデックスバーであり、前記表示領域に表示中の前記部分画像の前記構造物における撮影位置を示す撮影位置マークが表示された第1インデックスバーと、
    を有する表示画面をディスプレイに表示する制御を行うこと、
    を含む処理をコンピュータに実行させる画像表示装置の作動プログラム。
PCT/JP2023/036436 2022-11-10 2023-10-05 画像表示装置、画像表示装置の作動方法、および画像表示装置の作動プログラム Ceased WO2024101046A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2024557069A JPWO2024101046A1 (ja) 2022-11-10 2023-10-05
CN202380078115.XA CN120226343A (zh) 2022-11-10 2023-10-05 图像显示装置、图像显示装置的操作方法及图像显示装置的工作程序
US19/200,637 US20250265738A1 (en) 2022-11-10 2025-05-06 Image display device, method for operating image display device, and program for operating image display device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2022-180167 2022-11-10
JP2022180167 2022-11-10
JP2023-001824 2023-01-10
JP2023001824 2023-01-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/200,637 Continuation US20250265738A1 (en) 2022-11-10 2025-05-06 Image display device, method for operating image display device, and program for operating image display device

Publications (1)

Publication Number Publication Date
WO2024101046A1 true WO2024101046A1 (ja) 2024-05-16

Family

ID=91032693

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/036436 Ceased WO2024101046A1 (ja) 2022-11-10 2023-10-05 画像表示装置、画像表示装置の作動方法、および画像表示装置の作動プログラム

Country Status (4)

Country Link
US (1) US20250265738A1 (ja)
JP (1) JPWO2024101046A1 (ja)
CN (1) CN120226343A (ja)
WO (1) WO2024101046A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016086237A (ja) * 2014-10-23 2016-05-19 協立電子工業株式会社 サーバ装置及び方法
JP2022030436A (ja) * 2020-08-07 2022-02-18 株式会社リコー 表示装置、撮影システム、表示制御方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016086237A (ja) * 2014-10-23 2016-05-19 協立電子工業株式会社 サーバ装置及び方法
JP2022030436A (ja) * 2020-08-07 2022-02-18 株式会社リコー 表示装置、撮影システム、表示制御方法およびプログラム

Also Published As

Publication number Publication date
JPWO2024101046A1 (ja) 2024-05-16
CN120226343A (zh) 2025-06-27
US20250265738A1 (en) 2025-08-21

Similar Documents

Publication Publication Date Title
RU2702160C2 (ru) Устройство поддержки отслеживания, система поддержки отслеживания и способ поддержки отслеживания
JP4375555B2 (ja) X線ct装置
JP2009512879A (ja) 走行する撚り線を検査する方法及び装置
JP2011044837A5 (ja)
WO2005094458A3 (en) Monitoring system and method
JP6366707B2 (ja) 映像監視システム及び映像監視方法
JP2018092092A (ja) 自走式管内検査カメラ装置および管内検査カメラの光軸調整方法
JP6926486B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP4041042B2 (ja) 欠陥確認装置および欠陥確認方法
JP2016092693A (ja) 撮像装置、撮像装置の制御方法およびプログラム
WO2024101046A1 (ja) 画像表示装置、画像表示装置の作動方法、および画像表示装置の作動プログラム
US20230357998A1 (en) Road surface management device, road surface management method, and recording medium
JP2013077936A5 (ja)
JP2020022036A (ja) 表示制御装置、表示制御方法、およびプログラム
US20200175763A1 (en) Content providing device, content providing method, and storage medium
WO2017056412A1 (ja) モニタ制御システム、モニタ制御方法、及び、モニタ制御プログラム
JP2011145730A (ja) 監視画面表示制御装置
JP5950100B2 (ja) X線検査装置
JP2017161403A (ja) 撮像装置、方法、及びプログラム、表示制御装置及びプログラム
TW201939023A (zh) 缺陷確認裝置、缺陷確認方法以及電腦可讀取記憶媒體
JP4577214B2 (ja) X線検査装置
WO2021075878A1 (ko) 증강현실 기록물 서비스 제공 방법 및 사용자 단말
US20250380052A1 (en) Processing device
JP2025180152A (ja) 画像処理装置、方法及びプログラム
JP2025005231A (ja) 制御装置、制御方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23888399

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024557069

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202380078115.X

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 202380078115.X

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 23888399

Country of ref document: EP

Kind code of ref document: A1