WO2021171839A1 - 画像表示装置、画像表示方法、及びプログラム - Google Patents

画像表示装置、画像表示方法、及びプログラム Download PDF

Info

Publication number
WO2021171839A1
WO2021171839A1 PCT/JP2021/001926 JP2021001926W WO2021171839A1 WO 2021171839 A1 WO2021171839 A1 WO 2021171839A1 JP 2021001926 W JP2021001926 W JP 2021001926W WO 2021171839 A1 WO2021171839 A1 WO 2021171839A1
Authority
WO
WIPO (PCT)
Prior art keywords
display unit
dimensional model
target
display
displayed
Prior art date
Application number
PCT/JP2021/001926
Other languages
English (en)
French (fr)
Inventor
正志 藏之下
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022503154A priority Critical patent/JP7447238B2/ja
Publication of WO2021171839A1 publication Critical patent/WO2021171839A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to an image display device, an image display method, and a program, and more particularly to an image display device, an image display method, and a program for displaying a three-dimensional model.
  • the damage in the inspection image must be imaged with a certain resolution.
  • the inspection image is often taken at a subject distance of 1 to 2 m with respect to the wall surface of the structure. Therefore, the angle of view of the inspection image may be small with respect to the damaged portion, in which case the user needs to track and observe the damage while moving the display area of the inspection image.
  • the inspection image may have multiple damaged parts or the damaged parts may have a complicated shape, and when the display area is moved, the damaged parts of interest should be accurately tracked and observed. May be difficult.
  • Patent Document 1 does not mention tracking the damaged part of interest when the display area of the inspection image moves.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to track and observe a damaged part of interest without losing sight of the damaged part even when the display area moves in a plane on a three-dimensional model. It is to provide an image display device, an image display method, and a program capable of the present invention.
  • the image display device which is one aspect of the present invention for achieving the above object, is a three-dimensional model of all or a part of the structure composed of an inspection image obtained by photographing the structure, and the structure in the inspection image.
  • An image display device including a memory for storing detection information for detecting a damaged portion, a display unit, and a processor.
  • the processor displays a three-dimensional model stored in the memory on the display unit and displays the display unit. Accepts a part of the designation on the 3D model displayed in, displays a part of the area of the target plane of the 3D model corresponding to the specified part on the display, and among the damaged parts on the target plane.
  • the selection is accepted with at least one damaged part as the target damaged part, and the display area of the target plane to be displayed on the display unit is moved along the shape of the target damaged part based on the detection information.
  • the target damaged part of interest can be tracked without being lost. Can be observed.
  • the image display device is a three-dimensional model of all or a part of the structure composed of an inspection image obtained by photographing the structure, and detection information of detecting a damaged part of the structure in the inspection image.
  • the processor causes the display unit to display the three-dimensional model stored in the memory, and the three-dimensional model displayed on the display unit.
  • Accepting the above designation of the damaged part display a part of the target plane area of the 3D model corresponding to the damaged part on the display unit, and display the display area of the target plane to be displayed on the display unit based on the detection information. Move along the shape of the target damaged part, which is the damaged part.
  • the target damaged part of interest can be tracked without being lost. Can be observed.
  • the processor causes the display unit to display the target plane facing the target plane.
  • the processor causes the display unit to display the target plane at a constant magnification before and after the movement of the display area.
  • the processor intermittently moves the display area by the set angle of view within the angle of view corresponding to one screen of the display unit, and positions a part of the target damaged portion in the central portion of the display unit.
  • the processor continuously moves the display area and positions a part of the target damaged portion in the center of the display unit.
  • the processor displays a marker moving along the target damaged part on the display unit.
  • the processor displays a marker that moves along the target damaged part on the display unit, and moves the display area when the marker reaches the end of the set angle of view.
  • the processor automatically moves the marker.
  • the processor causes the display unit to display an enlarged image of a part of the target damaged portion.
  • the image display method is a three-dimensional model of all or a part of the structure composed of an inspection image obtained by photographing the structure, and detection information for detecting a damaged part of the structure in the inspection image.
  • the image display method is a three-dimensional model of all or a part of the structure composed of an inspection image obtained by photographing the structure, and detection information of detecting a damaged part of the structure in the inspection image.
  • the program according to another aspect of the present invention stores a three-dimensional model of all or a part of the structure composed of an inspection image of the structure, and detection information of detecting a damaged part of the structure in the inspection image.
  • a program that causes an image display device including a memory, a display unit, and a processor to perform an image display method, and causes the processor to display a three-dimensional model stored in the memory on the display unit.
  • the program according to another aspect of the present invention stores a three-dimensional model of all or a part of the structure composed of an inspection image of the structure, and detection information of detecting a damaged part of the structure in the inspection image.
  • a program that causes an image display device including a memory, a display unit, and a processor to perform an image display method, and causes the processor to display a three-dimensional model stored in the memory on the display unit.
  • the step of moving the display area of the above along the shape of the target damaged part, which is the damaged part, based on the detection information is performed.
  • the display area of the plane of the three-dimensional model moves along the shape of the target damaged part, even if the display area of the target plane moves, the damaged part of interest is tracked without being lost. Can be observed.
  • FIG. 1 is a diagram showing a main configuration example of an image display device.
  • FIG. 2 is a diagram showing an example of a three-dimensional model.
  • FIG. 3 is a diagram showing an example of an inspection image.
  • FIG. 4 is a diagram illustrating a damage vector.
  • FIG. 5 is a diagram illustrating a damage vector.
  • FIG. 6 is a diagram illustrating an image display method.
  • FIG. 7 is a diagram showing a three-dimensional model.
  • FIG. 8 is a diagram showing a display area displayed on the display unit.
  • FIG. 9 is a diagram illustrating a first movement mode.
  • FIG. 10 is a diagram illustrating a first movement mode.
  • FIG. 11 is a diagram illustrating a second movement mode.
  • FIG. 12 is a diagram illustrating a second movement mode.
  • FIG. 9 is a diagram illustrating a first movement mode.
  • FIG. 10 is a diagram illustrating a first movement mode.
  • FIG. 11 is a diagram illustrating
  • FIG. 13 is a flow chart showing an image display method.
  • FIG. 14 is a main configuration example of the image display device.
  • FIG. 15 is a diagram showing an example of display of a marker.
  • FIG. 16 is a diagram showing an example of display of a marker.
  • FIG. 17 is a diagram showing an example of a marker display and a sub-window W display.
  • FIG. 1 is a diagram showing a main configuration example of the image display device 1.
  • the image display device 1 is composed of a computer.
  • the image display device 1 is composed of a device main body 11, a display unit 21, and an operation unit 23.
  • the device main body 11 includes a CPU (Central Processing Unit) (processor) 13, a memory 15, a display control unit 17, and a reception unit 19.
  • CPU Central Processing Unit
  • memory Memory
  • display control unit display control unit
  • reception unit 19 reception unit 19.
  • the CPU 13 controls the image display device 1 in general.
  • the CPU 13 reads necessary programs and information used for various controls from the memory 15 and performs various processes and various controls performed by the CPU 13.
  • the CPU 13 executes a program to realize the display control unit 17 and the reception unit 19.
  • CPU which is a general-purpose processor that executes software (program) and acts as various functional parts
  • programmable which is a processor whose circuit configuration can be changed after manufacturing such as FPGA (Field Programmable Gate Array).
  • FPGA Field Programmable Gate Array
  • a dedicated electric circuit which is a processor having a circuit configuration specially designed for executing a specific process such as a logic device (Programmable Logic Device: PLD) and an ASIC (Application Specific Integrated Circuit), is included.
  • One processing unit may be composed of one of these various processors, or may be composed of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). You may. Further, a plurality of functional units may be configured by one processor. As an example of configuring a plurality of functional units with one processor, first, one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client or a server. There is a form in which the processor acts as a plurality of functional parts.
  • SoC System On Chip
  • a processor that realizes the functions of the entire system including a plurality of functional parts with one IC (Integrated Circuit) chip is used.
  • the various functional units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • the display unit 21 is composed of a monitor.
  • the display unit 21 displays the three-dimensional model and the target plane designated by the user on the three-dimensional model under the control of the display control unit 17.
  • the reception unit 19 receives a user's command via the operation unit 23.
  • the operation unit 23 is composed of a pointing device such as a mouse or a keyboard, and the user inputs a command to the operation unit 23, and the reception unit 19 receives the command.
  • the memory 15 stores a program required for a function realized by the CPU 13. Further, the memory 15 stores a three-dimensional model of all or a part of the structure to be inspected and detection information. Further, the memory 15 stores an inspection image as needed.
  • the inspection image is an image of a structure to be inspected. For example, the memory 15 stores a large number of inspection images in which a structure to be inspected is comprehensively photographed.
  • the 3D model is a model that represents the overall structure of the structure to be inspected.
  • the three-dimensional shape of a three-dimensional model is created based on a three-dimensional CAD (computer-aided design).
  • An inspection image is attached to the surface of the three-dimensional model.
  • a plurality of inspection images are panoramicly combined and pasted on the surface of a three-dimensional model.
  • the location of the structure shown in the inspection image corresponds to the position on the three-dimensional model to which the inspection image is pasted. Therefore, the user can grasp the mutual positional relationship of the inspection images by the three-dimensional model.
  • the detection information is the information that the damaged part of the structure is detected in the inspection image of the structure.
  • the detection information is acquired by image processing the inspection image, or by processing the inspection image with a machine-learned recognizer.
  • the damaged part is a place where the damage is located, for example, a place where the damage such as cracks and exposed reinforcing bars is located.
  • the mark that the inspection worker traced the crack with chalk or the like is also included as the damaged part.
  • FIG. 2 is a diagram showing an example of a three-dimensional model displayed on the display unit 21.
  • the three-dimensional model N shown in FIG. 2 represents the entire structure of the pillar, which is a structure.
  • the pillar has a rectangular parallelepiped shape, and a panoramic composite inspection image is attached to each surface (surface) constituting the rectangular parallelepiped.
  • a plurality of position-corresponding inspection images are panoramicly synthesized and pasted on the surface NA, surface NB, and surface NC of the three-dimensional model N. Therefore, the user can observe the inspection image of the pillar corresponding to the position by designating the position on the three-dimensional model N and displaying the enlarged display.
  • the user can visually recognize the damaged part B in the three-dimensional model N, and when the damaged part B is small, the user specifies the position on the three-dimensional model and enlarges the display.
  • the damaged part B can be visually recognized later.
  • the above-mentioned three-dimensional model N is an example, and other three-dimensional models are also used in the present invention.
  • a point cloud model, a texture model, and a solid model are adopted as a three-dimensional model representing the entire structure of the structure, and it is sufficient that the link points of the inspection image are arranged at least at the corresponding positions.
  • FIG. 3 is a diagram showing an example of an inspection image.
  • the inspection image 53 shown in FIG. 3 it is necessary to image the damaged part with a resolution of a certain level or higher from the viewpoint of detecting the damaged part with a recognizer subjected to image processing or machine learning, and the damaged part needs to be imaged with respect to the wall surface of the pillar.
  • the image is taken at a subject distance of 1 to 2 m.
  • the crack 55 is shown in the inspection image 53.
  • the crack 55 is detected by a recognizer (segmentation recognizer) subjected to image processing technology or machine learning.
  • the damage information includes various information regarding the detected damage location.
  • the damage information includes the shape of the damaged part, the degree of damage, the type of damage, the cause of damage, and the like.
  • the damage information also includes a damage vector indicating the shape of the damage, which will be described later.
  • FIG. 4 and 5 are diagrams for explaining a damage vector which is an example of damage information of the detected crack 55.
  • FIG. 4 is a diagram showing the damage vector generated based on the crack 55 superimposed on the inspection image 53
  • FIG. 5 is a diagram showing the coordinates of points P1 to P7 indicating each damage vector.
  • An example of a method for generating a damage vector based on the detected crack 55 is as follows. First, the detected crack 55 is binarized and / or thinned as necessary. Then, the start point and the end point are determined with the line segment capable of linear approximation in the detected crack 55 as one section. Further, if there is a branching portion in the detected crack 55, a point is provided at the branching portion. Other known techniques may be used as a method for generating a damage vector based on the detected crack 55.
  • the crack 55 includes a vector C1-1 represented by the start point P1 and the end point P2, a vector C1-2 represented by the start point P2 and the end point P3, a vector C1-3 represented by the start point P3 and the end point P4, and a start point. It is represented by a vector C1-4 represented by P3 and the end point P5, a vector C1-5 represented by the start point P3 and the end point P6, and a vector C1-6 represented by the start point P6 and the end point P7. Note that P1 to P7 each have coordinates as shown in FIG. 5, and their positions on the inspection image 53 are specified.
  • FIG. 6 is a diagram illustrating an image display method performed by using the image display device 1.
  • the display control unit 17 causes the display unit 21 to display the three-dimensional model M (see FIG. 7) stored in the memory 15 (step S10: display step of the three-dimensional model).
  • the reception unit 19 receives the designation of a part of the area of the three-dimensional model M from the user via the operation unit 23 (step S11: reception step of the target plane).
  • the display control unit 17 causes the display unit 21 to display a part of the area of the designated target plane (step S12: display step of the target plane).
  • the reception unit 19 accepts the selection of the target damage portion from the user via the operation unit 23 (step S13: target damage reception step).
  • the display control unit 17 moves the display area of the target plane along the shape of the target damaged portion (step S14: moving step of the display area).
  • the display control unit 17 displays the three-dimensional model M on the display unit 21 (step S10).
  • FIG. 7 is a diagram showing a three-dimensional model M displayed on the display unit 21.
  • the three-dimensional model M is a three-dimensional model that represents the entire structure of a bridge that is a structure. Inspection images obtained by photographing the bridge are panoramicly synthesized and pasted on each surface of the three-dimensional model M.
  • the three-dimensional model M can rotate freely to move the viewpoint.
  • the reception unit 19 receives the designation of the target plane from the user via the operation unit 23 (step S11).
  • the user specifies the part to be observed in more detail in the three-dimensional model M displayed on the display unit 21 by the operation unit 23.
  • the user specifies a part of the target plane MA of the three-dimensional model M with the cursor 61 displayed on the display unit 21, so that a part of the target plane MA is displayed on the display unit 21.
  • the display unit 21 displays a part of the display area 63 (hereinafter referred to as the display area 63) of the target plane MA designated by the user by the display control unit 17 (step S12).
  • FIG. 8 is a diagram showing a display area 63 displayed on the display unit 21. A part of the display area 63 of the target plane MA is enlarged and displayed as compared with the three-dimensional model M. Therefore, in the display area 63 of the three-dimensional model M, the target damaged portion 65 corresponding to the crack 55 is displayed.
  • the reception unit 19 receives the selection of the target damaged part from the user via the operation unit 23 (step S13).
  • the user observes the display area 63 displayed on the display unit 21 and selects the target damaged portion to be observed with attention.
  • the target damaged portion 65 is selected by the cursor 61 and selected as the target damaged portion.
  • the display control unit 17 moves the display area of the target plane MA along the target damaged portion 65 (step S14).
  • the display area 63 has a small angle of view, and the entire target damaged portion 65 is not displayed. Therefore, the user observes the entire target damaged portion 65 while moving the display area of the target plane MA.
  • the display area can be moved manually or automatically by the user. The movement mode of the display area of the target plane MA will be described below.
  • FIG. 9 and 10 are diagrams for explaining the first movement mode of the display area 63 of the target plane MA.
  • FIG. 9 is a diagram schematically showing the movement of the display area 73 from the display area 63 on the target plane MA
  • FIG. 10 is a diagram showing the display area 63 and the display area 73 displayed on the display unit 21.
  • the display control unit 17 intermittently moves the display area of the target plane MA by a set angle of view corresponding to one screen of the display unit 21. That is, in the first movement mode, the display area 73 is displayed after the display area 63 is displayed.
  • the display area moves for each angle of view of the display unit 21, but the present invention is not limited to this, and the moving display area can be appropriately set as long as it is within one angle of view.
  • the display area may be moved every 0.5 angle of view.
  • the display control unit 17 moves the target damaged portion 65 from the display area 63 to the display area 73 so that a part of the target damaged portion 65 is located at the center of the display unit 21. If there is a branch in the target damaged portion 65, the display area moves along the main branch.
  • the main branch is determined by the damage information. For example, for each damage after branching, a score is calculated based on the degree of damage at the damaged part, the average width, the area, the length, and the like. Based on such scores, the main branch with higher observation priority is determined.
  • the display control unit 17 displays the target plane MA in the display area 63 and the display area 73 in a state of facing each other. Further, the display control unit 17 displays the display area 63 and the display area 73 with the same enlargement ratio of the target plane MA. By moving from the display area 63 to the display area 73 in this way, the target damaged portion 65 can be tracked and observed without being lost.
  • the timing of moving from the display area 63 to the display area 73 is appropriately set by the user. For example, when the display area is manually moved, when the user inputs a movement command via the operation unit 23, the display area 63 moves to the display area 73. Further, when the display area is automatically moved, the display area 63 is moved to the display area 73 when a predetermined time has elapsed. Further, as in the third embodiment described below, the display area 63 may be moved to the display area 73 with reference to the marker.
  • FIG. 11 and 12 are diagrams for explaining the second movement mode of the display area 63 of the target plane MA.
  • FIG. 11 is a diagram schematically showing the movement of the display area 83 from the display area 63 on the target plane MA
  • FIG. 12 is a diagram showing the display area 63 and the display area 83 displayed on the display unit 21. ..
  • the display control unit 17 continuously moves the display area in the second movement mode. That is, in the second embodiment, when the user moves the display area, the display area moves continuously.
  • the display control unit 17 displays the target plane MA in the display area 63 and the display area 83 in a state of facing each other. Further, the display control unit 17 displays the display area 63 and the display area 83 with the same enlargement ratio of the target plane MA.
  • the timing of moving from the display area 63 to the display area 83 is the same as the mode described in the first movement mode described above.
  • the display area of the target plane moves along the shape of the target damaged portion, even if the display area of the target plane moves, the target damaged portion is lost. Can be tracked and observed without.
  • the damaged portion can be visually recognized on the three-dimensional model, and the user selects the target damaged portion on the three-dimensional model.
  • FIG. 13 is a flow chart showing an image display method using the image display device 1 in the present embodiment.
  • the display control unit 17 causes the display unit 21 to display the three-dimensional model stored in the memory 15 (step S20: display step of the three-dimensional model).
  • the reception unit 19 receives the selection of the target damage portion on the three-dimensional model from the user via the operation unit 23 (step S21: target damage reception step).
  • target damage reception step it is possible to select the target damaged part even in the three-dimensional model expressing the entire structure of the bridge to be inspected. For example, when the target damaged part is large, the user can select the target damaged part on the three-dimensional model. Further, even when the damaged part is imaged like the damaged shape model and pasted on the three-dimensional model, the user can select the damaged part on the three-dimensional model.
  • the display control unit 17 causes the display unit 21 to display a part of the target plane including the selected target damaged portion (step S22: display step of the target plane).
  • the display control unit 17 identifies a surface on the three-dimensional model having the target damaged portion, sets the surface as the target plane, and causes the display unit 21 to display a part of the area. After that, the display area of the target plane is moved along the target damaged portion (step S23: moving step of the display area).
  • the target damaged part is selected on the three-dimensional model, the plane on the three-dimensional model having the target damaged part is specified, the plane is displayed as the target plane, and the target plane is displayed.
  • the display area of is moved along the target damaged part. Therefore, according to this aspect, the target damaged part can be efficiently selected, and even when the display area of the target plane is moved, the target damaged part can be tracked and observed without losing sight.
  • a marker is displayed as an auxiliary display for observing the damaged portion of the target.
  • FIG. 14 is a main configuration example of the image display device 1 of the present embodiment.
  • the parts already described in FIG. 1 are designated by the same reference numerals and the description thereof will be omitted.
  • the marker display control unit 91 causes the display unit 21 to display a marker that moves along the target damaged portion 65. Further, the marker display control unit 91 moves the marker displayed on the display unit 21. The marker display control unit 91 may automatically move the marker along the target damaged portion, or may move the marker along the target damaged portion based on the user's operation. A specific example of marker display will be described below.
  • FIG. 15 is a diagram showing an example of marker display.
  • the marker display control unit 91 displays markers Q1-1 to Q1-5 along the target damaged portion.
  • the marker display control unit 91 automatically displays markers Q1-1 to Q1-5 in sequence along the target damaged portion 65. For example, after the user selects the target damaged portion, the marker Q1-1 is displayed, and then the markers Q1-2, the markers Q1-3, the markers Q1-4, and the markers Q1-5 are displayed in this order. When the marker Q1-5 is displayed, all of the markers Q1-1 to Q1-5 are displayed. As shown in FIG. 15, when the target damaged portion 65 has a branch, the markers Q1-1 to Q1-5 are displayed along the main target damaged portion 65 based on the damage information, for example. ..
  • the display unit 21 moves the display area.
  • the display area 63 In the first movement mode described above (see FIGS. 9 and 10), when all of the markers Q1-1 to Q1-5 are displayed, they are moved from the display area 63 to the display area 73.
  • the user By displaying the marker along the target damaged portion 65 in this way, the user can track and observe the target damaged portion displayed on the display unit 21 without losing sight of it.
  • associating the display timing of the marker with the movement timing of the display area, it is possible to notify the user of the movement timing of the display area.
  • FIG. 16 is a diagram showing an example of marker display.
  • the marker display control unit 91 displays the marker Q2 along the target damaged portion.
  • the marker display control unit 91 manually displays the marker Q2 by superimposing it on the target damaged portion 65.
  • the marker display control unit 91 superimposes the marker Q2 on the target damaged portion 65 and moves it based on a command input by the user via the operation unit 23.
  • the display control unit 17 starts from the display area 63 as described in the first movement mode (see FIGS. 9 and 10) described above. Move to 73.
  • the user can track and observe the target damaged portion displayed on the display unit 21 without losing sight of it.
  • the user can move the display area at a desired timing by matching the movement of the marker manually moved by the user (the timing of reaching the end of the angle of view) with the timing of the movement of the display area.
  • FIG. 17 is a diagram showing an example of the display of the marker and the display of the sub window W.
  • the display area 71 shown in FIG. 17 is displayed at a wider angle than the display area 63 shown in FIG.
  • the marker display control unit 91 superimposes the marker Q2 on the target damaged portion 65 to display the marker Q2, and manually moves the marker Q2. Further, the display control unit 17 causes the display unit 21 to display the sub window W. In the sub-window W, an enlarged image of the target damaged portion 65 where the marker Q2 is located is displayed. In this way, by displaying the enlarged image of the target damaged portion 65 at the location where the marker Q2 is located, the user can observe the damaged portion in more detail.
  • Image display device 9 Display unit 11: Device main body 13: CPU 15: Memory 17: Display control unit 19: Reception unit 21: Display unit 23: Operation unit 91: Marker display control unit M: 3D model N: 3D model W: Sub window

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

３次元モデル上の平面において表示領域が移動する場合であっても、注目する損傷箇所を見失うこと無く追跡して観察することができる画像表示装置、画像表示方法、及びプログラムを提供する。画像表示装置１は、メモリ１５と、表示部２１と、プロセッサ１３とを備える画像表示装置１であって、プロセッサ１３は、メモリ１５に記憶された３次元モデルを表示部２１に表示させ、表示部２１に表示された３次元モデル上の一部の指定を受け付けて、指定された箇所に対応する３次元モデルの対象平面の一部の領域を表示部２１に表示させ、対象平面における損傷箇所のうちの少なくとも一つの損傷箇所を対象損傷箇所として選択を受け付け、表示部２１に表示させる対象平面の表示領域を、検出情報に基づいて対象損傷箇所の形状に沿って移動させる。

Description

画像表示装置、画像表示方法、及びプログラム
　本発明は、画像表示装置、画像表示方法、及びプログラムに関し、特に３次元モデルを表示する画像表示装置、画像表示方法、及びプログラムに関する。
　近年、構造物の点検を行う場合にデジタルカメラ（撮像装置）により構造物を撮影し、得られた点検画像に基づいて点検作業が行われている。このような点検作業では、構造物の様々な箇所を撮影するために、多数の点検画像が取得される。そして、点検対象である構造物の全体構造を大まかに表現した３次元モデル上の対応する位置に、点検画像のリンクポイントを配置することにより、点検画像相互の位置関係を把握する表示技術が提案されている。
　例えば、特許文献１に記載されている技術では、橋梁の３次元モデルと点検画像とを対応する位置関係に配置させることが記載されている（図８（ｂ））。
特開２０１１－１９２２７０号公報
　点検画像から損傷を検出するためには、点検画像における損傷を一定の解像で撮像しなければならない。例えば、点検画像は構造物の壁面に対して１～２ｍの被写体距離で撮影されることが多い。したがって、点検画像の画角は損傷箇所に対して小さい場合があり、この場合にはユーザは点検画像の表示領域を移動させながら、損傷を追跡して観察する必要がある。一方で、点検画像には損傷箇所が複数存在する場合や、損傷箇所が複雑な形状である場合があり、表示領域を移動した際に、正確に注目する損傷箇所を追跡して観察を行うことが困難な場合がある。
　上述した特許文献１では、点検画像の表示領域が移動する場合に、注目する損傷箇所を追跡することに関しては言及されていない。
　本発明はこのような事情に鑑みてなされたもので、その目的は、３次元モデル上の平面において表示領域が移動する場合であっても、注目する損傷箇所を見失うこと無く追跡して観察することができる画像表示装置、画像表示方法、及びプログラムを提供することである。
　上記目的を達成するための本発明の一の態様である画像表示装置は、構造物を撮影した点検画像で構成される構造物の全部又は一部の３次元モデル、及び点検画像において構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置であって、プロセッサは、メモリに記憶された３次元モデルを表示部に表示させ、表示部に表示された３次元モデル上の一部の指定を受け付けて、指定された箇所に対応する３次元モデルの対象平面の一部の領域を表示部に表示させ、対象平面における損傷箇所のうちの少なくとも一つの損傷箇所を対象損傷箇所として選択を受け付け、表示部に表示させる対象平面の表示領域を、検出情報に基づいて対象損傷箇所の形状に沿って移動させる。
　本態様によれば、対象平面の表示領域が対象損傷箇所の形状に沿って移動するので、対象平面の表示領域が移動した場合であっても、注目する対象損傷箇所を見失うことなく追跡して観察することができる。
　本発明の他の態様である画像表示装置は、構造物を撮影した点検画像で構成される構造物の全部又は一部の３次元モデル、及び点検画像において構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置であって、プロセッサは、メモリに記憶された３次元モデルを表示部に表示させ、表示部に表示された３次元モデル上の損傷箇所の指定を受け付けて、損傷箇所に対応する３次元モデルの対象平面の一部の領域を表示部に表示させ、表示部に表示させる対象平面の表示領域を、検出情報に基づいて損傷箇所である対象損傷箇所の形状に沿って移動させる。
　本態様によれば、対象平面の表示領域が対象損傷箇所の形状に沿って移動するので、対象平面の表示領域が移動した場合であっても、注目する対象損傷箇所を見失うことなく追跡して観察することができる。
　好ましくは、プロセッサは、表示部に、対象平面を正対させて表示させる。
　好ましくは、プロセッサは、表示部に、表示領域の移動の前後において、対象平面の拡大率を一定にして表示させる。
　好ましくは、プロセッサは、表示領域を表示部の一画面に相当する画角以内の設定画角ずつ間欠的に移動させ、且つ表示部の中央部に対象損傷箇所の一部を位置させる。
　好ましくは、プロセッサは、表示領域を連続的に移動させ、且つ表示部の中央部に対象損傷箇所の一部を位置させる。
　好ましくは、プロセッサは、対象損傷箇所に沿って移動するマーカを表示部に表示させる。
　好ましくは、プロセッサは、対象損傷箇所に沿って移動するマーカを表示部に表示させ、マーカが設定画角の端に達すると、表示領域を移動させる。
　好ましくは、プロセッサは、マーカを自動で移動させる。
　好ましくは、プロセッサは、表示部に対象損傷箇所の一部の領域の拡大画像を表示させる。
　本発明の他の態様である画像表示方法は、構造物を撮影した点検画像で構成される構造物の全部又は一部の３次元モデル、及び点検画像において構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置を使用した画像表示方法であって、プロセッサにより行われる、メモリに記憶された３次元モデルを表示部に表示させる工程と、表示部に表示された３次元モデル上の一部の指定を受け付けて、指定された箇所に対応する３次元モデルの対象平面の一部の領域を表示部に表示させる工程と、対象平面における損傷箇所のうちの少なくとも一つの損傷箇所を対象損傷箇所として選択を受け付ける工程と、表示部に表示させる対象平面の表示領域を、検出情報に基づいて対象損傷箇所の形状に沿って移動させる工程と、を含む。
　本発明の他の態様である画像表示方法は、構造物を撮影した点検画像で構成される構造物の全部又は一部の３次元モデル、及び点検画像において構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置を使用した画像表示方法であって、プロセッサにより行われる、メモリに記憶された３次元モデルを表示部に表示させる工程と、表示部に表示された３次元モデル上の損傷箇所の指定を受け付けて、損傷箇所に対応する３次元モデルの対象平面の一部の領域を表示部に表示させる工程と、表示部に表示させる対象平面の表示領域を、検出情報に基づいて損傷箇所である対象損傷箇所の形状に沿って移動させる工程と、を含む。
　本発明の他の態様であるプログラムは、構造物を撮影した点検画像で構成される構造物の全部又は一部の３次元モデル、及び点検画像において構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置に画像表示方法を行わせるプログラムであって、プロセッサに、メモリに記憶された３次元モデルを表示部に表示させる工程と、表示部に表示された３次元モデル上の一部の指定を受け付けて、指定された箇所に対応する３次元モデルの対象平面の一部の領域を表示部に表示させる工程と、対象平面における損傷箇所のうちの少なくとも一つの損傷箇所を対象損傷箇所として選択を受け付ける工程と、表示部に表示させる対象平面の表示領域を、検出情報に基づいて対象損傷箇所の形状に沿って移動させる工程と、を行わせる。
　本発明の他の態様であるプログラムは、構造物を撮影した点検画像で構成される構造物の全部又は一部の３次元モデル、及び点検画像において構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置に画像表示方法を行わせるプログラムであって、プロセッサに、メモリに記憶された３次元モデルを表示部に表示させる工程と、表示部に表示された３次元モデル上の損傷箇所の指定を受け付けて、損傷箇所に対応する３次元モデルの対象平面の一部の領域を表示部に表示させる工程と、表示部に表示させる対象平面の表示領域を、検出情報に基づいて損傷箇所である対象損傷箇所の形状に沿って移動させる工程と、を行わせる。
　本発明によれば、３次元モデルの平面の表示領域が対象損傷箇所の形状に沿って移動するので、対象平面の表示領域が移動した場合であっても注目する損傷箇所を見失うことなく追跡して観察することができる。
図１は、画像表示装置の主な構成例を示す図である。 図２は、３次元モデルの一例を示す図である。 図３は、点検画像の一例を示す図である。 図４は、損傷ベクトルに関して説明する図である。 図５は、損傷ベクトルに関して説明する図である。 図６は、画像表示方法に関して説明する図である。 図７は、３次元モデルを示す図である。 図８は、表示部に表示された表示領域を示す図である。 図９は、第１の移動形態を説明する図である。 図１０は、第１の移動形態を説明する図である。 図１１は、第２の移動形態を説明する図である。 図１２は、第２の移動形態を説明する図である。 図１３は、画像表示方法を示すフロー図である 図１４は、画像表示装置の主な構成例である。 図１５は、マーカの表示の一例を示す図である。 図１６は、マーカの表示の一例を示す図である。 図１７は、マーカの表示及びサブウィンドウＷの表示の一例を示す図である。
　以下、添付図面にしたがって本発明に係る画像表示装置、画像表示方法、及びプログラムの好ましい実施の形態について説明する。
　＜第１の実施形態＞
　図１は、画像表示装置１の主な構成例を示す図である。
　画像表示装置１はコンピュータで構成される。画像表示装置１は、装置本体１１、表示部２１、及び操作部２３により構成される。
　装置本体１１は、ＣＰＵ（Central Processing Unit）（プロセッサ）１３、メモリ１５、表示制御部１７、受付部１９を備える。
　ＣＰＵ１３は、画像表示装置１の全般的な制御を行う。ＣＰＵ１３は、メモリ１５から必要なプログラム及び各種制御に用いる情報を読み出して、ＣＰＵ１３で行われる各種処理及び各種制御を行う。ＣＰＵ１３は、プログラムを実行させて表示制御部１７及び受付部１９を実現させる。
　ＣＰＵ１３のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の機能部として作用する汎用的なプロセッサであるＣＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の機能部を１つのプロセッサで構成してもよい。複数の機能部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能部として作用させる形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の機能部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　表示部２１はモニタで構成される。表示部２１は、表示制御部１７の制御の下で３次元モデル、及びユーザが３次元モデル上で指定した対象平面を表示する。
　受付部１９は、操作部２３を介してユーザの指令を受け付ける。例えば、操作部２３はマウス等のポインティングデバイスやキーボードで構成され、ユーザは操作部２３に指令を入力することにより、受付部１９でその指令が受け付けられる。
　メモリ１５は、ＣＰＵ１３で実現される機能に必要なプログラムを記憶する。また、メモリ１５は、点検対象の構造物の全部または一部の３次元モデル、及び検出情報を記憶する。またメモリ１５は、必要に応じて点検画像を記憶する。ここで点検画像とは、点検対象である構造物を撮影した画像である。例えばメモリ１５は、点検対象である構造物を網羅的に撮影した多数の点検画像を記憶する。
　３次元モデルは、点検対象である構造物の全体構造を表すモデルである。例えば３次元モデルの３次元形状は３次元ＣＡＤ（computer-aided design）に基づいて作成される。また、３次元モデルの表面は点検画像が貼り付けられている。例えば複数の点検画像がパノラマ合成されて、３次元モデルの表面に貼り付けられている。なお、点検画像に写っている構造物の箇所と、その点検画像が貼り付けられる３次元モデル上の位置とは対応している。したがって、ユーザは３次元モデルにより点検画像の相互の位置関係を把握することができる。
　検出情報は、構造物の点検画像において構造物の損傷箇所を検出した情報である。例えば検出情報は、点検画像を画像処理することに取得されたり、点検画像を機械学習が施された認識器で処理されたりすることにより取得される。また損傷箇所とは、損傷が位置する場所であり、例えばひび割れ、鉄筋露出などの損傷が位置する場所である。また、損傷箇所として、ひび割れを点検作業員がチョーク等でなぞった印も損傷箇所として含まれる。
　次に、メモリ１５に記憶される３次元モデルに関して説明する。
　図２は、表示部２１に表示された３次元モデルの一例を示す図である。
　図２に示す３次元モデルＮは、構造物である柱の全体構造を表している。柱は直方体形状を有し、直方体を構成する各面（表面）にはパノラマ合成された点検画像が貼り付けられている。具体的には、３次元モデルＮの面ＮＡ、面ＮＢ、面ＮＣには、位置的に対応する複数の点検画像がパノラマ合成されて、貼り付けられている。したがって、ユーザは３次元モデルＮ上の位置を指定し拡大表示をさせることにより、その位置に対応する柱の点検画像を観察することができる。なお、ユーザは、損傷箇所Ｂが大きい場合には３次元モデルＮにおいて損傷箇所Ｂを視認することができ、損傷箇所Ｂが小さい場合には３次元モデル上の位置を指定し拡大表示を行った後に損傷箇所Ｂを視認することができる。なお、上述した３次元モデルＮは一例であり、本発明においては他の３次元モデルも使用される。構造物の全体構造を表す３次元モデルとして、点群モデル、テクスチャモデル、及びソリッドモデルが採用され、少なくとも対応する位置に点検画像のリンクポイントが配置されていればよい。
　次に、メモリ１５に記憶される検出情報に関して説明する。
　図３は、点検画像の一例を示す図である。図３に示された点検画像５３は、損傷箇所を画像処理又は機械学習が施された認識器で検出する観点から損傷箇所を一定以上の解像で撮像する必要があり、柱の壁面に対して１～２ｍの被写体距離で撮影される。点検画像５３には、ひび割れ５５が写っている。ひび割れ５５は、画像処理技術又は機械学習が施された認識器（セグメンテーション認識器）により検出される。ひび割れ５５を検出することにより、ひび割れ５５の損傷情報が得られる。ここで、損傷情報には、検出した損傷箇所に関する様々な情報が含まれる。例えば、損傷箇所の形状、損傷の程度、損傷の種類、損傷の原因等が損傷情報に含まれる。また、後で説明をする損傷の形状を示す損傷ベクトルも損傷情報に含まれる。
　図４及び図５は、検出したひび割れ５５の損傷情報の一例である損傷ベクトルに関して説明する図である。図４はひび割れ５５に基づいて生成された損傷ベクトルを点検画像５３に重畳させて示した図であり、図５は各損傷ベクトルを示す点Ｐ１～Ｐ７の座標を示す図である。検出したひび割れ５５に基づいて、損傷ベクトルを生成する手法の一例は以下の通りである。先ず、検出したひび割れ５５を必要に応じて２値化及び／又は細線化する。そして、検出したひび割れ５５において直線近似ができる線分を１区間として始点及び終点を決定する。また、検出したひび割れ５５において枝分かれする箇所がある場合には、枝分かれする箇所において点が設けられる。なお、検出したひび割れ５５に基づいて損傷ベクトルを生成する手法は他の公知の技術が用いられてもよい。
　ひび割れ５５は、始点Ｐ１及び終点Ｐ２で表されるベクトルＣ１－１と、始点Ｐ２及び終点Ｐ３で表されるベクトルＣ１－２と、始点Ｐ３及び終点Ｐ４で表されるベクトルＣ１－３と、始点Ｐ３及び終点Ｐ５で表されるベクトルＣ１－４と、始点Ｐ３及び終点Ｐ６で表されるベクトルＣ１－５と、始点Ｐ６及び終点Ｐ７で表されるベクトルＣ１－６とで表される。なおＰ１～Ｐ７は、図５に示すようにそれぞれ座標を有し、点検画像５３上での位置が特定されている。
　次に、画像表示装置１を使用した画像表示方法及び画像表示装置１に画像表示方法を行わせるプログラムに関して説明する。
　図６は、画像表示装置１を用いて行われる画像表示方法に関して説明する図である。
　先ず、表示制御部１７は、メモリ１５に記憶された３次元モデルＭ（図７を参照）を表示部２１に表示させる（ステップＳ１０：３次元モデルの表示工程）。次に、受付部１９は、ユーザからの３次元モデルＭの一部の領域の指定を操作部２３を介して受け付ける（ステップＳ１１：対象平面の受付工程）。表示制御部１７は、指定された対象平面の一部の領域を表示部２１に表示させる（ステップＳ１２：対象平面の表示工程）。その後、受付部１９は、ユーザからの対象損傷箇所の選択を操作部２３を介して受け付ける（ステップＳ１３：対象損傷の受付工程）。次に、表示制御部１７は、対象平面の表示領域を対象損傷箇所の形状に沿って移動させる（ステップＳ１４：表示領域の移動工程）。
　次に、上述した各工程に関して説明を行う。
　＜３次元モデルの表示工程及び対象平面の受付工程＞
　３次元モデルの表示工程では、表示制御部１７により３次元モデルＭが表示部２１に表示される（ステップＳ１０）。
　図７は、表示部２１に表示された３次元モデルＭを示す図である。
　３次元モデルＭは、構造物である橋梁の全体構造を表す３次元モデルである。３次元モデルＭの各面には、橋梁を撮影して得た点検画像がパノラマ合成されて貼り付けられている。３次元モデルＭは、自由に回転して視点を移動させることができる。
　対象平面の受付工程では、受付部１９により操作部２３を介してユーザから対象平面の指定を受け付ける（ステップＳ１１）。
　ユーザは、表示部２１に表示された３次元モデルＭにおいて、より詳細に観察したい箇所を操作部２３により指定する。例えば、ユーザは表示部２１に表示されたカーソル６１で、３次元モデルＭの一部の対象平面ＭＡを指定することにより、対象平面ＭＡの一部の領域が表示部２１に表示される。
　＜対象平面の表示工程及び対象損傷箇所の受付工程＞
　対象平面の表示工程では、表示制御部１７によりユーザが指定した対象平面ＭＡの一部の表示領域６３（以下、表示領域６３という）を表示部２１に表示させる（ステップＳ１２）。
　図８は、表示部２１に表示された表示領域６３を示す図である。対象平面ＭＡの一部の表示領域６３は、３次元モデルＭと比較すると拡大されて表示される。したがって、３次元モデルＭの表示領域６３には、ひび割れ５５に対応する対象損傷箇所６５が表示される。
　対象損傷箇所の受付工程では、受付部１９により操作部２３を介してユーザから対象損傷箇所の選択を受け付ける（ステップＳ１３）。ユーザは、表示部２１に表示された表示領域６３を観察して、注目して観察する対象損傷箇所の選択を行う。図８に示した場合では、対象損傷箇所６５がカーソル６１で選択され、対象損傷箇所として選択される。
　＜表示領域の移動工程＞
　表示領域の移動工程では、表示制御部１７により、対象平面ＭＡの表示領域が対象損傷箇所６５に沿って移動させられる（ステップＳ１４）。表示領域６３は画角が小さく、対象損傷箇所６５の全体が表示されていない。したがって、ユーザは対象平面ＭＡの表示領域を移動させながら対象損傷箇所６５の全体を観察する。表示領域の移動は、ユーザの手動又は自動により行うことができる。以下に、対象平面ＭＡの表示領域の移動形態に関して説明する。
　（第１の移動形態）
　先ず、対象平面ＭＡの表示領域の第１の移動形態に関して説明する。
　図９及び図１０は、対象平面ＭＡの表示領域６３の第１の移動形態を説明する図である。図９は対象平面ＭＡ上の表示領域６３から表示領域７３の移動を模式的に示した図であり、図１０は表示部２１に表示される表示領域６３及び表示領域７３を示した図である。第１の移動形態においては、表示制御部１７は、対象平面ＭＡの表示領域を表示部２１の一画面に相当する設定画角ずつ間欠的に移動させる。すなわち、第１の移動形態においては、表示領域６３が表示された後に表示領域７３が表示される。なお、本例では表示部２１の一画角毎に表示領域が移動するがこれに限定されず、一画角以内であれば移動する表示領域は適宜設定することができる。例えば、０．５画角毎に表示領域が移動してもよい。また、表示制御部１７は、対象損傷箇所６５の一部が表示部２１の中央部に位置するように表示領域６３から表示領域７３に移動させる。なお、対象損傷箇所６５に枝分かれする箇所がある場合には、メインの枝に沿って表示領域は移動する。ここで、メインの枝は損傷情報により決定される。例えば、枝分かれ後の損傷毎に、損傷個所の損傷の程度、平均幅、面積、及び長さ等に基づきスコアが算出される。かかるスコアに基づき、より観察の優先順位の高いメインの枝が決定される。
　表示制御部１７は、表示領域６３及び表示領域７３において対象平面ＭＡを正対した状態で表示させる。また、表示制御部１７は、対象平面ＭＡの拡大率を同一にして表示領域６３と表示領域７３とを表示する。このように、表示領域６３から表示領域７３へ移動することにより、対象損傷箇所６５を見失うことなく追跡して観察することができる。なお、表示領域６３から表示領域７３に移動するタイミングは、ユーザにより適宜設定される。例えば、手動での表示領域の移動が行われる場合には、ユーザが操作部２３を介して移動の指令を入力すると表示領域６３から表示領域７３に移動する。また、自動での表示領域の移動が行われる場合には、所定の時間が経過した場合に、表示領域６３から表示領域７３に移動する。また、以下で説明する第３の実施形態のように、マーカを基準にして表示領域６３から表示領域７３に移動してもよい。
　（第２の移動形態）
　次に、対象平面ＭＡの表示領域の第２の移動形態に関して説明する。
　図１１及び図１２は、対象平面ＭＡの表示領域６３の第２の移動形態を説明する図である。図１１は対象平面ＭＡ上の表示領域６３から表示領域８３の移動を模式的に示した図であり、図１２は表示部２１に表示される表示領域６３及び表示領域８３を示した図である。表示制御部１７は、第２の移動形態においては表示領域を連続的に移動させる。すなわち、第２の実施形態においては、ユーザが表示領域を移動させた場合には、表示領域は連続的に移動する。表示制御部１７は、表示領域６３及び表示領域８３において対象平面ＭＡを正対した状態で表示させる。また、表示制御部１７は、対象平面ＭＡの拡大率を同一にして表示領域６３と表示領域８３とを表示する。このように、表示領域６３から表示領域８３へ移動することにより、対象損傷箇所６５を見失うことなく追跡して観察することができる。なお、表示領域６３から表示領域８３に移動するタイミングは、上述した第１の移動形態で説明した形態と同様である。
　以上で説明したように、本実施形態においては、対象平面の表示領域が対象損傷箇所の形状に沿って移動するので、対象平面の表示領域が移動した場合であっても対象損傷箇所を見失うことなく追跡して観察することができる。
　上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
　＜第２の実施形態＞
　次に、本発明の第２の実施形態に関して説明する。本実施形態では、３次元モデル上において損傷箇所の視認が可能であり、ユーザが３次元モデル上において対象損傷箇所を選択する実施形態である。
　図１３は、本実施形態における画像表示装置１を使用した画像表示方法を示すフロー図である。
　先ず、表示制御部１７は、メモリ１５に記憶された３次元モデルを表示部２１に表示させる（ステップＳ２０：３次元モデルの表示工程）。次に、受付部１９は、ユーザからの３次元モデル上の対象損傷箇所の選択を操作部２３を介して受け付ける（ステップＳ２１：対象損傷の受付工程）。本実施形態においては、点検対象である橋梁の全体構造を表現した３次元モデルにおいても、対象損傷箇所の選択が可能である。例えば、対象損傷箇所が大きい場合には、ユーザは３次元モデル上において対象損傷箇所の選択を行うことができる。また、損傷箇所が損傷形状モデルのようにイメージ化され３次元モデルに貼り付けられている場合にも、ユーザは３次元モデル上において損傷箇所の選択を行うことができる。表示制御部１７は、選択された対象損傷箇所を含む対象平面の一部を表示部２１に表示させる（ステップＳ２２：対象平面の表示工程）。表示制御部１７は、対象損傷箇所を有する３次元モデル上の面を特定し、その面を対象平面とし一部の領域を表示部２１に表示させる。その後、対象損傷箇所に沿って対象平面の表示領域が移動される（ステップＳ２３：表示領域の移動工程）。
　以上で説明したように、本実施形態では、３次元モデル上において対象損傷箇所が選択され、対象損傷箇所を有する３次元モデル上の平面が特定され、その平面が対象平面として表示され、対象平面の表示領域は、対象損傷箇所に沿って移動する。したがって、本態様によれば効率的に対象損傷箇所を選択することができ、対象平面の表示領域が移動した場合であっても対象損傷箇所を見失うことなく追跡して観察することができる。
　＜第３の実施形態＞
　次に、本発明の第３の実施形態に関して説明する。本実施形態では、対象損傷箇所の観察の補助表示としてマーカが表示される。
　図１４は、本実施形態の画像表示装置１の主な構成例である。なお、図１で既に説明を行った箇所は同じ符号を付し説明は省略する。
　マーカ表示制御部９１は、対象損傷箇所６５に沿って移動するマーカを表示部２１に表示させる。また、マーカ表示制御部９１は、表示部２１に表示させたマーカを移動させる。マーカ表示制御部９１は、マーカを自動で対象損傷箇所に沿って移動させてもよいし、マーカをユーザの操作に基づいて対象損傷箇所に沿って移動させてもよい。以下にマーカの表示の具体例に関して説明する。
　図１５は、マーカの表示の一例を示す図である。マーカ表示制御部９１は、対象損傷箇所に沿ってマーカＱ１－１～Ｑ１－５を表示する。マーカ表示制御部９１は、対象損傷箇所６５に沿ってマーカＱ１－１～マーカＱ１－５が自動で順次表示する。例えば、ユーザが対象損傷箇所を選択した後に、マーカＱ１－１が表示され、その後、マーカＱ１－２、マーカＱ１－３、マーカＱ１－４、マーカＱ１－５と順次表示される。マーカＱ１－５が表示された場合には、マーカＱ１－１～マーカＱ１－５の全てが表示される。なお、図１５に示すように、対象損傷箇所６５に分岐がある場合には、例えば損傷情報に基づいてメインの対象損傷箇所６５に沿って、マーカＱ１－１～マーカＱ１－５が表示される。また、マーカＱ１－１～マーカＱ１－５の全てが表示された際に、表示部２１は表示領域の移動を行う。上述した第１の移動形態（図９及び図１０参照）においては、マーカＱ１－１～マーカＱ１－５の全てが表示された際に、表示領域６３から表示領域７３に移動される。このように、対象損傷箇所６５に沿って、マーカを表示させることによって、ユーザは表示部２１に表示された対象損傷箇所を見失うことなく追跡して観察することができる。また、マーカの表示のタイミングと表示領域の移動のタイミングを対応させることにより、ユーザに表示領域の移動のタイミングを報知することができる。
　図１６は、マーカの表示の一例を示す図である。マーカ表示制御部９１は、対象損傷箇所に沿ってマーカＱ２を表示する。マーカ表示制御部９１は、対象損傷箇所６５に重畳させてマーカＱ２を手動で表示する。例えば、マーカ表示制御部９１は、ユーザが操作部２３を介して入力する指令に基づいて、マーカＱ２を対象損傷箇所６５に重畳させて移動させる。また、表示制御部１７は、マーカＱ２が表示領域６３の画角の端に達すると、上述した第１の移動形態（図９及び図１０参照）で説明したように、表示領域６３から表示領域７３に移動させる。このように、対象損傷箇所６５に沿って、マーカを表示させることによって、ユーザは表示部２１に表示された対象損傷箇所を見失うことなく追跡して観察することができる。また、ユーザが手動で動かすマーカの移動（画角に端に達するタイミング）と、表示領域の移動のタイミングとを合わせることにより、ユーザは所望のタイミングで表示領域の移動を行うことができる。
　図１７は、マーカの表示及びサブウィンドウＷの表示の一例を示す図である。なお、図１７で示される表示領域７１は、図１６で示された表示領域６３と比較して広角に表示されている。マーカ表示制御部９１は、対象損傷箇所６５に重畳させてマーカＱ２を表示させ、マーカＱ２を手動により移動させる。また、表示制御部１７は、表示部２１にサブウィンドウＷを表示させる。サブウィンドウＷには、マーカＱ２が位置する箇所の対象損傷箇所６５の拡大画像が表示される。このように、マーカＱ２が位置する箇所の対象損傷箇所６５の拡大画像が表示されることにより、ユーザはより損傷箇所に関して細かい部分まで観察を行うことができる。
　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１　　　　：画像表示装置
９　　　　：表示部
１１　　　：装置本体
１３　　　：ＣＰＵ
１５　　　：メモリ
１７　　　：表示制御部
１９　　　：受付部
２１　　　：表示部
２３　　　：操作部
９１　　　：マーカ表示制御部
Ｍ　　　　：３次元モデル
Ｎ　　　　：３次元モデル
Ｗ　　　　：サブウィンドウ

Claims (14)

  1. 　構造物を撮影した点検画像で構成される前記構造物の全部又は一部の３次元モデル、及び前記点検画像において前記構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置であって、
    　前記プロセッサは、
    　前記メモリに記憶された前記３次元モデルを前記表示部に表示させ、
    　前記表示部に表示された前記３次元モデル上の一部の指定を受け付けて、前記指定された箇所に対応する前記３次元モデルの対象平面の一部の領域を前記表示部に表示させ、　前記対象平面における前記損傷箇所のうちの少なくとも一つの前記損傷箇所を対象損傷箇所として選択を受け付け、
    　前記表示部に表示させる前記対象平面の表示領域を、前記検出情報に基づいて前記対象損傷箇所の形状に沿って移動させる、
    　画像表示装置。
  2. 　構造物を撮影した点検画像で構成される前記構造物の全部又は一部の３次元モデル、及び前記点検画像において前記構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置であって、
    　前記プロセッサは、
    　前記メモリに記憶された前記３次元モデルを前記表示部に表示させ、
    　前記表示部に表示された前記３次元モデル上の前記損傷箇所の指定を受け付けて、前記損傷箇所に対応する前記３次元モデルの対象平面の一部の領域を前記表示部に表示させ、　前記表示部に表示させる前記対象平面の表示領域を、前記検出情報に基づいて前記損傷箇所である対象損傷箇所の形状に沿って移動させる、
    　画像表示装置。
  3. 　前記プロセッサは、前記表示部に、前記対象平面を正対させて表示させる請求項１又は２に記載の画像表示装置。
  4. 　前記プロセッサは、前記表示部に、前記表示領域の移動の前後において、前記対象平面の拡大率を一定にして表示させる請求項１から３のいずれか１項に記載の画像表示装置。
  5. 　前記プロセッサは、前記表示領域を前記表示部の一画面に相当する画角以内の設定画角ずつ間欠的に移動させ、且つ前記表示部の中央部に前記対象損傷箇所の一部を位置させる請求項１から４のいずれか１項に記載の画像表示装置。
  6. 　前記プロセッサは、前記表示領域を連続的に移動させ、且つ前記表示部の中央部に前記対象損傷箇所の一部を位置させる請求項１から４のいずれか１項に記載の画像表示装置。
  7. 　前記プロセッサは、前記対象損傷箇所に沿って移動するマーカを前記表示部に表示させる請求項６に記載の画像表示装置。
  8. 　前記プロセッサは、前記対象損傷箇所に沿って移動するマーカを前記表示部に表示させ、前記マーカが前記設定画角の端に達すると、前記表示領域を移動させる請求項５に記載の画像表示装置。
  9. 　前記プロセッサは、前記マーカを自動で移動させる請求項７又は８に記載の画像表示装置。
  10. 　前記プロセッサは、前記表示部に前記対象損傷箇所の一部の領域の拡大画像を表示させる請求項１から９のいずれか１項に記載の画像表示装置。
  11. 　構造物を撮影した点検画像で構成される前記構造物の全部又は一部の３次元モデル、及び前記点検画像において前記構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置を使用した画像表示方法であって、　前記プロセッサにより行われる、
    　前記メモリに記憶された前記３次元モデルを前記表示部に表示させる工程と、
    　前記表示部に表示された前記３次元モデル上の一部の指定を受け付けて、前記指定された箇所に対応する前記３次元モデルの対象平面の一部の領域を前記表示部に表示させる工程と、
    　前記対象平面における前記損傷箇所のうちの少なくとも一つの前記損傷箇所を対象損傷箇所として選択を受け付ける工程と、
    　前記表示部に表示させる前記対象平面の表示領域を、前記検出情報に基づいて前記対象損傷箇所の形状に沿って移動させる工程と、
    　を含む画像表示方法。
  12. 　構造物を撮影した点検画像で構成される前記構造物の全部又は一部の３次元モデル、及び前記点検画像において前記構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置を使用した画像表示方法であって、　前記プロセッサにより行われる、
    　前記メモリに記憶された前記３次元モデルを前記表示部に表示させる工程と、
    　前記表示部に表示された前記３次元モデル上の前記損傷箇所の指定を受け付けて、前記損傷箇所に対応する前記３次元モデルの対象平面の一部の領域を前記表示部に表示させる工程と、
    　前記表示部に表示させる前記対象平面の表示領域を、前記検出情報に基づいて前記損傷箇所である対象損傷箇所の形状に沿って移動させる工程と、
    　を含む画像表示方法。
  13. 　構造物を撮影した点検画像で構成される前記構造物の全部又は一部の３次元モデル、及び前記点検画像において前記構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置に画像表示方法を行わせるプログラムであって、
    　前記プロセッサに、
    　前記メモリに記憶された前記３次元モデルを前記表示部に表示させる工程と、
    　前記表示部に表示された前記３次元モデル上の一部の指定を受け付けて、前記指定された箇所に対応する前記３次元モデルの対象平面の一部の領域を前記表示部に表示させる工程と、
    　前記対象平面における前記損傷箇所のうちの少なくとも一つの前記損傷箇所を対象損傷箇所として選択を受け付ける工程と、
    　前記表示部に表示させる前記対象平面の表示領域を、前記検出情報に基づいて前記対象損傷箇所の形状に沿って移動させる工程と、
    　を行わせるプログラム。
  14. 　構造物を撮影した点検画像で構成される前記構造物の全部又は一部の３次元モデル、及び前記点検画像において前記構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置に画像表示方法を行わせるプログラムであって、
    　前記プロセッサに、
    　前記メモリに記憶された前記３次元モデルを前記表示部に表示させる工程と、
    　前記表示部に表示された前記３次元モデル上の前記損傷箇所の指定を受け付けて、前記損傷箇所に対応する前記３次元モデルの対象平面の一部の領域を前記表示部に表示させる工程と、
    　前記表示部に表示させる前記対象平面の表示領域を、前記検出情報に基づいて前記損傷箇所である対象損傷箇所の形状に沿って移動させる工程と、
    　を行わせるプログラム。
PCT/JP2021/001926 2020-02-28 2021-01-21 画像表示装置、画像表示方法、及びプログラム WO2021171839A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022503154A JP7447238B2 (ja) 2020-02-28 2021-01-21 画像表示装置、画像表示方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020033960 2020-02-28
JP2020-033960 2020-02-28

Publications (1)

Publication Number Publication Date
WO2021171839A1 true WO2021171839A1 (ja) 2021-09-02

Family

ID=77490924

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/001926 WO2021171839A1 (ja) 2020-02-28 2021-01-21 画像表示装置、画像表示方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP7447238B2 (ja)
WO (1) WO2021171839A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023040514A1 (zh) * 2021-09-15 2023-03-23 北京有竹居网络技术有限公司 临摹信息确定方法、装置、计算机设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017110279A1 (ja) * 2015-12-25 2017-06-29 富士フイルム株式会社 損傷情報処理装置及び損傷情報処理方法
JP2017130049A (ja) * 2016-01-20 2017-07-27 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2017168077A (ja) * 2016-03-09 2017-09-21 株式会社リコー 画像処理方法、表示装置および点検システム
WO2018037689A1 (ja) * 2016-08-22 2018-03-01 富士フイルム株式会社 画像処理装置及び画像処理方法
JP2019169108A (ja) * 2018-03-26 2019-10-03 富士通株式会社 画像処理装置、方法、及びプログラム
JP2019194562A (ja) * 2018-04-26 2019-11-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2020160944A (ja) * 2019-03-27 2020-10-01 富士通株式会社 点検作業支援装置、点検作業支援方法及び点検作業支援プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017110279A1 (ja) * 2015-12-25 2017-06-29 富士フイルム株式会社 損傷情報処理装置及び損傷情報処理方法
JP2017130049A (ja) * 2016-01-20 2017-07-27 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2017168077A (ja) * 2016-03-09 2017-09-21 株式会社リコー 画像処理方法、表示装置および点検システム
WO2018037689A1 (ja) * 2016-08-22 2018-03-01 富士フイルム株式会社 画像処理装置及び画像処理方法
JP2019169108A (ja) * 2018-03-26 2019-10-03 富士通株式会社 画像処理装置、方法、及びプログラム
JP2019194562A (ja) * 2018-04-26 2019-11-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2020160944A (ja) * 2019-03-27 2020-10-01 富士通株式会社 点検作業支援装置、点検作業支援方法及び点検作業支援プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023040514A1 (zh) * 2021-09-15 2023-03-23 北京有竹居网络技术有限公司 临摹信息确定方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
JP7447238B2 (ja) 2024-03-11
JPWO2021171839A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
JP4492654B2 (ja) ３次元計測方法および３次元計測装置
JP5791976B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4774824B2 (ja) ３次元計測処理の計測対象範囲の確認方法および計測対象範囲の設定方法ならびに各方法を実施する装置
CN108965690B (zh) 图像处理系统、图像处理装置及计算机可读存储介质
US20210023718A1 (en) Three-dimensional data generation device and robot control system
JP6970817B2 (ja) 構造物管理装置、構造物管理方法、及び構造物管理プログラム
JP2013167481A (ja) 画像処理装置およびプログラム
US12069224B2 (en) Image display apparatus, image display method, and image display program
US9595095B2 (en) Robot system
JP7406875B2 (ja) 情報処理装置およびプログラム
JP6392922B1 (ja) 検査システムの検査対象外となる領域を算出する装置、および検査対象外となる領域を算出する方法
JP2018048839A (ja) 三次元データ生成装置及び三次元データ生成方法、並びに三次元データ生成装置を備えた監視システム
JP2021196705A (ja) 画像処理装置、画像処理方法およびプログラム
WO2021171839A1 (ja) 画像表示装置、画像表示方法、及びプログラム
JP2009175012A (ja) 計測装置および計測方法
US11055865B2 (en) Image acquisition device and method of operating image acquisition device
JP2024012527A (ja) 情報表示装置、方法及びプログラム
US20220406018A1 (en) Three-dimensional display device, three-dimensional display method, and three-dimensional display program
JP6989877B2 (ja) 位置座標算出方法及び位置座標算出装置
JPH11175692A (ja) 関節の動きデータ収集装置
JP2016142577A (ja) 画像処理装置、画像処理方法、画像処理システム、及びプログラム
US12131455B2 (en) Image display apparatus, image display method, and image display program
US20220130029A1 (en) Image display apparatus, image display method, and image display program
JP2020134221A (ja) 走査経路生成装置、走査経路生成プログラム、走査経路生成方法、及び外観検査システム
JP2012154672A (ja) 画像処理方法、プログラム、および画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21761701

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022503154

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21761701

Country of ref document: EP

Kind code of ref document: A1