JP7447238B2 - Image display device, image display method, and program - Google Patents

Image display device, image display method, and program Download PDF

Info

Publication number
JP7447238B2
JP7447238B2 JP2022503154A JP2022503154A JP7447238B2 JP 7447238 B2 JP7447238 B2 JP 7447238B2 JP 2022503154 A JP2022503154 A JP 2022503154A JP 2022503154 A JP2022503154 A JP 2022503154A JP 7447238 B2 JP7447238 B2 JP 7447238B2
Authority
JP
Japan
Prior art keywords
display
display unit
dimensional model
target
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022503154A
Other languages
Japanese (ja)
Other versions
JPWO2021171839A1 (en
JPWO2021171839A5 (en
Inventor
正志 藏之下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021171839A1 publication Critical patent/JPWO2021171839A1/ja
Publication of JPWO2021171839A5 publication Critical patent/JPWO2021171839A5/ja
Application granted granted Critical
Publication of JP7447238B2 publication Critical patent/JP7447238B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、画像表示装置、画像表示方法、及びプログラムに関し、特に3次元モデルを表示する画像表示装置、画像表示方法、及びプログラムに関する。 The present invention relates to an image display device, an image display method, and a program, and more particularly to an image display device, an image display method, and a program for displaying a three-dimensional model.

近年、構造物の点検を行う場合にデジタルカメラ(撮像装置)により構造物を撮影し、得られた点検画像に基づいて点検作業が行われている。このような点検作業では、構造物の様々な箇所を撮影するために、多数の点検画像が取得される。そして、点検対象である構造物の全体構造を大まかに表現した3次元モデル上の対応する位置に、点検画像のリンクポイントを配置することにより、点検画像相互の位置関係を把握する表示技術が提案されている。 In recent years, when inspecting a structure, the structure is photographed using a digital camera (imaging device), and inspection work is performed based on the obtained inspection image. In such inspection work, a large number of inspection images are acquired in order to photograph various parts of the structure. We also proposed a display technology that grasps the mutual positional relationship between inspection images by arranging link points of inspection images at corresponding positions on a three-dimensional model that roughly represents the overall structure of the structure to be inspected. has been done.

例えば、特許文献1に記載されている技術では、橋梁の3次元モデルと点検画像とを対応する位置関係に配置させることが記載されている(図8(b))。 For example, the technique described in Patent Document 1 describes that a three-dimensional model of a bridge and an inspection image are arranged in a corresponding positional relationship (FIG. 8(b)).

特開2011-192270号公報Japanese Patent Application Publication No. 2011-192270

点検画像から損傷を検出するためには、点検画像における損傷を一定の解像で撮像しなければならない。例えば、点検画像は構造物の壁面に対して1~2mの被写体距離で撮影されることが多い。したがって、点検画像の画角は損傷箇所に対して小さい場合があり、この場合にはユーザは点検画像の表示領域を移動させながら、損傷を追跡して観察する必要がある。一方で、点検画像には損傷箇所が複数存在する場合や、損傷箇所が複雑な形状である場合があり、表示領域を移動した際に、正確に注目する損傷箇所を追跡して観察を行うことが困難な場合がある。 In order to detect damage from an inspection image, the damage in the inspection image must be captured at a constant resolution. For example, inspection images are often taken at a subject distance of 1 to 2 meters from the wall of a structure. Therefore, the angle of view of the inspection image may be small relative to the damage location, and in this case, the user needs to track and observe the damage while moving the display area of the inspection image. On the other hand, an inspection image may have multiple damaged locations or have a complex shape, so it is difficult to accurately track and observe the damaged location when moving the display area. may be difficult.

上述した特許文献1では、点検画像の表示領域が移動する場合に、注目する損傷箇所を追跡することに関しては言及されていない。 The above-mentioned Patent Document 1 does not mention tracking the damage location of interest when the display area of the inspection image moves.

本発明はこのような事情に鑑みてなされたもので、その目的は、3次元モデル上の平面において表示領域が移動する場合であっても、注目する損傷箇所を見失うこと無く追跡して観察することができる画像表示装置、画像表示方法、及びプログラムを提供することである。 The present invention has been made in view of these circumstances, and its purpose is to track and observe the damaged area of interest without losing sight of it, even when the display area moves on a plane on a three-dimensional model. An object of the present invention is to provide an image display device, an image display method, and a program that can display images.

上記目的を達成するための本発明の一の態様である画像表示装置は、構造物を撮影した点検画像で構成される構造物の全部又は一部の3次元モデル、及び点検画像において構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置であって、プロセッサは、メモリに記憶された3次元モデルを表示部に表示させ、表示部に表示された3次元モデル上の一部の指定を受け付けて、指定された箇所に対応する3次元モデルの対象平面の一部の領域を表示部に表示させ、対象平面における損傷箇所のうちの少なくとも一つの損傷箇所を対象損傷箇所として選択を受け付け、表示部に表示させる対象平面の表示領域を、検出情報に基づいて対象損傷箇所の形状に沿って移動させる。 An image display device, which is one aspect of the present invention for achieving the above object, displays a three-dimensional model of all or part of a structure composed of inspection images taken of the structure, and a three-dimensional model of the structure in the inspection image. An image display device comprising a memory storing detection information of detected damage locations, a display section, and a processor, wherein the processor causes the display section to display the three-dimensional model stored in the memory; The designation of a part of the 3D model displayed on the 3D model is accepted, the part of the target plane of the 3D model that corresponds to the designated part is displayed on the display, and the damaged parts of the target plane are displayed. A selection of at least one damage location as a target damage location is accepted, and a display area of the target plane to be displayed on the display unit is moved along the shape of the target damage location based on the detection information.

本態様によれば、対象平面の表示領域が対象損傷箇所の形状に沿って移動するので、対象平面の表示領域が移動した場合であっても、注目する対象損傷箇所を見失うことなく追跡して観察することができる。 According to this aspect, the display area of the target plane moves along the shape of the target damage location, so even if the display area of the target plane moves, the target damage location of interest can be tracked without losing sight of it. can be observed.

本発明の他の態様である画像表示装置は、構造物を撮影した点検画像で構成される構造物の全部又は一部の3次元モデル、及び点検画像において構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置であって、プロセッサは、メモリに記憶された3次元モデルを表示部に表示させ、表示部に表示された3次元モデル上の損傷箇所の指定を受け付けて、損傷箇所に対応する3次元モデルの対象平面の一部の領域を表示部に表示させ、表示部に表示させる対象平面の表示領域を、検出情報に基づいて損傷箇所である対象損傷箇所の形状に沿って移動させる。 An image display device that is another aspect of the present invention provides a three-dimensional model of all or part of a structure that is composed of inspection images taken of the structure, and detection information that detects damaged locations of the structure in the inspection images. An image display device comprising a memory in which is stored, a display unit, and a processor, wherein the processor displays the three-dimensional model stored in the memory on the display unit, and displays the three-dimensional model displayed on the display unit. Upon receiving the designation of the damage location above, display a part of the target plane of the 3D model corresponding to the damage location on the display, and change the display area of the target plane to be displayed on the display based on the detected information. Move it along the shape of the target damaged area, which is the damaged area.

本態様によれば、対象平面の表示領域が対象損傷箇所の形状に沿って移動するので、対象平面の表示領域が移動した場合であっても、注目する対象損傷箇所を見失うことなく追跡して観察することができる。 According to this aspect, the display area of the target plane moves along the shape of the target damage location, so even if the display area of the target plane moves, the target damage location of interest can be tracked without losing sight of it. can be observed.

好ましくは、プロセッサは、表示部に、対象平面を正対させて表示させる。 Preferably, the processor causes the display unit to display the target plane facing directly.

好ましくは、プロセッサは、表示部に、表示領域の移動の前後において、対象平面の拡大率を一定にして表示させる。 Preferably, the processor causes the display unit to display the target plane at a constant magnification before and after moving the display area.

好ましくは、プロセッサは、表示領域を表示部の一画面に相当する画角以内の設定画角ずつ間欠的に移動させ、且つ表示部の中央部に対象損傷箇所の一部を位置させる。 Preferably, the processor intermittently moves the display area by a set viewing angle within a viewing angle corresponding to one screen of the display unit, and positions a part of the target damaged area in the center of the display unit.

好ましくは、プロセッサは、表示領域を連続的に移動させ、且つ表示部の中央部に対象損傷箇所の一部を位置させる。 Preferably, the processor continuously moves the display area and positions a portion of the target damage location in the center of the display section.

好ましくは、プロセッサは、対象損傷箇所に沿って移動するマーカを表示部に表示させる。 Preferably, the processor causes the display unit to display a marker that moves along the target damaged location.

好ましくは、プロセッサは、対象損傷箇所に沿って移動するマーカを表示部に表示させ、マーカが設定画角の端に達すると、表示領域を移動させる。 Preferably, the processor causes the display unit to display a marker that moves along the target damaged location, and moves the display area when the marker reaches an end of the set angle of view.

好ましくは、プロセッサは、マーカを自動で移動させる。 Preferably, the processor automatically moves the marker.

好ましくは、プロセッサは、表示部に対象損傷箇所の一部の領域の拡大画像を表示させる。 Preferably, the processor causes the display unit to display an enlarged image of a partial area of the target damaged location.

本発明の他の態様である画像表示方法は、構造物を撮影した点検画像で構成される構造物の全部又は一部の3次元モデル、及び点検画像において構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置を使用した画像表示方法であって、プロセッサにより行われる、メモリに記憶された3次元モデルを表示部に表示させる工程と、表示部に表示された3次元モデル上の一部の指定を受け付けて、指定された箇所に対応する3次元モデルの対象平面の一部の領域を表示部に表示させる工程と、対象平面における損傷箇所のうちの少なくとも一つの損傷箇所を対象損傷箇所として選択を受け付ける工程と、表示部に表示させる対象平面の表示領域を、検出情報に基づいて対象損傷箇所の形状に沿って移動させる工程と、を含む。 An image display method that is another aspect of the present invention provides a three-dimensional model of all or part of a structure that is composed of an inspection image taken of the structure, and detection information that detects a damaged part of the structure in the inspection image. An image display method using an image display device comprising a memory in which a 3D model is stored, a display section, and a processor, the method comprising: displaying a three-dimensional model stored in the memory on the display section, performed by the processor; , a step of accepting a designation of a part of the 3D model displayed on the display unit and displaying a part of the target plane of the 3D model corresponding to the designated location on the display unit; a step of receiving selection of at least one damaged point among the damaged points as a target damaged point; and a step of moving a display area of the target plane to be displayed on the display unit along the shape of the target damaged point based on the detection information. ,including.

本発明の他の態様である画像表示方法は、構造物を撮影した点検画像で構成される構造物の全部又は一部の3次元モデル、及び点検画像において構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置を使用した画像表示方法であって、プロセッサにより行われる、メモリに記憶された3次元モデルを表示部に表示させる工程と、表示部に表示された3次元モデル上の損傷箇所の指定を受け付けて、損傷箇所に対応する3次元モデルの対象平面の一部の領域を表示部に表示させる工程と、表示部に表示させる対象平面の表示領域を、検出情報に基づいて損傷箇所である対象損傷箇所の形状に沿って移動させる工程と、を含む。 An image display method that is another aspect of the present invention provides a three-dimensional model of all or part of a structure that is composed of an inspection image taken of the structure, and detection information that detects a damaged part of the structure in the inspection image. An image display method using an image display device comprising a memory in which a 3D model is stored, a display section, and a processor, the method comprising: displaying a three-dimensional model stored in the memory on the display section, performed by the processor; , a step of receiving a designation of a damaged location on the three-dimensional model displayed on the display section, and displaying a part of the target plane of the three-dimensional model corresponding to the damaged location on the display section; The method includes the step of moving the display area of the target plane along the shape of the target damage location, which is the damage location, based on the detection information.

本発明の他の態様であるプログラムは、構造物を撮影した点検画像で構成される構造物の全部又は一部の3次元モデル、及び点検画像において構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置に画像表示方法を行わせるプログラムであって、プロセッサに、メモリに記憶された3次元モデルを表示部に表示させる工程と、表示部に表示された3次元モデル上の一部の指定を受け付けて、指定された箇所に対応する3次元モデルの対象平面の一部の領域を表示部に表示させる工程と、対象平面における損傷箇所のうちの少なくとも一つの損傷箇所を対象損傷箇所として選択を受け付ける工程と、表示部に表示させる対象平面の表示領域を、検出情報に基づいて対象損傷箇所の形状に沿って移動させる工程と、を行わせる。 A program that is another aspect of the present invention stores a three-dimensional model of all or part of a structure that is composed of inspection images taken of the structure, and detection information that detects damaged parts of the structure in the inspection images. A program for causing an image display device comprising a memory, a display unit, and a processor to perform an image display method, the program comprising: causing the processor to display a three-dimensional model stored in the memory on the display unit; a step of receiving a designation of a part of the three-dimensional model displayed on the display part and displaying a part of the target plane of the three-dimensional model corresponding to the designated part on the display part; and a step of displaying a damaged part on the target plane. a step of receiving selection of at least one of the damaged points as a target damaged point, and a step of moving a display area of the target plane to be displayed on the display unit along the shape of the target damaged point based on the detection information. Let it happen.

本発明の他の態様であるプログラムは、構造物を撮影した点検画像で構成される構造物の全部又は一部の3次元モデル、及び点検画像において構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置に画像表示方法を行わせるプログラムであって、プロセッサに、メモリに記憶された3次元モデルを表示部に表示させる工程と、表示部に表示された3次元モデル上の損傷箇所の指定を受け付けて、損傷箇所に対応する3次元モデルの対象平面の一部の領域を表示部に表示させる工程と、表示部に表示させる対象平面の表示領域を、検出情報に基づいて損傷箇所である対象損傷箇所の形状に沿って移動させる工程と、を行わせる。 A program that is another aspect of the present invention stores a three-dimensional model of all or part of a structure that is composed of inspection images taken of the structure, and detection information that detects damaged parts of the structure in the inspection images. A program for causing an image display device comprising a memory, a display unit, and a processor to perform an image display method, the program comprising: causing the processor to display a three-dimensional model stored in the memory on the display unit; a step of receiving a designation of a damaged location on the three-dimensional model displayed on the display section, and displaying a part of the target plane of the three-dimensional model corresponding to the damaged location on the display section; A step of moving the display area of the target damage location along the shape of the target damage location, which is the damage location, based on the detected information.

本発明によれば、3次元モデルの平面の表示領域が対象損傷箇所の形状に沿って移動するので、対象平面の表示領域が移動した場合であっても注目する損傷箇所を見失うことなく追跡して観察することができる。 According to the present invention, the plane display area of the three-dimensional model moves along the shape of the target damage location, so even if the target plane display area moves, the damage location of interest can be tracked without losing sight of it. can be observed.

図1は、画像表示装置の主な構成例を示す図である。FIG. 1 is a diagram showing an example of the main configuration of an image display device. 図2は、3次元モデルの一例を示す図である。FIG. 2 is a diagram showing an example of a three-dimensional model. 図3は、点検画像の一例を示す図である。FIG. 3 is a diagram showing an example of an inspection image. 図4は、損傷ベクトルに関して説明する図である。FIG. 4 is a diagram illustrating damage vectors. 図5は、損傷ベクトルに関して説明する図である。FIG. 5 is a diagram illustrating damage vectors. 図6は、画像表示方法に関して説明する図である。FIG. 6 is a diagram illustrating an image display method. 図7は、3次元モデルを示す図である。FIG. 7 is a diagram showing a three-dimensional model. 図8は、表示部に表示された表示領域を示す図である。FIG. 8 is a diagram showing the display area displayed on the display unit. 図9は、第1の移動形態を説明する図である。FIG. 9 is a diagram illustrating the first movement mode. 図10は、第1の移動形態を説明する図である。FIG. 10 is a diagram illustrating the first movement mode. 図11は、第2の移動形態を説明する図である。FIG. 11 is a diagram illustrating the second movement form. 図12は、第2の移動形態を説明する図である。FIG. 12 is a diagram illustrating the second movement mode. 図13は、画像表示方法を示すフロー図であるFIG. 13 is a flow diagram showing an image display method. 図14は、画像表示装置の主な構成例である。FIG. 14 shows an example of the main configuration of the image display device. 図15は、マーカの表示の一例を示す図である。FIG. 15 is a diagram showing an example of marker display. 図16は、マーカの表示の一例を示す図である。FIG. 16 is a diagram showing an example of marker display. 図17は、マーカの表示及びサブウィンドウWの表示の一例を示す図である。FIG. 17 is a diagram illustrating an example of marker display and subwindow W display.

以下、添付図面にしたがって本発明に係る画像表示装置、画像表示方法、及びプログラムの好ましい実施の形態について説明する。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of an image display device, an image display method, and a program according to the present invention will be described below with reference to the accompanying drawings.

<第1の実施形態>
図1は、画像表示装置1の主な構成例を示す図である。
<First embodiment>
FIG. 1 is a diagram showing an example of the main configuration of an image display device 1. As shown in FIG.

画像表示装置1はコンピュータで構成される。画像表示装置1は、装置本体11、表示部21、及び操作部23により構成される。 Image display device 1 is composed of a computer. The image display device 1 includes a device main body 11, a display section 21, and an operation section 23.

装置本体11は、CPU(Central Processing Unit)(プロセッサ)13、メモリ15、表示制御部17、受付部19を備える。 The device main body 11 includes a CPU (Central Processing Unit) 13, a memory 15, a display control section 17, and a reception section 19.

CPU13は、画像表示装置1の全般的な制御を行う。CPU13は、メモリ15から必要なプログラム及び各種制御に用いる情報を読み出して、CPU13で行われる各種処理及び各種制御を行う。CPU13は、プログラムを実行させて表示制御部17及び受付部19を実現させる。 The CPU 13 performs general control of the image display device 1. The CPU 13 reads necessary programs and information used for various controls from the memory 15, and performs various processes and controls performed by the CPU 13. The CPU 13 executes a program to realize the display control section 17 and reception section 19.

CPU13のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の機能部として作用する汎用的なプロセッサであるCPU、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。 The hardware structure of the CPU 13 includes various processors as shown below. Various types of processors include CPUs, which are general-purpose processors that execute software (programs) and act as various functional units, and programmable processors, which are processors whose circuit configuration can be changed after manufacturing, such as FPGAs (Field Programmable Gate Arrays). This includes dedicated electrical circuits such as logic devices (Programmable Logic Devices: PLDs) and ASICs (Application Specific Integrated Circuits), which are processors with circuit configurations specifically designed to execute specific processing.

1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の機能部を1つのプロセッサで構成してもよい。複数の機能部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の機能部として作用させる形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の機能部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の機能部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。 One processing unit may be composed of one of these various processors, or may be composed of two or more processors of the same type or different types (for example, multiple FPGAs, or a combination of a CPU and FPGA). It's okay. Further, a plurality of functional units may be configured by one processor. As an example of configuring multiple functional units with one processor, first, one processor is configured with a combination of one or more CPUs and software, as typified by computers such as clients and servers. There is a form in which a processor acts as multiple functional units. Second, there are processors that use a single IC (Integrated Circuit) chip, such as System On Chip (SoC), which implements the functions of an entire system that includes multiple functional units. be. In this way, various functional units are configured using one or more of the various processors described above as a hardware structure.

表示部21はモニタで構成される。表示部21は、表示制御部17の制御の下で3次元モデル、及びユーザが3次元モデル上で指定した対象平面を表示する。 The display unit 21 is composed of a monitor. The display unit 21 displays the three-dimensional model and the target plane specified on the three-dimensional model by the user under the control of the display control unit 17.

受付部19は、操作部23を介してユーザの指令を受け付ける。例えば、操作部23はマウス等のポインティングデバイスやキーボードで構成され、ユーザは操作部23に指令を入力することにより、受付部19でその指令が受け付けられる。 The reception unit 19 receives user commands via the operation unit 23. For example, the operation unit 23 is composed of a pointing device such as a mouse and a keyboard, and when the user inputs a command to the operation unit 23, the command is accepted by the reception unit 19.

メモリ15は、CPU13で実現される機能に必要なプログラムを記憶する。また、メモリ15は、点検対象の構造物の全部または一部の3次元モデル、及び検出情報を記憶する。またメモリ15は、必要に応じて点検画像を記憶する。ここで点検画像とは、点検対象である構造物を撮影した画像である。例えばメモリ15は、点検対象である構造物を網羅的に撮影した多数の点検画像を記憶する。 The memory 15 stores programs necessary for the functions implemented by the CPU 13. The memory 15 also stores a three-dimensional model of all or part of the structure to be inspected, and detection information. The memory 15 also stores inspection images as necessary. Here, the inspection image is an image of a structure to be inspected. For example, the memory 15 stores a large number of inspection images taken comprehensively of the structure to be inspected.

3次元モデルは、点検対象である構造物の全体構造を表すモデルである。例えば3次元モデルの3次元形状は3次元CAD(computer-aided design)に基づいて作成される。また、3次元モデルの表面は点検画像が貼り付けられている。例えば複数の点検画像がパノラマ合成されて、3次元モデルの表面に貼り付けられている。なお、点検画像に写っている構造物の箇所と、その点検画像が貼り付けられる3次元モデル上の位置とは対応している。したがって、ユーザは3次元モデルにより点検画像の相互の位置関係を把握することができる。 The three-dimensional model is a model representing the entire structure of the structure to be inspected. For example, the three-dimensional shape of a three-dimensional model is created based on three-dimensional CAD (computer-aided design). In addition, an inspection image is pasted on the surface of the three-dimensional model. For example, a plurality of inspection images are combined into a panorama and pasted onto the surface of a three-dimensional model. Note that the location of the structure shown in the inspection image corresponds to the position on the three-dimensional model to which the inspection image is pasted. Therefore, the user can understand the mutual positional relationship of the inspection images using the three-dimensional model.

検出情報は、構造物の点検画像において構造物の損傷箇所を検出した情報である。例えば検出情報は、点検画像を画像処理することに取得されたり、点検画像を機械学習が施された認識器で処理されたりすることにより取得される。また損傷箇所とは、損傷が位置する場所であり、例えばひび割れ、鉄筋露出などの損傷が位置する場所である。また、損傷箇所として、ひび割れを点検作業員がチョーク等でなぞった印も損傷箇所として含まれる。 The detection information is information that detects a damaged part of the structure in the inspection image of the structure. For example, the detection information is acquired by image processing the inspection image, or by processing the inspection image with a recognizer that performs machine learning. Further, the damage location is a location where damage is located, for example, a location where damage such as cracks or exposed reinforcing bars is located. In addition, marks made by an inspection worker tracing a crack with chalk or the like are also included as damaged locations.

次に、メモリ15に記憶される3次元モデルに関して説明する。 Next, the three-dimensional model stored in the memory 15 will be explained.

図2は、表示部21に表示された3次元モデルの一例を示す図である。 FIG. 2 is a diagram showing an example of a three-dimensional model displayed on the display unit 21.

図2に示す3次元モデルNは、構造物である柱の全体構造を表している。柱は直方体形状を有し、直方体を構成する各面(表面)にはパノラマ合成された点検画像が貼り付けられている。具体的には、3次元モデルNの面NA、面NB、面NCには、位置的に対応する複数の点検画像がパノラマ合成されて、貼り付けられている。したがって、ユーザは3次元モデルN上の位置を指定し拡大表示をさせることにより、その位置に対応する柱の点検画像を観察することができる。なお、ユーザは、損傷箇所Bが大きい場合には3次元モデルNにおいて損傷箇所Bを視認することができ、損傷箇所Bが小さい場合には3次元モデル上の位置を指定し拡大表示を行った後に損傷箇所Bを視認することができる。なお、上述した3次元モデルNは一例であり、本発明においては他の3次元モデルも使用される。構造物の全体構造を表す3次元モデルとして、点群モデル、テクスチャモデル、及びソリッドモデルが採用され、少なくとも対応する位置に点検画像のリンクポイントが配置されていればよい。 The three-dimensional model N shown in FIG. 2 represents the entire structure of a column that is a structure. The column has a rectangular parallelepiped shape, and a panoramic composite inspection image is pasted on each surface (surface) of the rectangular parallelepiped. Specifically, a plurality of positionally corresponding inspection images are combined into a panorama and pasted onto the surface NA, surface NB, and surface NC of the three-dimensional model N. Therefore, by specifying a position on the three-dimensional model N and enlarging the display, the user can observe the inspection image of the column corresponding to that position. Note that if the damaged area B is large, the user can visually recognize the damaged area B on the 3-dimensional model N, and if the damaged area B is small, the user can specify the position on the 3-dimensional model and enlarge it. Damage location B can be visually recognized later. Note that the three-dimensional model N described above is an example, and other three-dimensional models are also used in the present invention. A point cloud model, a texture model, and a solid model are employed as the three-dimensional model representing the overall structure of the structure, and it is sufficient that the link points of the inspection image are arranged at least at corresponding positions.

次に、メモリ15に記憶される検出情報に関して説明する。 Next, the detection information stored in the memory 15 will be explained.

図3は、点検画像の一例を示す図である。図3に示された点検画像53は、損傷箇所を画像処理又は機械学習が施された認識器で検出する観点から損傷箇所を一定以上の解像で撮像する必要があり、柱の壁面に対して1~2mの被写体距離で撮影される。点検画像53には、ひび割れ55が写っている。ひび割れ55は、画像処理技術又は機械学習が施された認識器(セグメンテーション認識器)により検出される。ひび割れ55を検出することにより、ひび割れ55の損傷情報が得られる。ここで、損傷情報には、検出した損傷箇所に関する様々な情報が含まれる。例えば、損傷箇所の形状、損傷の程度、損傷の種類、損傷の原因等が損傷情報に含まれる。また、後で説明をする損傷の形状を示す損傷ベクトルも損傷情報に含まれる。 FIG. 3 is a diagram showing an example of an inspection image. The inspection image 53 shown in FIG. 3 needs to be imaged at a resolution higher than a certain level from the viewpoint of detecting the damaged area using a recognition device that has been subjected to image processing or machine learning. The photograph is taken at a subject distance of 1 to 2 meters. The inspection image 53 shows a crack 55. The crack 55 is detected by a recognizer (segmentation recognizer) using image processing technology or machine learning. By detecting the crack 55, damage information about the crack 55 can be obtained. Here, the damage information includes various information regarding the detected damage location. For example, the damage information includes the shape of the damaged area, the degree of damage, the type of damage, the cause of damage, and the like. The damage information also includes a damage vector indicating the shape of the damage, which will be explained later.

図4及び図5は、検出したひび割れ55の損傷情報の一例である損傷ベクトルに関して説明する図である。図4はひび割れ55に基づいて生成された損傷ベクトルを点検画像53に重畳させて示した図であり、図5は各損傷ベクトルを示す点P1~P7の座標を示す図である。検出したひび割れ55に基づいて、損傷ベクトルを生成する手法の一例は以下の通りである。先ず、検出したひび割れ55を必要に応じて2値化及び/又は細線化する。そして、検出したひび割れ55において直線近似ができる線分を1区間として始点及び終点を決定する。また、検出したひび割れ55において枝分かれする箇所がある場合には、枝分かれする箇所において点が設けられる。なお、検出したひび割れ55に基づいて損傷ベクトルを生成する手法は他の公知の技術が用いられてもよい。 4 and 5 are diagrams illustrating a damage vector that is an example of damage information of the detected crack 55. FIG. 4 is a diagram showing damage vectors generated based on the crack 55 superimposed on the inspection image 53, and FIG. 5 is a diagram showing the coordinates of points P1 to P7 indicating each damage vector. An example of a method for generating a damage vector based on the detected cracks 55 is as follows. First, the detected cracks 55 are binarized and/or thinned as necessary. Then, a starting point and an ending point are determined using a line segment that can be approximated by a straight line in the detected crack 55 as one section. Furthermore, if there is a branching point in the detected crack 55, a point is provided at the branching point. Note that other known techniques may be used to generate the damage vector based on the detected cracks 55.

ひび割れ55は、始点P1及び終点P2で表されるベクトルC1-1と、始点P2及び終点P3で表されるベクトルC1-2と、始点P3及び終点P4で表されるベクトルC1-3と、始点P3及び終点P5で表されるベクトルC1-4と、始点P3及び終点P6で表されるベクトルC1-5と、始点P6及び終点P7で表されるベクトルC1-6とで表される。なおP1~P7は、図5に示すようにそれぞれ座標を有し、点検画像53上での位置が特定されている。 The crack 55 consists of a vector C1-1 represented by a start point P1 and an end point P2, a vector C1-2 represented by a start point P2 and an end point P3, a vector C1-3 represented by a start point P3 and an end point P4, and a vector C1-3 represented by a start point P3 and an end point P4. A vector C1-4 is represented by P3 and an end point P5, a vector C1-5 is represented by a start point P3 and an end point P6, and a vector C1-6 is represented by a start point P6 and an end point P7. Note that P1 to P7 each have coordinates as shown in FIG. 5, and their positions on the inspection image 53 are specified.

次に、画像表示装置1を使用した画像表示方法及び画像表示装置1に画像表示方法を行わせるプログラムに関して説明する。 Next, an image display method using the image display device 1 and a program for causing the image display device 1 to perform the image display method will be described.

図6は、画像表示装置1を用いて行われる画像表示方法に関して説明する図である。 FIG. 6 is a diagram illustrating an image display method performed using the image display device 1.

先ず、表示制御部17は、メモリ15に記憶された3次元モデルM(図7を参照)を表示部21に表示させる(ステップS10:3次元モデルの表示工程)。次に、受付部19は、ユーザからの3次元モデルMの一部の領域の指定を操作部23を介して受け付ける(ステップS11:対象平面の受付工程)。表示制御部17は、指定された対象平面の一部の領域を表示部21に表示させる(ステップS12:対象平面の表示工程)。その後、受付部19は、ユーザからの対象損傷箇所の選択を操作部23を介して受け付ける(ステップS13:対象損傷の受付工程)。次に、表示制御部17は、対象平面の表示領域を対象損傷箇所の形状に沿って移動させる(ステップS14:表示領域の移動工程)。 First, the display control section 17 causes the display section 21 to display the three-dimensional model M (see FIG. 7) stored in the memory 15 (step S10: three-dimensional model display step). Next, the accepting unit 19 accepts a designation of a part of the three-dimensional model M from the user via the operating unit 23 (step S11: target plane accepting process). The display control unit 17 causes the display unit 21 to display a part of the designated target plane (step S12: target plane display step). Thereafter, the reception unit 19 receives a selection of a target damage location from the user via the operation unit 23 (step S13: target damage reception step). Next, the display control unit 17 moves the display area of the target plane along the shape of the target damaged location (step S14: display area moving step).

次に、上述した各工程に関して説明を行う。 Next, each of the above steps will be explained.

<3次元モデルの表示工程及び対象平面の受付工程>
3次元モデルの表示工程では、表示制御部17により3次元モデルMが表示部21に表示される(ステップS10)。
<3D model display process and target plane reception process>
In the three-dimensional model display step, the display control section 17 displays the three-dimensional model M on the display section 21 (step S10).

図7は、表示部21に表示された3次元モデルMを示す図である。 FIG. 7 is a diagram showing the three-dimensional model M displayed on the display unit 21.

3次元モデルMは、構造物である橋梁の全体構造を表す3次元モデルである。3次元モデルMの各面には、橋梁を撮影して得た点検画像がパノラマ合成されて貼り付けられている。3次元モデルMは、自由に回転して視点を移動させることができる。 The three-dimensional model M is a three-dimensional model representing the entire structure of a bridge, which is a structure. Inspection images obtained by photographing the bridge are pasted on each side of the three-dimensional model M in a panoramic composition. The three-dimensional model M can be freely rotated and the viewpoint can be moved.

対象平面の受付工程では、受付部19により操作部23を介してユーザから対象平面の指定を受け付ける(ステップS11)。 In the target plane reception process, the reception unit 19 receives designation of the target plane from the user via the operation unit 23 (step S11).

ユーザは、表示部21に表示された3次元モデルMにおいて、より詳細に観察したい箇所を操作部23により指定する。例えば、ユーザは表示部21に表示されたカーソル61で、3次元モデルMの一部の対象平面MAを指定することにより、対象平面MAの一部の領域が表示部21に表示される。 The user uses the operation unit 23 to specify a location on the three-dimensional model M displayed on the display unit 21 that he or she wishes to observe in more detail. For example, when the user specifies a part of the target plane MA of the three-dimensional model M with the cursor 61 displayed on the display unit 21, a part of the area of the target plane MA is displayed on the display unit 21.

<対象平面の表示工程及び対象損傷箇所の受付工程>
対象平面の表示工程では、表示制御部17によりユーザが指定した対象平面MAの一部の表示領域63(以下、表示領域63という)を表示部21に表示させる(ステップS12)。
<Display process of target plane and reception process of target damaged area>
In the target plane display step, the display control unit 17 causes the display unit 21 to display a part of the display area 63 (hereinafter referred to as display area 63) of the target plane MA specified by the user (step S12).

図8は、表示部21に表示された表示領域63を示す図である。対象平面MAの一部の表示領域63は、3次元モデルMと比較すると拡大されて表示される。したがって、3次元モデルMの表示領域63には、ひび割れ55に対応する対象損傷箇所65が表示される。 FIG. 8 is a diagram showing the display area 63 displayed on the display section 21. As shown in FIG. A part of the display area 63 of the target plane MA is displayed enlarged when compared with the three-dimensional model M. Therefore, in the display area 63 of the three-dimensional model M, a target damaged location 65 corresponding to the crack 55 is displayed.

対象損傷箇所の受付工程では、受付部19により操作部23を介してユーザから対象損傷箇所の選択を受け付ける(ステップS13)。ユーザは、表示部21に表示された表示領域63を観察して、注目して観察する対象損傷箇所の選択を行う。図8に示した場合では、対象損傷箇所65がカーソル61で選択され、対象損傷箇所として選択される。 In the process of accepting the target damage location, the reception unit 19 receives selection of the target damage location from the user via the operation unit 23 (step S13). The user observes the display area 63 displayed on the display unit 21 and selects a target damage location to focus on and observe. In the case shown in FIG. 8, the target damage location 65 is selected with the cursor 61 and is selected as the target damage location.

<表示領域の移動工程>
表示領域の移動工程では、表示制御部17により、対象平面MAの表示領域が対象損傷箇所65に沿って移動させられる(ステップS14)。表示領域63は画角が小さく、対象損傷箇所65の全体が表示されていない。したがって、ユーザは対象平面MAの表示領域を移動させながら対象損傷箇所65の全体を観察する。表示領域の移動は、ユーザの手動又は自動により行うことができる。以下に、対象平面MAの表示領域の移動形態に関して説明する。
<Display area movement process>
In the display area moving step, the display control unit 17 moves the display area of the target plane MA along the target damaged location 65 (step S14). The display area 63 has a small angle of view, and the entire target damage location 65 is not displayed. Therefore, the user observes the entire target damage location 65 while moving the display area of the target plane MA. The display area can be moved manually by the user or automatically. The movement form of the display area of the target plane MA will be explained below.

(第1の移動形態)
先ず、対象平面MAの表示領域の第1の移動形態に関して説明する。
(First form of movement)
First, a first movement form of the display area of the target plane MA will be described.

図9及び図10は、対象平面MAの表示領域63の第1の移動形態を説明する図である。図9は対象平面MA上の表示領域63から表示領域73の移動を模式的に示した図であり、図10は表示部21に表示される表示領域63及び表示領域73を示した図である。第1の移動形態においては、表示制御部17は、対象平面MAの表示領域を表示部21の一画面に相当する設定画角ずつ間欠的に移動させる。すなわち、第1の移動形態においては、表示領域63が表示された後に表示領域73が表示される。なお、本例では表示部21の一画角毎に表示領域が移動するがこれに限定されず、一画角以内であれば移動する表示領域は適宜設定することができる。例えば、0.5画角毎に表示領域が移動してもよい。また、表示制御部17は、対象損傷箇所65の一部が表示部21の中央部に位置するように表示領域63から表示領域73に移動させる。なお、対象損傷箇所65に枝分かれする箇所がある場合には、メインの枝に沿って表示領域は移動する。ここで、メインの枝は損傷情報により決定される。例えば、枝分かれ後の損傷毎に、損傷個所の損傷の程度、平均幅、面積、及び長さ等に基づきスコアが算出される。かかるスコアに基づき、より観察の優先順位の高いメインの枝が決定される。 9 and 10 are diagrams illustrating a first movement form of the display area 63 of the target plane MA. FIG. 9 is a diagram schematically showing the movement of the display area 73 from the display area 63 on the target plane MA, and FIG. 10 is a diagram showing the display area 63 and the display area 73 displayed on the display unit 21. . In the first movement mode, the display control unit 17 intermittently moves the display area of the target plane MA by a set angle of view corresponding to one screen of the display unit 21. That is, in the first movement mode, display area 73 is displayed after display area 63 is displayed. Note that in this example, the display area moves for each angle of view of the display unit 21, but the display area is not limited to this, and the display area to be moved can be set as appropriate as long as it is within one angle of view. For example, the display area may move every 0.5 angle of view. Further, the display control unit 17 moves a part of the target damaged location 65 from the display area 63 to the display area 73 so that a part of the target damaged location 65 is located in the center of the display unit 21 . Note that if the target damaged location 65 has a branching location, the display area moves along the main branch. Here, the main branch is determined based on damage information. For example, for each damage after branching, a score is calculated based on the degree of damage, average width, area, length, etc. of the damaged part. Based on this score, a main branch with a higher priority for observation is determined.

表示制御部17は、表示領域63及び表示領域73において対象平面MAを正対した状態で表示させる。また、表示制御部17は、対象平面MAの拡大率を同一にして表示領域63と表示領域73とを表示する。このように、表示領域63から表示領域73へ移動することにより、対象損傷箇所65を見失うことなく追跡して観察することができる。なお、表示領域63から表示領域73に移動するタイミングは、ユーザにより適宜設定される。例えば、手動での表示領域の移動が行われる場合には、ユーザが操作部23を介して移動の指令を入力すると表示領域63から表示領域73に移動する。また、自動での表示領域の移動が行われる場合には、所定の時間が経過した場合に、表示領域63から表示領域73に移動する。また、以下で説明する第3の実施形態のように、マーカを基準にして表示領域63から表示領域73に移動してもよい。 The display control unit 17 displays the target plane MA in the display area 63 and the display area 73 in a state facing directly. Further, the display control unit 17 displays the display area 63 and the display area 73 with the same magnification ratio of the target plane MA. In this way, by moving from the display area 63 to the display area 73, the target damaged location 65 can be tracked and observed without losing sight of it. Note that the timing of moving from the display area 63 to the display area 73 is appropriately set by the user. For example, when the display area is manually moved, when the user inputs a movement command via the operation unit 23, the display area 63 is moved to the display area 73. Further, in the case where the display area is automatically moved, the display area is moved from the display area 63 to the display area 73 when a predetermined time has elapsed. Further, as in the third embodiment described below, the display area 63 may be moved from the display area 63 to the display area 73 using the marker as a reference.

(第2の移動形態)
次に、対象平面MAの表示領域の第2の移動形態に関して説明する。
(Second movement form)
Next, a second movement form of the display area of the target plane MA will be explained.

図11及び図12は、対象平面MAの表示領域63の第2の移動形態を説明する図である。図11は対象平面MA上の表示領域63から表示領域83の移動を模式的に示した図であり、図12は表示部21に表示される表示領域63及び表示領域83を示した図である。表示制御部17は、第2の移動形態においては表示領域を連続的に移動させる。すなわち、第2の実施形態においては、ユーザが表示領域を移動させた場合には、表示領域は連続的に移動する。表示制御部17は、表示領域63及び表示領域83において対象平面MAを正対した状態で表示させる。また、表示制御部17は、対象平面MAの拡大率を同一にして表示領域63と表示領域83とを表示する。このように、表示領域63から表示領域83へ移動することにより、対象損傷箇所65を見失うことなく追跡して観察することができる。なお、表示領域63から表示領域83に移動するタイミングは、上述した第1の移動形態で説明した形態と同様である。 FIGS. 11 and 12 are diagrams illustrating a second movement form of the display area 63 of the target plane MA. FIG. 11 is a diagram schematically showing movement of the display area 83 from the display area 63 on the target plane MA, and FIG. 12 is a diagram showing the display area 63 and the display area 83 displayed on the display unit 21. . The display control unit 17 continuously moves the display area in the second movement mode. That is, in the second embodiment, when the user moves the display area, the display area moves continuously. The display control unit 17 displays the target plane MA in the display area 63 and the display area 83 in a state facing directly. Further, the display control unit 17 displays the display area 63 and the display area 83 with the same magnification ratio of the target plane MA. In this way, by moving from the display area 63 to the display area 83, the target damaged location 65 can be tracked and observed without losing sight of it. Note that the timing of moving from the display area 63 to the display area 83 is the same as that described in the first movement mode described above.

以上で説明したように、本実施形態においては、対象平面の表示領域が対象損傷箇所の形状に沿って移動するので、対象平面の表示領域が移動した場合であっても対象損傷箇所を見失うことなく追跡して観察することができる。 As explained above, in this embodiment, the display area of the target plane moves along the shape of the target damage location, so even if the display area of the target plane moves, it is possible to lose sight of the target damage location. It can be tracked and observed without any problems.

上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ(処理手順)をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。 Each of the configurations and functions described above can be realized as appropriate using any hardware, software, or a combination of both. For example, a program that causes a computer to execute the above-mentioned processing steps (processing procedures), a computer-readable recording medium (non-temporary recording medium) that records such a program, or a computer that can install such a program. It is possible to apply the present invention to any case.

<第2の実施形態>
次に、本発明の第2の実施形態に関して説明する。本実施形態では、3次元モデル上において損傷箇所の視認が可能であり、ユーザが3次元モデル上において対象損傷箇所を選択する実施形態である。
<Second embodiment>
Next, a second embodiment of the present invention will be described. In this embodiment, damage locations can be visually recognized on a three-dimensional model, and a user selects a target damage location on the three-dimensional model.

図13は、本実施形態における画像表示装置1を使用した画像表示方法を示すフロー図である。 FIG. 13 is a flow diagram showing an image display method using the image display device 1 in this embodiment.

先ず、表示制御部17は、メモリ15に記憶された3次元モデルを表示部21に表示させる(ステップS20:3次元モデルの表示工程)。次に、受付部19は、ユーザからの3次元モデル上の対象損傷箇所の選択を操作部23を介して受け付ける(ステップS21:対象損傷の受付工程)。本実施形態においては、点検対象である橋梁の全体構造を表現した3次元モデルにおいても、対象損傷箇所の選択が可能である。例えば、対象損傷箇所が大きい場合には、ユーザは3次元モデル上において対象損傷箇所の選択を行うことができる。また、損傷箇所が損傷形状モデルのようにイメージ化され3次元モデルに貼り付けられている場合にも、ユーザは3次元モデル上において損傷箇所の選択を行うことができる。表示制御部17は、選択された対象損傷箇所を含む対象平面の一部を表示部21に表示させる(ステップS22:対象平面の表示工程)。表示制御部17は、対象損傷箇所を有する3次元モデル上の面を特定し、その面を対象平面とし一部の領域を表示部21に表示させる。その後、対象損傷箇所に沿って対象平面の表示領域が移動される(ステップS23:表示領域の移動工程)。 First, the display control section 17 causes the display section 21 to display the three-dimensional model stored in the memory 15 (step S20: three-dimensional model display step). Next, the reception unit 19 receives a selection of a target damage location on the three-dimensional model from the user via the operation unit 23 (step S21: target damage reception step). In this embodiment, it is possible to select target damaged locations even in a three-dimensional model that represents the entire structure of the bridge that is the subject of inspection. For example, if the target damage location is large, the user can select the target damage location on the three-dimensional model. Furthermore, even if the damaged location is visualized as a damaged shape model and pasted onto the three-dimensional model, the user can select the damaged location on the three-dimensional model. The display control unit 17 causes the display unit 21 to display a part of the target plane including the selected target damaged location (step S22: target plane display step). The display control unit 17 identifies a plane on the three-dimensional model that has the target damage location, sets that plane as the target plane, and causes the display unit 21 to display a part of the area. Thereafter, the display area of the target plane is moved along the target damaged location (step S23: display area moving step).

以上で説明したように、本実施形態では、3次元モデル上において対象損傷箇所が選択され、対象損傷箇所を有する3次元モデル上の平面が特定され、その平面が対象平面として表示され、対象平面の表示領域は、対象損傷箇所に沿って移動する。したがって、本態様によれば効率的に対象損傷箇所を選択することができ、対象平面の表示領域が移動した場合であっても対象損傷箇所を見失うことなく追跡して観察することができる。 As explained above, in this embodiment, a target damage location is selected on a three-dimensional model, a plane on the three-dimensional model having the target damage location is identified, that plane is displayed as a target plane, and the target damage location is The display area moves along the target damage location. Therefore, according to this aspect, the target damage location can be efficiently selected, and even if the display area of the target plane moves, it is possible to track and observe the target damage location without losing sight of it.

<第3の実施形態>
次に、本発明の第3の実施形態に関して説明する。本実施形態では、対象損傷箇所の観察の補助表示としてマーカが表示される。
<Third embodiment>
Next, a third embodiment of the present invention will be described. In this embodiment, a marker is displayed as an auxiliary display for observing the target damage location.

図14は、本実施形態の画像表示装置1の主な構成例である。なお、図1で既に説明を行った箇所は同じ符号を付し説明は省略する。 FIG. 14 shows an example of the main configuration of the image display device 1 of this embodiment. Note that the same reference numerals are given to the parts already described in FIG. 1, and the description thereof will be omitted.

マーカ表示制御部91は、対象損傷箇所65に沿って移動するマーカを表示部21に表示させる。また、マーカ表示制御部91は、表示部21に表示させたマーカを移動させる。マーカ表示制御部91は、マーカを自動で対象損傷箇所に沿って移動させてもよいし、マーカをユーザの操作に基づいて対象損傷箇所に沿って移動させてもよい。以下にマーカの表示の具体例に関して説明する。 The marker display control unit 91 causes the display unit 21 to display a marker that moves along the target damaged location 65. Furthermore, the marker display control unit 91 moves the marker displayed on the display unit 21. The marker display control unit 91 may automatically move the marker along the target damaged location, or may move the marker along the target damaged location based on a user's operation. A specific example of marker display will be described below.

図15は、マーカの表示の一例を示す図である。マーカ表示制御部91は、対象損傷箇所に沿ってマーカQ1-1~Q1-5を表示する。マーカ表示制御部91は、対象損傷箇所65に沿ってマーカQ1-1~マーカQ1-5が自動で順次表示する。例えば、ユーザが対象損傷箇所を選択した後に、マーカQ1-1が表示され、その後、マーカQ1-2、マーカQ1-3、マーカQ1-4、マーカQ1-5と順次表示される。マーカQ1-5が表示された場合には、マーカQ1-1~マーカQ1-5の全てが表示される。なお、図15に示すように、対象損傷箇所65に分岐がある場合には、例えば損傷情報に基づいてメインの対象損傷箇所65に沿って、マーカQ1-1~マーカQ1-5が表示される。また、マーカQ1-1~マーカQ1-5の全てが表示された際に、表示部21は表示領域の移動を行う。上述した第1の移動形態(図9及び図10参照)においては、マーカQ1-1~マーカQ1-5の全てが表示された際に、表示領域63から表示領域73に移動される。このように、対象損傷箇所65に沿って、マーカを表示させることによって、ユーザは表示部21に表示された対象損傷箇所を見失うことなく追跡して観察することができる。また、マーカの表示のタイミングと表示領域の移動のタイミングを対応させることにより、ユーザに表示領域の移動のタイミングを報知することができる。 FIG. 15 is a diagram showing an example of marker display. The marker display control unit 91 displays markers Q1-1 to Q1-5 along the target damage location. The marker display control unit 91 automatically sequentially displays markers Q1-1 to Q1-5 along the target damaged location 65. For example, after the user selects a target damage location, marker Q1-1 is displayed, and then marker Q1-2, marker Q1-3, marker Q1-4, and marker Q1-5 are displayed in order. When marker Q1-5 is displayed, all of markers Q1-1 to Q1-5 are displayed. Note that, as shown in FIG. 15, if the target damage location 65 has a branch, markers Q1-1 to Q1-5 are displayed along the main target damage location 65 based on the damage information, for example. . Further, when all of the markers Q1-1 to Q1-5 are displayed, the display section 21 moves the display area. In the first movement mode described above (see FIGS. 9 and 10), when all of the markers Q1-1 to Q1-5 are displayed, they are moved from the display area 63 to the display area 73. By displaying the marker along the target damage location 65 in this manner, the user can track and observe the target damage location displayed on the display unit 21 without losing sight of it. Furthermore, by making the timing of displaying the marker correspond to the timing of movement of the display area, it is possible to notify the user of the timing of movement of the display area.

図16は、マーカの表示の一例を示す図である。マーカ表示制御部91は、対象損傷箇所に沿ってマーカQ2を表示する。マーカ表示制御部91は、対象損傷箇所65に重畳させてマーカQ2を手動で表示する。例えば、マーカ表示制御部91は、ユーザが操作部23を介して入力する指令に基づいて、マーカQ2を対象損傷箇所65に重畳させて移動させる。また、表示制御部17は、マーカQ2が表示領域63の画角の端に達すると、上述した第1の移動形態(図9及び図10参照)で説明したように、表示領域63から表示領域73に移動させる。このように、対象損傷箇所65に沿って、マーカを表示させることによって、ユーザは表示部21に表示された対象損傷箇所を見失うことなく追跡して観察することができる。また、ユーザが手動で動かすマーカの移動(画角に端に達するタイミング)と、表示領域の移動のタイミングとを合わせることにより、ユーザは所望のタイミングで表示領域の移動を行うことができる。 FIG. 16 is a diagram showing an example of marker display. The marker display control unit 91 displays the marker Q2 along the target damaged location. The marker display control unit 91 manually displays the marker Q2 so as to be superimposed on the target damaged location 65. For example, the marker display control unit 91 moves the marker Q2 so as to overlap the target damage location 65 based on a command input by the user via the operation unit 23. Furthermore, when the marker Q2 reaches the end of the viewing angle of the display area 63, the display control unit 17 moves the marker Q2 from the display area 63 to the display area as explained in the first movement mode (see FIGS. 9 and 10). Move it to 73. By displaying the marker along the target damage location 65 in this manner, the user can track and observe the target damage location displayed on the display unit 21 without losing sight of it. Furthermore, by matching the movement of the marker manually moved by the user (timing when it reaches the edge of the viewing angle) with the timing of movement of the display area, the user can move the display area at desired timing.

図17は、マーカの表示及びサブウィンドウWの表示の一例を示す図である。なお、図17で示される表示領域71は、図16で示された表示領域63と比較して広角に表示されている。マーカ表示制御部91は、対象損傷箇所65に重畳させてマーカQ2を表示させ、マーカQ2を手動により移動させる。また、表示制御部17は、表示部21にサブウィンドウWを表示させる。サブウィンドウWには、マーカQ2が位置する箇所の対象損傷箇所65の拡大画像が表示される。このように、マーカQ2が位置する箇所の対象損傷箇所65の拡大画像が表示されることにより、ユーザはより損傷箇所に関して細かい部分まで観察を行うことができる。 FIG. 17 is a diagram illustrating an example of marker display and subwindow W display. Note that the display area 71 shown in FIG. 17 is displayed at a wider angle than the display area 63 shown in FIG. 16. The marker display control unit 91 displays the marker Q2 superimposed on the target damaged location 65, and manually moves the marker Q2. Further, the display control unit 17 causes the display unit 21 to display the subwindow W. In the sub-window W, an enlarged image of the target damage location 65 where the marker Q2 is located is displayed. In this way, by displaying an enlarged image of the target damage location 65 where the marker Q2 is located, the user can observe even more fine details of the damage location.

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。 Although examples of the present invention have been described above, it goes without saying that the present invention is not limited to the embodiments described above, and that various modifications can be made without departing from the spirit of the present invention.

1 :画像表示装置
9 :表示部
11 :装置本体
13 :CPU
15 :メモリ
17 :表示制御部
19 :受付部
21 :表示部
23 :操作部
91 :マーカ表示制御部
M :3次元モデル
N :3次元モデル
W :サブウィンドウ
1: Image display device 9: Display section 11: Device main body 13: CPU
15: Memory 17: Display control unit 19: Reception unit 21: Display unit 23: Operation unit 91: Marker display control unit M: 3D model N: 3D model W: Subwindow

Claims (16)

構造物を撮影した点検画像で構成される前記構造物の全部又は一部の3次元モデル、及び前記点検画像において前記構造物のひび割れ箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置であって、
前記プロセッサは、
前記メモリに記憶された前記3次元モデルを前記表示部に表示させ、
前記表示部に表示された前記3次元モデル上の一部の指定を受け付けて、前記指定された箇所に対応する前記3次元モデルの対象平面の一部の領域を前記表示部に表示させ、
前記対象平面における前記ひび割れ箇所のうちの少なくとも一つの前記ひび割れ箇所を対象ひび割れ箇所として選択を受け付け、
前記表示部に表示させる前記対象平面の表示領域を、前記検出情報に基づいて前記対象ひび割れ箇所の形状に沿って移動させる、
画像表示装置。
a memory storing a three-dimensional model of all or part of the structure, which is composed of an inspection image taken of the structure, and detection information of detecting a crack in the structure in the inspection image; and a display unit. An image display device comprising: and a processor,
The processor includes:
displaying the three-dimensional model stored in the memory on the display unit;
receiving a designation of a part of the three-dimensional model displayed on the display unit, and displaying a part of the target plane of the three-dimensional model corresponding to the designated location on the display unit;
accepting selection of at least one of the crack locations in the target plane as a target crack location;
moving a display area of the target plane displayed on the display unit along the shape of the target crack location based on the detection information;
Image display device.
構造物を撮影した点検画像で構成される前記構造物の全部又は一部の3次元モデル、及び前記点検画像において前記構造物のひび割れ箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置であって、
前記プロセッサは、
前記メモリに記憶された前記3次元モデルを前記表示部に表示させ、
前記表示部に表示された前記3次元モデル上の前記ひび割れ箇所の指定を受け付けて、前記ひび割れ箇所に対応する前記3次元モデルの対象平面の一部の領域を前記表示部に表示させ、
前記表示部に表示させる前記対象平面の表示領域を、前記検出情報に基づいて前記ひび割れ箇所である対象ひび割れ箇所の形状に沿って移動させる、
画像表示装置。
a memory storing a three-dimensional model of all or part of the structure, which is composed of an inspection image taken of the structure, and detection information of detecting a crack in the structure in the inspection image; and a display unit. An image display device comprising: and a processor,
The processor includes:
displaying the three-dimensional model stored in the memory on the display unit;
receiving the designation of the crack location on the three-dimensional model displayed on the display unit, and displaying a part of the target plane of the three-dimensional model corresponding to the crack location on the display unit;
moving a display area of the target plane displayed on the display unit based on the detection information along the shape of the target crack location, which is the crack location;
Image display device.
前記プロセッサは、前記表示部に、前記対象平面を正対させて表示させる請求項1又は2に記載の画像表示装置。 The image display device according to claim 1 or 2, wherein the processor causes the display unit to display the target plane facing directly. 前記プロセッサは、前記表示部に、前記表示領域の移動の前後において、前記対象平面の拡大率を一定にして表示させる請求項1から3のいずれか1項に記載の画像表示装置。 The image display device according to any one of claims 1 to 3, wherein the processor causes the display unit to display the target plane at a constant magnification ratio before and after the movement of the display area. 前記プロセッサは、前記表示領域を前記表示部の一画面に相当する画角以内の設定画角ずつ間欠的に移動させる請求項1から4のいずれか1項に記載の画像表示装置。 The image display device according to any one of claims 1 to 4, wherein the processor intermittently moves the display area by a set viewing angle within a viewing angle corresponding to one screen of the display unit. 前記プロセッサは、前記表示領域を連続的に移動させる請求項1から4のいずれか1項に記載の画像表示装置。 The image display device according to any one of claims 1 to 4, wherein the processor continuously moves the display area. 前記プロセッサは、前記対象ひび割れ箇所に沿って移動するマーカを前記表示部に表示させる請求項6に記載の画像表示装置。 The image display device according to claim 6, wherein the processor causes the display unit to display a marker that moves along the target crack location. 前記プロセッサは、前記対象ひび割れ箇所に沿って手動により移動するマーカを前記表示部に表示させる請求項6に記載の画像表示装置。 The image display device according to claim 6, wherein the processor causes the display unit to display a marker that is manually moved along the target crack location. 前記プロセッサは、前記対象ひび割れ箇所に沿って移動するマーカを前記表示部に表示させ、前記マーカが前記設定画角の端に達すると、前記表示領域を移動させる請求項5に記載の画像表示装置。 The image display device according to claim 5, wherein the processor causes the display unit to display a marker that moves along the target crack location, and moves the display area when the marker reaches an end of the set angle of view. . 前記プロセッサは、前記マーカを自動で移動させる請求項7から9のいずれか1項に記載の画像表示装置。 The image display device according to any one of claims 7 to 9, wherein the processor automatically moves the marker. 前記プロセッサは、前記表示部に前記対象ひび割れ箇所の一部の領域の拡大画像を表示させる請求項1から10のいずれか1項に記載の画像表示装置。 The image display device according to any one of claims 1 to 10, wherein the processor causes the display unit to display an enlarged image of a partial area of the target crack location. 前記ひび割れ箇所は、枝分かれするひび割れであり、
前記プロセッサは、
前記枝ごとのひび割れ箇所のひび割れの程度、平均幅、面積、及び長さ等に基づきスコアを算出することによりメインの枝を決定し、
前記メインの枝に沿って表示領域を移動させる、
請求項1から11のいずれか1項に記載の画像表示装置。
The crack location is a branching crack ,
The processor includes:
Determine the main branch by calculating a score based on the degree of cracking , average width, area, length, etc. of the cracked location for each branch ,
moving the display area along the main branch;
The image display device according to any one of claims 1 to 11.
構造物を撮影した点検画像で構成される前記構造物の全部又は一部の3次元モデル、及び前記点検画像において前記構造物のひび割れ箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置を使用した画像表示方法であって、
前記プロセッサにより行われる、
前記メモリに記憶された前記3次元モデルを前記表示部に表示させる工程と、
前記表示部に表示された前記3次元モデル上の一部の指定を受け付けて、前記指定された箇所に対応する前記3次元モデルの対象平面の一部の領域を前記表示部に表示させる工程と、
前記対象平面における前記ひび割れ箇所のうちの少なくとも一つの前記ひび割れ箇所を対象ひび割れ箇所として選択を受け付ける工程と、
前記表示部に表示させる前記対象平面の表示領域を、前記検出情報に基づいて前記対象ひび割れ箇所の形状に沿って移動させる工程と、
を含む画像表示方法。
a memory storing a three-dimensional model of all or part of the structure, which is composed of an inspection image taken of the structure, and detection information of detecting a crack in the structure in the inspection image; and a display unit. An image display method using an image display device comprising: and a processor,
performed by the processor;
displaying the three-dimensional model stored in the memory on the display unit;
receiving a designation of a part of the three-dimensional model displayed on the display unit, and displaying a part of the target plane of the three-dimensional model corresponding to the designated location on the display unit; ,
accepting selection of at least one of the crack locations in the target plane as a target crack location;
moving a display area of the target plane displayed on the display unit along the shape of the target crack location based on the detection information;
Image display methods including.
構造物を撮影した点検画像で構成される前記構造物の全部又は一部の3次元モデル、及び前記点検画像において前記構造物のひび割れ箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置を使用した画像表示方法であって、
前記プロセッサにより行われる、
前記メモリに記憶された前記3次元モデルを前記表示部に表示させる工程と、
前記表示部に表示された前記3次元モデル上の前記ひび割れ箇所の指定を受け付けて、前記ひび割れ箇所に対応する前記3次元モデルの対象平面の一部の領域を前記表示部に表示させる工程と、
前記表示部に表示させる前記対象平面の表示領域を、前記検出情報に基づいて前記ひび割れ箇所である対象ひび割れ箇所の形状に沿って移動させる工程と、
を含む画像表示方法。
a memory storing a three-dimensional model of all or a part of the structure, which is composed of an inspection image taken of the structure, and detection information of detecting a crack location in the structure in the inspection image; and a display unit. An image display method using an image display device comprising: and a processor,
performed by the processor;
displaying the three-dimensional model stored in the memory on the display unit;
receiving a designation of the crack location on the three-dimensional model displayed on the display section, and displaying on the display section a part of the target plane of the three-dimensional model that corresponds to the crack location;
moving a display area of the target plane displayed on the display unit based on the detection information along the shape of the target crack location, which is the crack location;
Image display methods including.
構造物を撮影した点検画像で構成される前記構造物の全部又は一部の3次元モデル、及び前記点検画像において前記構造物のひび割れ箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置に画像表示方法を行わせるプログラムであって、
前記プロセッサに、
前記メモリに記憶された前記3次元モデルを前記表示部に表示させる工程と、
前記表示部に表示された前記3次元モデル上の一部の指定を受け付けて、前記指定された箇所に対応する前記3次元モデルの対象平面の一部の領域を前記表示部に表示させる工程と、
前記対象平面における前記ひび割れ箇所のうちの少なくとも一つの前記ひび割れ箇所を対象ひび割れ箇所として選択を受け付ける工程と、
前記表示部に表示させる前記対象平面の表示領域を、前記検出情報に基づいて前記対象ひび割れ箇所の形状に沿って移動させる工程と、
を行わせるプログラム。
a memory storing a three-dimensional model of all or part of the structure, which is composed of an inspection image taken of the structure, and detection information of detecting a crack in the structure in the inspection image; and a display unit. A program that causes an image display device comprising a processor and a processor to perform an image display method,
the processor;
displaying the three-dimensional model stored in the memory on the display unit;
receiving a designation of a part of the three-dimensional model displayed on the display unit, and displaying a part of the target plane of the three-dimensional model corresponding to the designated location on the display unit; ,
accepting selection of at least one of the crack locations in the target plane as a target crack location;
moving a display area of the target plane displayed on the display unit along the shape of the target crack location based on the detection information;
A program that performs.
構造物を撮影した点検画像で構成される前記構造物の全部又は一部の3次元モデル、及び前記点検画像において前記構造物のひび割れ箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置に画像表示方法を行わせるプログラムであって、
前記プロセッサに、
前記メモリに記憶された前記3次元モデルを前記表示部に表示させる工程と、
前記表示部に表示された前記3次元モデル上の前記ひび割れ箇所の指定を受け付けて、前記ひび割れ箇所に対応する前記3次元モデルの対象平面の一部の領域を前記表示部に表示させる工程と、
前記表示部に表示させる前記対象平面の表示領域を、前記検出情報に基づいて前記ひび割れ箇所である対象ひび割れ箇所の形状に沿って移動させる工程と、
を行わせるプログラム。
a memory storing a three-dimensional model of all or part of the structure, which is composed of an inspection image taken of the structure, and detection information of detecting a crack in the structure in the inspection image; and a display unit. A program that causes an image display device comprising a processor and a processor to perform an image display method,
the processor;
displaying the three-dimensional model stored in the memory on the display unit;
receiving the designation of the crack location on the three-dimensional model displayed on the display unit, and displaying a part of the target plane of the three-dimensional model corresponding to the crack location on the display unit;
moving a display area of the target plane displayed on the display unit based on the detection information along the shape of the target crack location, which is the crack location;
A program that performs.
JP2022503154A 2020-02-28 2021-01-21 Image display device, image display method, and program Active JP7447238B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020033960 2020-02-28
JP2020033960 2020-02-28
PCT/JP2021/001926 WO2021171839A1 (en) 2020-02-28 2021-01-21 Image display device, image display method, and program

Publications (3)

Publication Number Publication Date
JPWO2021171839A1 JPWO2021171839A1 (en) 2021-09-02
JPWO2021171839A5 JPWO2021171839A5 (en) 2022-11-14
JP7447238B2 true JP7447238B2 (en) 2024-03-11

Family

ID=77490924

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022503154A Active JP7447238B2 (en) 2020-02-28 2021-01-21 Image display device, image display method, and program

Country Status (2)

Country Link
JP (1) JP7447238B2 (en)
WO (1) WO2021171839A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830616A (en) * 2021-09-15 2023-03-21 北京有竹居网络技术有限公司 Copy information determination method and device, computer equipment and storage medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017168077A (en) 2016-03-09 2017-09-21 株式会社リコー Image processing method, display device, and inspection system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017110279A1 (en) * 2015-12-25 2017-06-29 富士フイルム株式会社 Damage information processing device and damage information processing method
JP2017130049A (en) * 2016-01-20 2017-07-27 キヤノン株式会社 Image processor, image processing method and program
JP6609057B2 (en) * 2016-08-22 2019-11-20 富士フイルム株式会社 Image processing device
JP6947098B2 (en) * 2018-03-26 2021-10-13 富士通株式会社 Image processing equipment, methods, and programs
JP7330710B2 (en) * 2018-04-26 2023-08-22 キヤノン株式会社 Information processing device, information processing method and program
JP7207073B2 (en) * 2019-03-27 2023-01-18 富士通株式会社 Inspection work support device, inspection work support method and inspection work support program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017168077A (en) 2016-03-09 2017-09-21 株式会社リコー Image processing method, display device, and inspection system

Also Published As

Publication number Publication date
WO2021171839A1 (en) 2021-09-02
JPWO2021171839A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
JP4492654B2 (en) 3D measuring method and 3D measuring apparatus
JP4774824B2 (en) Method for confirming measurement target range in three-dimensional measurement processing, method for setting measurement target range, and apparatus for performing each method
JP5911934B2 (en) Contour measurement device and robot system
CN108965690B (en) Image processing system, image processing apparatus, and computer-readable storage medium
JP5620200B2 (en) Point cloud position data processing device, point cloud position data processing method, point cloud position data processing system, and point cloud position data processing program
KR20060132454A (en) Image process apparatus
JP2008275341A (en) Information processor and processing method
US9569850B2 (en) System and method for automatically determining pose of a shape
JP2013167481A (en) Image processor and program
JP6970817B2 (en) Structure management equipment, structure management method, and structure management program
JP2010287174A (en) Furniture simulation method, device, program, recording medium
JP7447238B2 (en) Image display device, image display method, and program
EP4002293A1 (en) Image display device, method, and program
JP2024012527A (en) Information display device, method, and program
US11055865B2 (en) Image acquisition device and method of operating image acquisition device
US20220406018A1 (en) Three-dimensional display device, three-dimensional display method, and three-dimensional display program
JP6989877B2 (en) Position coordinate calculation method and position coordinate calculation device
JP2022182836A (en) Video processing device and its control method, and program
JP2006003276A (en) Three dimensional geometry measurement system
JPH11175692A (en) Collector of data on joint motion
JP2004252815A (en) Image display device, its method and program
JP7326446B2 (en) Image display device, method and program
JP6841977B2 (en) Shooting support device, shooting support method, and shooting support program
JP6464569B2 (en) Corneal endothelial cell analysis program
JP2019159375A (en) Information processing apparatus, superposition display program and superposition display method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221028

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240228

R150 Certificate of patent or registration of utility model

Ref document number: 7447238

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150