JP7447238B2 - Image display device, image display method, and program - Google Patents
Image display device, image display method, and program Download PDFInfo
- Publication number
- JP7447238B2 JP7447238B2 JP2022503154A JP2022503154A JP7447238B2 JP 7447238 B2 JP7447238 B2 JP 7447238B2 JP 2022503154 A JP2022503154 A JP 2022503154A JP 2022503154 A JP2022503154 A JP 2022503154A JP 7447238 B2 JP7447238 B2 JP 7447238B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- display unit
- dimensional model
- target
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 39
- 238000007689 inspection Methods 0.000 claims description 62
- 239000003550 marker Substances 0.000 claims description 51
- 238000001514 detection method Methods 0.000 claims description 26
- 238000005336 cracking Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 35
- 239000013598 vector Substances 0.000 description 15
- 238000012545 processing Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、画像表示装置、画像表示方法、及びプログラムに関し、特に3次元モデルを表示する画像表示装置、画像表示方法、及びプログラムに関する。 The present invention relates to an image display device, an image display method, and a program, and more particularly to an image display device, an image display method, and a program for displaying a three-dimensional model.
近年、構造物の点検を行う場合にデジタルカメラ(撮像装置)により構造物を撮影し、得られた点検画像に基づいて点検作業が行われている。このような点検作業では、構造物の様々な箇所を撮影するために、多数の点検画像が取得される。そして、点検対象である構造物の全体構造を大まかに表現した3次元モデル上の対応する位置に、点検画像のリンクポイントを配置することにより、点検画像相互の位置関係を把握する表示技術が提案されている。 In recent years, when inspecting a structure, the structure is photographed using a digital camera (imaging device), and inspection work is performed based on the obtained inspection image. In such inspection work, a large number of inspection images are acquired in order to photograph various parts of the structure. We also proposed a display technology that grasps the mutual positional relationship between inspection images by arranging link points of inspection images at corresponding positions on a three-dimensional model that roughly represents the overall structure of the structure to be inspected. has been done.
例えば、特許文献1に記載されている技術では、橋梁の3次元モデルと点検画像とを対応する位置関係に配置させることが記載されている(図8(b))。
For example, the technique described in
点検画像から損傷を検出するためには、点検画像における損傷を一定の解像で撮像しなければならない。例えば、点検画像は構造物の壁面に対して1~2mの被写体距離で撮影されることが多い。したがって、点検画像の画角は損傷箇所に対して小さい場合があり、この場合にはユーザは点検画像の表示領域を移動させながら、損傷を追跡して観察する必要がある。一方で、点検画像には損傷箇所が複数存在する場合や、損傷箇所が複雑な形状である場合があり、表示領域を移動した際に、正確に注目する損傷箇所を追跡して観察を行うことが困難な場合がある。 In order to detect damage from an inspection image, the damage in the inspection image must be captured at a constant resolution. For example, inspection images are often taken at a subject distance of 1 to 2 meters from the wall of a structure. Therefore, the angle of view of the inspection image may be small relative to the damage location, and in this case, the user needs to track and observe the damage while moving the display area of the inspection image. On the other hand, an inspection image may have multiple damaged locations or have a complex shape, so it is difficult to accurately track and observe the damaged location when moving the display area. may be difficult.
上述した特許文献1では、点検画像の表示領域が移動する場合に、注目する損傷箇所を追跡することに関しては言及されていない。
The above-mentioned
本発明はこのような事情に鑑みてなされたもので、その目的は、3次元モデル上の平面において表示領域が移動する場合であっても、注目する損傷箇所を見失うこと無く追跡して観察することができる画像表示装置、画像表示方法、及びプログラムを提供することである。 The present invention has been made in view of these circumstances, and its purpose is to track and observe the damaged area of interest without losing sight of it, even when the display area moves on a plane on a three-dimensional model. An object of the present invention is to provide an image display device, an image display method, and a program that can display images.
上記目的を達成するための本発明の一の態様である画像表示装置は、構造物を撮影した点検画像で構成される構造物の全部又は一部の3次元モデル、及び点検画像において構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置であって、プロセッサは、メモリに記憶された3次元モデルを表示部に表示させ、表示部に表示された3次元モデル上の一部の指定を受け付けて、指定された箇所に対応する3次元モデルの対象平面の一部の領域を表示部に表示させ、対象平面における損傷箇所のうちの少なくとも一つの損傷箇所を対象損傷箇所として選択を受け付け、表示部に表示させる対象平面の表示領域を、検出情報に基づいて対象損傷箇所の形状に沿って移動させる。 An image display device, which is one aspect of the present invention for achieving the above object, displays a three-dimensional model of all or part of a structure composed of inspection images taken of the structure, and a three-dimensional model of the structure in the inspection image. An image display device comprising a memory storing detection information of detected damage locations, a display section, and a processor, wherein the processor causes the display section to display the three-dimensional model stored in the memory; The designation of a part of the 3D model displayed on the 3D model is accepted, the part of the target plane of the 3D model that corresponds to the designated part is displayed on the display, and the damaged parts of the target plane are displayed. A selection of at least one damage location as a target damage location is accepted, and a display area of the target plane to be displayed on the display unit is moved along the shape of the target damage location based on the detection information.
本態様によれば、対象平面の表示領域が対象損傷箇所の形状に沿って移動するので、対象平面の表示領域が移動した場合であっても、注目する対象損傷箇所を見失うことなく追跡して観察することができる。 According to this aspect, the display area of the target plane moves along the shape of the target damage location, so even if the display area of the target plane moves, the target damage location of interest can be tracked without losing sight of it. can be observed.
本発明の他の態様である画像表示装置は、構造物を撮影した点検画像で構成される構造物の全部又は一部の3次元モデル、及び点検画像において構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置であって、プロセッサは、メモリに記憶された3次元モデルを表示部に表示させ、表示部に表示された3次元モデル上の損傷箇所の指定を受け付けて、損傷箇所に対応する3次元モデルの対象平面の一部の領域を表示部に表示させ、表示部に表示させる対象平面の表示領域を、検出情報に基づいて損傷箇所である対象損傷箇所の形状に沿って移動させる。 An image display device that is another aspect of the present invention provides a three-dimensional model of all or part of a structure that is composed of inspection images taken of the structure, and detection information that detects damaged locations of the structure in the inspection images. An image display device comprising a memory in which is stored, a display unit, and a processor, wherein the processor displays the three-dimensional model stored in the memory on the display unit, and displays the three-dimensional model displayed on the display unit. Upon receiving the designation of the damage location above, display a part of the target plane of the 3D model corresponding to the damage location on the display, and change the display area of the target plane to be displayed on the display based on the detected information. Move it along the shape of the target damaged area, which is the damaged area.
本態様によれば、対象平面の表示領域が対象損傷箇所の形状に沿って移動するので、対象平面の表示領域が移動した場合であっても、注目する対象損傷箇所を見失うことなく追跡して観察することができる。 According to this aspect, the display area of the target plane moves along the shape of the target damage location, so even if the display area of the target plane moves, the target damage location of interest can be tracked without losing sight of it. can be observed.
好ましくは、プロセッサは、表示部に、対象平面を正対させて表示させる。 Preferably, the processor causes the display unit to display the target plane facing directly.
好ましくは、プロセッサは、表示部に、表示領域の移動の前後において、対象平面の拡大率を一定にして表示させる。 Preferably, the processor causes the display unit to display the target plane at a constant magnification before and after moving the display area.
好ましくは、プロセッサは、表示領域を表示部の一画面に相当する画角以内の設定画角ずつ間欠的に移動させ、且つ表示部の中央部に対象損傷箇所の一部を位置させる。 Preferably, the processor intermittently moves the display area by a set viewing angle within a viewing angle corresponding to one screen of the display unit, and positions a part of the target damaged area in the center of the display unit.
好ましくは、プロセッサは、表示領域を連続的に移動させ、且つ表示部の中央部に対象損傷箇所の一部を位置させる。 Preferably, the processor continuously moves the display area and positions a portion of the target damage location in the center of the display section.
好ましくは、プロセッサは、対象損傷箇所に沿って移動するマーカを表示部に表示させる。 Preferably, the processor causes the display unit to display a marker that moves along the target damaged location.
好ましくは、プロセッサは、対象損傷箇所に沿って移動するマーカを表示部に表示させ、マーカが設定画角の端に達すると、表示領域を移動させる。 Preferably, the processor causes the display unit to display a marker that moves along the target damaged location, and moves the display area when the marker reaches an end of the set angle of view.
好ましくは、プロセッサは、マーカを自動で移動させる。 Preferably, the processor automatically moves the marker.
好ましくは、プロセッサは、表示部に対象損傷箇所の一部の領域の拡大画像を表示させる。 Preferably, the processor causes the display unit to display an enlarged image of a partial area of the target damaged location.
本発明の他の態様である画像表示方法は、構造物を撮影した点検画像で構成される構造物の全部又は一部の3次元モデル、及び点検画像において構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置を使用した画像表示方法であって、プロセッサにより行われる、メモリに記憶された3次元モデルを表示部に表示させる工程と、表示部に表示された3次元モデル上の一部の指定を受け付けて、指定された箇所に対応する3次元モデルの対象平面の一部の領域を表示部に表示させる工程と、対象平面における損傷箇所のうちの少なくとも一つの損傷箇所を対象損傷箇所として選択を受け付ける工程と、表示部に表示させる対象平面の表示領域を、検出情報に基づいて対象損傷箇所の形状に沿って移動させる工程と、を含む。 An image display method that is another aspect of the present invention provides a three-dimensional model of all or part of a structure that is composed of an inspection image taken of the structure, and detection information that detects a damaged part of the structure in the inspection image. An image display method using an image display device comprising a memory in which a 3D model is stored, a display section, and a processor, the method comprising: displaying a three-dimensional model stored in the memory on the display section, performed by the processor; , a step of accepting a designation of a part of the 3D model displayed on the display unit and displaying a part of the target plane of the 3D model corresponding to the designated location on the display unit; a step of receiving selection of at least one damaged point among the damaged points as a target damaged point; and a step of moving a display area of the target plane to be displayed on the display unit along the shape of the target damaged point based on the detection information. ,including.
本発明の他の態様である画像表示方法は、構造物を撮影した点検画像で構成される構造物の全部又は一部の3次元モデル、及び点検画像において構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置を使用した画像表示方法であって、プロセッサにより行われる、メモリに記憶された3次元モデルを表示部に表示させる工程と、表示部に表示された3次元モデル上の損傷箇所の指定を受け付けて、損傷箇所に対応する3次元モデルの対象平面の一部の領域を表示部に表示させる工程と、表示部に表示させる対象平面の表示領域を、検出情報に基づいて損傷箇所である対象損傷箇所の形状に沿って移動させる工程と、を含む。 An image display method that is another aspect of the present invention provides a three-dimensional model of all or part of a structure that is composed of an inspection image taken of the structure, and detection information that detects a damaged part of the structure in the inspection image. An image display method using an image display device comprising a memory in which a 3D model is stored, a display section, and a processor, the method comprising: displaying a three-dimensional model stored in the memory on the display section, performed by the processor; , a step of receiving a designation of a damaged location on the three-dimensional model displayed on the display section, and displaying a part of the target plane of the three-dimensional model corresponding to the damaged location on the display section; The method includes the step of moving the display area of the target plane along the shape of the target damage location, which is the damage location, based on the detection information.
本発明の他の態様であるプログラムは、構造物を撮影した点検画像で構成される構造物の全部又は一部の3次元モデル、及び点検画像において構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置に画像表示方法を行わせるプログラムであって、プロセッサに、メモリに記憶された3次元モデルを表示部に表示させる工程と、表示部に表示された3次元モデル上の一部の指定を受け付けて、指定された箇所に対応する3次元モデルの対象平面の一部の領域を表示部に表示させる工程と、対象平面における損傷箇所のうちの少なくとも一つの損傷箇所を対象損傷箇所として選択を受け付ける工程と、表示部に表示させる対象平面の表示領域を、検出情報に基づいて対象損傷箇所の形状に沿って移動させる工程と、を行わせる。 A program that is another aspect of the present invention stores a three-dimensional model of all or part of a structure that is composed of inspection images taken of the structure, and detection information that detects damaged parts of the structure in the inspection images. A program for causing an image display device comprising a memory, a display unit, and a processor to perform an image display method, the program comprising: causing the processor to display a three-dimensional model stored in the memory on the display unit; a step of receiving a designation of a part of the three-dimensional model displayed on the display part and displaying a part of the target plane of the three-dimensional model corresponding to the designated part on the display part; and a step of displaying a damaged part on the target plane. a step of receiving selection of at least one of the damaged points as a target damaged point, and a step of moving a display area of the target plane to be displayed on the display unit along the shape of the target damaged point based on the detection information. Let it happen.
本発明の他の態様であるプログラムは、構造物を撮影した点検画像で構成される構造物の全部又は一部の3次元モデル、及び点検画像において構造物の損傷箇所を検出した検出情報が記憶されているメモリと、表示部と、プロセッサとを備える画像表示装置に画像表示方法を行わせるプログラムであって、プロセッサに、メモリに記憶された3次元モデルを表示部に表示させる工程と、表示部に表示された3次元モデル上の損傷箇所の指定を受け付けて、損傷箇所に対応する3次元モデルの対象平面の一部の領域を表示部に表示させる工程と、表示部に表示させる対象平面の表示領域を、検出情報に基づいて損傷箇所である対象損傷箇所の形状に沿って移動させる工程と、を行わせる。 A program that is another aspect of the present invention stores a three-dimensional model of all or part of a structure that is composed of inspection images taken of the structure, and detection information that detects damaged parts of the structure in the inspection images. A program for causing an image display device comprising a memory, a display unit, and a processor to perform an image display method, the program comprising: causing the processor to display a three-dimensional model stored in the memory on the display unit; a step of receiving a designation of a damaged location on the three-dimensional model displayed on the display section, and displaying a part of the target plane of the three-dimensional model corresponding to the damaged location on the display section; A step of moving the display area of the target damage location along the shape of the target damage location, which is the damage location, based on the detected information.
本発明によれば、3次元モデルの平面の表示領域が対象損傷箇所の形状に沿って移動するので、対象平面の表示領域が移動した場合であっても注目する損傷箇所を見失うことなく追跡して観察することができる。 According to the present invention, the plane display area of the three-dimensional model moves along the shape of the target damage location, so even if the target plane display area moves, the damage location of interest can be tracked without losing sight of it. can be observed.
以下、添付図面にしたがって本発明に係る画像表示装置、画像表示方法、及びプログラムの好ましい実施の形態について説明する。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of an image display device, an image display method, and a program according to the present invention will be described below with reference to the accompanying drawings.
<第1の実施形態>
図1は、画像表示装置1の主な構成例を示す図である。
<First embodiment>
FIG. 1 is a diagram showing an example of the main configuration of an
画像表示装置1はコンピュータで構成される。画像表示装置1は、装置本体11、表示部21、及び操作部23により構成される。
装置本体11は、CPU(Central Processing Unit)(プロセッサ)13、メモリ15、表示制御部17、受付部19を備える。
The device
CPU13は、画像表示装置1の全般的な制御を行う。CPU13は、メモリ15から必要なプログラム及び各種制御に用いる情報を読み出して、CPU13で行われる各種処理及び各種制御を行う。CPU13は、プログラムを実行させて表示制御部17及び受付部19を実現させる。
The
CPU13のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の機能部として作用する汎用的なプロセッサであるCPU、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
The hardware structure of the
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の機能部を1つのプロセッサで構成してもよい。複数の機能部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の機能部として作用させる形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の機能部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の機能部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。 One processing unit may be composed of one of these various processors, or may be composed of two or more processors of the same type or different types (for example, multiple FPGAs, or a combination of a CPU and FPGA). It's okay. Further, a plurality of functional units may be configured by one processor. As an example of configuring multiple functional units with one processor, first, one processor is configured with a combination of one or more CPUs and software, as typified by computers such as clients and servers. There is a form in which a processor acts as multiple functional units. Second, there are processors that use a single IC (Integrated Circuit) chip, such as System On Chip (SoC), which implements the functions of an entire system that includes multiple functional units. be. In this way, various functional units are configured using one or more of the various processors described above as a hardware structure.
表示部21はモニタで構成される。表示部21は、表示制御部17の制御の下で3次元モデル、及びユーザが3次元モデル上で指定した対象平面を表示する。
The
受付部19は、操作部23を介してユーザの指令を受け付ける。例えば、操作部23はマウス等のポインティングデバイスやキーボードで構成され、ユーザは操作部23に指令を入力することにより、受付部19でその指令が受け付けられる。
The
メモリ15は、CPU13で実現される機能に必要なプログラムを記憶する。また、メモリ15は、点検対象の構造物の全部または一部の3次元モデル、及び検出情報を記憶する。またメモリ15は、必要に応じて点検画像を記憶する。ここで点検画像とは、点検対象である構造物を撮影した画像である。例えばメモリ15は、点検対象である構造物を網羅的に撮影した多数の点検画像を記憶する。
The
3次元モデルは、点検対象である構造物の全体構造を表すモデルである。例えば3次元モデルの3次元形状は3次元CAD(computer-aided design)に基づいて作成される。また、3次元モデルの表面は点検画像が貼り付けられている。例えば複数の点検画像がパノラマ合成されて、3次元モデルの表面に貼り付けられている。なお、点検画像に写っている構造物の箇所と、その点検画像が貼り付けられる3次元モデル上の位置とは対応している。したがって、ユーザは3次元モデルにより点検画像の相互の位置関係を把握することができる。 The three-dimensional model is a model representing the entire structure of the structure to be inspected. For example, the three-dimensional shape of a three-dimensional model is created based on three-dimensional CAD (computer-aided design). In addition, an inspection image is pasted on the surface of the three-dimensional model. For example, a plurality of inspection images are combined into a panorama and pasted onto the surface of a three-dimensional model. Note that the location of the structure shown in the inspection image corresponds to the position on the three-dimensional model to which the inspection image is pasted. Therefore, the user can understand the mutual positional relationship of the inspection images using the three-dimensional model.
検出情報は、構造物の点検画像において構造物の損傷箇所を検出した情報である。例えば検出情報は、点検画像を画像処理することに取得されたり、点検画像を機械学習が施された認識器で処理されたりすることにより取得される。また損傷箇所とは、損傷が位置する場所であり、例えばひび割れ、鉄筋露出などの損傷が位置する場所である。また、損傷箇所として、ひび割れを点検作業員がチョーク等でなぞった印も損傷箇所として含まれる。 The detection information is information that detects a damaged part of the structure in the inspection image of the structure. For example, the detection information is acquired by image processing the inspection image, or by processing the inspection image with a recognizer that performs machine learning. Further, the damage location is a location where damage is located, for example, a location where damage such as cracks or exposed reinforcing bars is located. In addition, marks made by an inspection worker tracing a crack with chalk or the like are also included as damaged locations.
次に、メモリ15に記憶される3次元モデルに関して説明する。
Next, the three-dimensional model stored in the
図2は、表示部21に表示された3次元モデルの一例を示す図である。
FIG. 2 is a diagram showing an example of a three-dimensional model displayed on the
図2に示す3次元モデルNは、構造物である柱の全体構造を表している。柱は直方体形状を有し、直方体を構成する各面(表面)にはパノラマ合成された点検画像が貼り付けられている。具体的には、3次元モデルNの面NA、面NB、面NCには、位置的に対応する複数の点検画像がパノラマ合成されて、貼り付けられている。したがって、ユーザは3次元モデルN上の位置を指定し拡大表示をさせることにより、その位置に対応する柱の点検画像を観察することができる。なお、ユーザは、損傷箇所Bが大きい場合には3次元モデルNにおいて損傷箇所Bを視認することができ、損傷箇所Bが小さい場合には3次元モデル上の位置を指定し拡大表示を行った後に損傷箇所Bを視認することができる。なお、上述した3次元モデルNは一例であり、本発明においては他の3次元モデルも使用される。構造物の全体構造を表す3次元モデルとして、点群モデル、テクスチャモデル、及びソリッドモデルが採用され、少なくとも対応する位置に点検画像のリンクポイントが配置されていればよい。 The three-dimensional model N shown in FIG. 2 represents the entire structure of a column that is a structure. The column has a rectangular parallelepiped shape, and a panoramic composite inspection image is pasted on each surface (surface) of the rectangular parallelepiped. Specifically, a plurality of positionally corresponding inspection images are combined into a panorama and pasted onto the surface NA, surface NB, and surface NC of the three-dimensional model N. Therefore, by specifying a position on the three-dimensional model N and enlarging the display, the user can observe the inspection image of the column corresponding to that position. Note that if the damaged area B is large, the user can visually recognize the damaged area B on the 3-dimensional model N, and if the damaged area B is small, the user can specify the position on the 3-dimensional model and enlarge it. Damage location B can be visually recognized later. Note that the three-dimensional model N described above is an example, and other three-dimensional models are also used in the present invention. A point cloud model, a texture model, and a solid model are employed as the three-dimensional model representing the overall structure of the structure, and it is sufficient that the link points of the inspection image are arranged at least at corresponding positions.
次に、メモリ15に記憶される検出情報に関して説明する。
Next, the detection information stored in the
図3は、点検画像の一例を示す図である。図3に示された点検画像53は、損傷箇所を画像処理又は機械学習が施された認識器で検出する観点から損傷箇所を一定以上の解像で撮像する必要があり、柱の壁面に対して1~2mの被写体距離で撮影される。点検画像53には、ひび割れ55が写っている。ひび割れ55は、画像処理技術又は機械学習が施された認識器(セグメンテーション認識器)により検出される。ひび割れ55を検出することにより、ひび割れ55の損傷情報が得られる。ここで、損傷情報には、検出した損傷箇所に関する様々な情報が含まれる。例えば、損傷箇所の形状、損傷の程度、損傷の種類、損傷の原因等が損傷情報に含まれる。また、後で説明をする損傷の形状を示す損傷ベクトルも損傷情報に含まれる。
FIG. 3 is a diagram showing an example of an inspection image. The
図4及び図5は、検出したひび割れ55の損傷情報の一例である損傷ベクトルに関して説明する図である。図4はひび割れ55に基づいて生成された損傷ベクトルを点検画像53に重畳させて示した図であり、図5は各損傷ベクトルを示す点P1~P7の座標を示す図である。検出したひび割れ55に基づいて、損傷ベクトルを生成する手法の一例は以下の通りである。先ず、検出したひび割れ55を必要に応じて2値化及び/又は細線化する。そして、検出したひび割れ55において直線近似ができる線分を1区間として始点及び終点を決定する。また、検出したひび割れ55において枝分かれする箇所がある場合には、枝分かれする箇所において点が設けられる。なお、検出したひび割れ55に基づいて損傷ベクトルを生成する手法は他の公知の技術が用いられてもよい。
4 and 5 are diagrams illustrating a damage vector that is an example of damage information of the detected
ひび割れ55は、始点P1及び終点P2で表されるベクトルC1-1と、始点P2及び終点P3で表されるベクトルC1-2と、始点P3及び終点P4で表されるベクトルC1-3と、始点P3及び終点P5で表されるベクトルC1-4と、始点P3及び終点P6で表されるベクトルC1-5と、始点P6及び終点P7で表されるベクトルC1-6とで表される。なおP1~P7は、図5に示すようにそれぞれ座標を有し、点検画像53上での位置が特定されている。
The
次に、画像表示装置1を使用した画像表示方法及び画像表示装置1に画像表示方法を行わせるプログラムに関して説明する。
Next, an image display method using the
図6は、画像表示装置1を用いて行われる画像表示方法に関して説明する図である。
FIG. 6 is a diagram illustrating an image display method performed using the
先ず、表示制御部17は、メモリ15に記憶された3次元モデルM(図7を参照)を表示部21に表示させる(ステップS10:3次元モデルの表示工程)。次に、受付部19は、ユーザからの3次元モデルMの一部の領域の指定を操作部23を介して受け付ける(ステップS11:対象平面の受付工程)。表示制御部17は、指定された対象平面の一部の領域を表示部21に表示させる(ステップS12:対象平面の表示工程)。その後、受付部19は、ユーザからの対象損傷箇所の選択を操作部23を介して受け付ける(ステップS13:対象損傷の受付工程)。次に、表示制御部17は、対象平面の表示領域を対象損傷箇所の形状に沿って移動させる(ステップS14:表示領域の移動工程)。
First, the
次に、上述した各工程に関して説明を行う。 Next, each of the above steps will be explained.
<3次元モデルの表示工程及び対象平面の受付工程>
3次元モデルの表示工程では、表示制御部17により3次元モデルMが表示部21に表示される(ステップS10)。
<3D model display process and target plane reception process>
In the three-dimensional model display step, the
図7は、表示部21に表示された3次元モデルMを示す図である。
FIG. 7 is a diagram showing the three-dimensional model M displayed on the
3次元モデルMは、構造物である橋梁の全体構造を表す3次元モデルである。3次元モデルMの各面には、橋梁を撮影して得た点検画像がパノラマ合成されて貼り付けられている。3次元モデルMは、自由に回転して視点を移動させることができる。 The three-dimensional model M is a three-dimensional model representing the entire structure of a bridge, which is a structure. Inspection images obtained by photographing the bridge are pasted on each side of the three-dimensional model M in a panoramic composition. The three-dimensional model M can be freely rotated and the viewpoint can be moved.
対象平面の受付工程では、受付部19により操作部23を介してユーザから対象平面の指定を受け付ける(ステップS11)。
In the target plane reception process, the
ユーザは、表示部21に表示された3次元モデルMにおいて、より詳細に観察したい箇所を操作部23により指定する。例えば、ユーザは表示部21に表示されたカーソル61で、3次元モデルMの一部の対象平面MAを指定することにより、対象平面MAの一部の領域が表示部21に表示される。
The user uses the
<対象平面の表示工程及び対象損傷箇所の受付工程>
対象平面の表示工程では、表示制御部17によりユーザが指定した対象平面MAの一部の表示領域63(以下、表示領域63という)を表示部21に表示させる(ステップS12)。
<Display process of target plane and reception process of target damaged area>
In the target plane display step, the
図8は、表示部21に表示された表示領域63を示す図である。対象平面MAの一部の表示領域63は、3次元モデルMと比較すると拡大されて表示される。したがって、3次元モデルMの表示領域63には、ひび割れ55に対応する対象損傷箇所65が表示される。
FIG. 8 is a diagram showing the
対象損傷箇所の受付工程では、受付部19により操作部23を介してユーザから対象損傷箇所の選択を受け付ける(ステップS13)。ユーザは、表示部21に表示された表示領域63を観察して、注目して観察する対象損傷箇所の選択を行う。図8に示した場合では、対象損傷箇所65がカーソル61で選択され、対象損傷箇所として選択される。
In the process of accepting the target damage location, the
<表示領域の移動工程>
表示領域の移動工程では、表示制御部17により、対象平面MAの表示領域が対象損傷箇所65に沿って移動させられる(ステップS14)。表示領域63は画角が小さく、対象損傷箇所65の全体が表示されていない。したがって、ユーザは対象平面MAの表示領域を移動させながら対象損傷箇所65の全体を観察する。表示領域の移動は、ユーザの手動又は自動により行うことができる。以下に、対象平面MAの表示領域の移動形態に関して説明する。
<Display area movement process>
In the display area moving step, the
(第1の移動形態)
先ず、対象平面MAの表示領域の第1の移動形態に関して説明する。
(First form of movement)
First, a first movement form of the display area of the target plane MA will be described.
図9及び図10は、対象平面MAの表示領域63の第1の移動形態を説明する図である。図9は対象平面MA上の表示領域63から表示領域73の移動を模式的に示した図であり、図10は表示部21に表示される表示領域63及び表示領域73を示した図である。第1の移動形態においては、表示制御部17は、対象平面MAの表示領域を表示部21の一画面に相当する設定画角ずつ間欠的に移動させる。すなわち、第1の移動形態においては、表示領域63が表示された後に表示領域73が表示される。なお、本例では表示部21の一画角毎に表示領域が移動するがこれに限定されず、一画角以内であれば移動する表示領域は適宜設定することができる。例えば、0.5画角毎に表示領域が移動してもよい。また、表示制御部17は、対象損傷箇所65の一部が表示部21の中央部に位置するように表示領域63から表示領域73に移動させる。なお、対象損傷箇所65に枝分かれする箇所がある場合には、メインの枝に沿って表示領域は移動する。ここで、メインの枝は損傷情報により決定される。例えば、枝分かれ後の損傷毎に、損傷個所の損傷の程度、平均幅、面積、及び長さ等に基づきスコアが算出される。かかるスコアに基づき、より観察の優先順位の高いメインの枝が決定される。
9 and 10 are diagrams illustrating a first movement form of the
表示制御部17は、表示領域63及び表示領域73において対象平面MAを正対した状態で表示させる。また、表示制御部17は、対象平面MAの拡大率を同一にして表示領域63と表示領域73とを表示する。このように、表示領域63から表示領域73へ移動することにより、対象損傷箇所65を見失うことなく追跡して観察することができる。なお、表示領域63から表示領域73に移動するタイミングは、ユーザにより適宜設定される。例えば、手動での表示領域の移動が行われる場合には、ユーザが操作部23を介して移動の指令を入力すると表示領域63から表示領域73に移動する。また、自動での表示領域の移動が行われる場合には、所定の時間が経過した場合に、表示領域63から表示領域73に移動する。また、以下で説明する第3の実施形態のように、マーカを基準にして表示領域63から表示領域73に移動してもよい。
The
(第2の移動形態)
次に、対象平面MAの表示領域の第2の移動形態に関して説明する。
(Second movement form)
Next, a second movement form of the display area of the target plane MA will be explained.
図11及び図12は、対象平面MAの表示領域63の第2の移動形態を説明する図である。図11は対象平面MA上の表示領域63から表示領域83の移動を模式的に示した図であり、図12は表示部21に表示される表示領域63及び表示領域83を示した図である。表示制御部17は、第2の移動形態においては表示領域を連続的に移動させる。すなわち、第2の実施形態においては、ユーザが表示領域を移動させた場合には、表示領域は連続的に移動する。表示制御部17は、表示領域63及び表示領域83において対象平面MAを正対した状態で表示させる。また、表示制御部17は、対象平面MAの拡大率を同一にして表示領域63と表示領域83とを表示する。このように、表示領域63から表示領域83へ移動することにより、対象損傷箇所65を見失うことなく追跡して観察することができる。なお、表示領域63から表示領域83に移動するタイミングは、上述した第1の移動形態で説明した形態と同様である。
FIGS. 11 and 12 are diagrams illustrating a second movement form of the
以上で説明したように、本実施形態においては、対象平面の表示領域が対象損傷箇所の形状に沿って移動するので、対象平面の表示領域が移動した場合であっても対象損傷箇所を見失うことなく追跡して観察することができる。 As explained above, in this embodiment, the display area of the target plane moves along the shape of the target damage location, so even if the display area of the target plane moves, it is possible to lose sight of the target damage location. It can be tracked and observed without any problems.
上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ(処理手順)をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。 Each of the configurations and functions described above can be realized as appropriate using any hardware, software, or a combination of both. For example, a program that causes a computer to execute the above-mentioned processing steps (processing procedures), a computer-readable recording medium (non-temporary recording medium) that records such a program, or a computer that can install such a program. It is possible to apply the present invention to any case.
<第2の実施形態>
次に、本発明の第2の実施形態に関して説明する。本実施形態では、3次元モデル上において損傷箇所の視認が可能であり、ユーザが3次元モデル上において対象損傷箇所を選択する実施形態である。
<Second embodiment>
Next, a second embodiment of the present invention will be described. In this embodiment, damage locations can be visually recognized on a three-dimensional model, and a user selects a target damage location on the three-dimensional model.
図13は、本実施形態における画像表示装置1を使用した画像表示方法を示すフロー図である。
FIG. 13 is a flow diagram showing an image display method using the
先ず、表示制御部17は、メモリ15に記憶された3次元モデルを表示部21に表示させる(ステップS20:3次元モデルの表示工程)。次に、受付部19は、ユーザからの3次元モデル上の対象損傷箇所の選択を操作部23を介して受け付ける(ステップS21:対象損傷の受付工程)。本実施形態においては、点検対象である橋梁の全体構造を表現した3次元モデルにおいても、対象損傷箇所の選択が可能である。例えば、対象損傷箇所が大きい場合には、ユーザは3次元モデル上において対象損傷箇所の選択を行うことができる。また、損傷箇所が損傷形状モデルのようにイメージ化され3次元モデルに貼り付けられている場合にも、ユーザは3次元モデル上において損傷箇所の選択を行うことができる。表示制御部17は、選択された対象損傷箇所を含む対象平面の一部を表示部21に表示させる(ステップS22:対象平面の表示工程)。表示制御部17は、対象損傷箇所を有する3次元モデル上の面を特定し、その面を対象平面とし一部の領域を表示部21に表示させる。その後、対象損傷箇所に沿って対象平面の表示領域が移動される(ステップS23:表示領域の移動工程)。
First, the
以上で説明したように、本実施形態では、3次元モデル上において対象損傷箇所が選択され、対象損傷箇所を有する3次元モデル上の平面が特定され、その平面が対象平面として表示され、対象平面の表示領域は、対象損傷箇所に沿って移動する。したがって、本態様によれば効率的に対象損傷箇所を選択することができ、対象平面の表示領域が移動した場合であっても対象損傷箇所を見失うことなく追跡して観察することができる。 As explained above, in this embodiment, a target damage location is selected on a three-dimensional model, a plane on the three-dimensional model having the target damage location is identified, that plane is displayed as a target plane, and the target damage location is The display area moves along the target damage location. Therefore, according to this aspect, the target damage location can be efficiently selected, and even if the display area of the target plane moves, it is possible to track and observe the target damage location without losing sight of it.
<第3の実施形態>
次に、本発明の第3の実施形態に関して説明する。本実施形態では、対象損傷箇所の観察の補助表示としてマーカが表示される。
<Third embodiment>
Next, a third embodiment of the present invention will be described. In this embodiment, a marker is displayed as an auxiliary display for observing the target damage location.
図14は、本実施形態の画像表示装置1の主な構成例である。なお、図1で既に説明を行った箇所は同じ符号を付し説明は省略する。
FIG. 14 shows an example of the main configuration of the
マーカ表示制御部91は、対象損傷箇所65に沿って移動するマーカを表示部21に表示させる。また、マーカ表示制御部91は、表示部21に表示させたマーカを移動させる。マーカ表示制御部91は、マーカを自動で対象損傷箇所に沿って移動させてもよいし、マーカをユーザの操作に基づいて対象損傷箇所に沿って移動させてもよい。以下にマーカの表示の具体例に関して説明する。
The marker
図15は、マーカの表示の一例を示す図である。マーカ表示制御部91は、対象損傷箇所に沿ってマーカQ1-1~Q1-5を表示する。マーカ表示制御部91は、対象損傷箇所65に沿ってマーカQ1-1~マーカQ1-5が自動で順次表示する。例えば、ユーザが対象損傷箇所を選択した後に、マーカQ1-1が表示され、その後、マーカQ1-2、マーカQ1-3、マーカQ1-4、マーカQ1-5と順次表示される。マーカQ1-5が表示された場合には、マーカQ1-1~マーカQ1-5の全てが表示される。なお、図15に示すように、対象損傷箇所65に分岐がある場合には、例えば損傷情報に基づいてメインの対象損傷箇所65に沿って、マーカQ1-1~マーカQ1-5が表示される。また、マーカQ1-1~マーカQ1-5の全てが表示された際に、表示部21は表示領域の移動を行う。上述した第1の移動形態(図9及び図10参照)においては、マーカQ1-1~マーカQ1-5の全てが表示された際に、表示領域63から表示領域73に移動される。このように、対象損傷箇所65に沿って、マーカを表示させることによって、ユーザは表示部21に表示された対象損傷箇所を見失うことなく追跡して観察することができる。また、マーカの表示のタイミングと表示領域の移動のタイミングを対応させることにより、ユーザに表示領域の移動のタイミングを報知することができる。
FIG. 15 is a diagram showing an example of marker display. The marker
図16は、マーカの表示の一例を示す図である。マーカ表示制御部91は、対象損傷箇所に沿ってマーカQ2を表示する。マーカ表示制御部91は、対象損傷箇所65に重畳させてマーカQ2を手動で表示する。例えば、マーカ表示制御部91は、ユーザが操作部23を介して入力する指令に基づいて、マーカQ2を対象損傷箇所65に重畳させて移動させる。また、表示制御部17は、マーカQ2が表示領域63の画角の端に達すると、上述した第1の移動形態(図9及び図10参照)で説明したように、表示領域63から表示領域73に移動させる。このように、対象損傷箇所65に沿って、マーカを表示させることによって、ユーザは表示部21に表示された対象損傷箇所を見失うことなく追跡して観察することができる。また、ユーザが手動で動かすマーカの移動(画角に端に達するタイミング)と、表示領域の移動のタイミングとを合わせることにより、ユーザは所望のタイミングで表示領域の移動を行うことができる。
FIG. 16 is a diagram showing an example of marker display. The marker
図17は、マーカの表示及びサブウィンドウWの表示の一例を示す図である。なお、図17で示される表示領域71は、図16で示された表示領域63と比較して広角に表示されている。マーカ表示制御部91は、対象損傷箇所65に重畳させてマーカQ2を表示させ、マーカQ2を手動により移動させる。また、表示制御部17は、表示部21にサブウィンドウWを表示させる。サブウィンドウWには、マーカQ2が位置する箇所の対象損傷箇所65の拡大画像が表示される。このように、マーカQ2が位置する箇所の対象損傷箇所65の拡大画像が表示されることにより、ユーザはより損傷箇所に関して細かい部分まで観察を行うことができる。
FIG. 17 is a diagram illustrating an example of marker display and subwindow W display. Note that the
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。 Although examples of the present invention have been described above, it goes without saying that the present invention is not limited to the embodiments described above, and that various modifications can be made without departing from the spirit of the present invention.
1 :画像表示装置
9 :表示部
11 :装置本体
13 :CPU
15 :メモリ
17 :表示制御部
19 :受付部
21 :表示部
23 :操作部
91 :マーカ表示制御部
M :3次元モデル
N :3次元モデル
W :サブウィンドウ
1: Image display device 9: Display section 11: Device main body 13: CPU
15: Memory 17: Display control unit 19: Reception unit 21: Display unit 23: Operation unit 91: Marker display control unit M: 3D model N: 3D model W: Subwindow
Claims (16)
前記プロセッサは、
前記メモリに記憶された前記3次元モデルを前記表示部に表示させ、
前記表示部に表示された前記3次元モデル上の一部の指定を受け付けて、前記指定された箇所に対応する前記3次元モデルの対象平面の一部の領域を前記表示部に表示させ、
前記対象平面における前記ひび割れ箇所のうちの少なくとも一つの前記ひび割れ箇所を対象ひび割れ箇所として選択を受け付け、
前記表示部に表示させる前記対象平面の表示領域を、前記検出情報に基づいて前記対象ひび割れ箇所の形状に沿って移動させる、
画像表示装置。 a memory storing a three-dimensional model of all or part of the structure, which is composed of an inspection image taken of the structure, and detection information of detecting a crack in the structure in the inspection image; and a display unit. An image display device comprising: and a processor,
The processor includes:
displaying the three-dimensional model stored in the memory on the display unit;
receiving a designation of a part of the three-dimensional model displayed on the display unit, and displaying a part of the target plane of the three-dimensional model corresponding to the designated location on the display unit;
accepting selection of at least one of the crack locations in the target plane as a target crack location;
moving a display area of the target plane displayed on the display unit along the shape of the target crack location based on the detection information;
Image display device.
前記プロセッサは、
前記メモリに記憶された前記3次元モデルを前記表示部に表示させ、
前記表示部に表示された前記3次元モデル上の前記ひび割れ箇所の指定を受け付けて、前記ひび割れ箇所に対応する前記3次元モデルの対象平面の一部の領域を前記表示部に表示させ、
前記表示部に表示させる前記対象平面の表示領域を、前記検出情報に基づいて前記ひび割れ箇所である対象ひび割れ箇所の形状に沿って移動させる、
画像表示装置。 a memory storing a three-dimensional model of all or part of the structure, which is composed of an inspection image taken of the structure, and detection information of detecting a crack in the structure in the inspection image; and a display unit. An image display device comprising: and a processor,
The processor includes:
displaying the three-dimensional model stored in the memory on the display unit;
receiving the designation of the crack location on the three-dimensional model displayed on the display unit, and displaying a part of the target plane of the three-dimensional model corresponding to the crack location on the display unit;
moving a display area of the target plane displayed on the display unit based on the detection information along the shape of the target crack location, which is the crack location;
Image display device.
前記プロセッサは、
前記枝ごとのひび割れ箇所のひび割れの程度、平均幅、面積、及び長さ等に基づきスコアを算出することによりメインの枝を決定し、
前記メインの枝に沿って表示領域を移動させる、
請求項1から11のいずれか1項に記載の画像表示装置。 The crack location is a branching crack ,
The processor includes:
Determine the main branch by calculating a score based on the degree of cracking , average width, area, length, etc. of the cracked location for each branch ,
moving the display area along the main branch;
The image display device according to any one of claims 1 to 11.
前記プロセッサにより行われる、
前記メモリに記憶された前記3次元モデルを前記表示部に表示させる工程と、
前記表示部に表示された前記3次元モデル上の一部の指定を受け付けて、前記指定された箇所に対応する前記3次元モデルの対象平面の一部の領域を前記表示部に表示させる工程と、
前記対象平面における前記ひび割れ箇所のうちの少なくとも一つの前記ひび割れ箇所を対象ひび割れ箇所として選択を受け付ける工程と、
前記表示部に表示させる前記対象平面の表示領域を、前記検出情報に基づいて前記対象ひび割れ箇所の形状に沿って移動させる工程と、
を含む画像表示方法。 a memory storing a three-dimensional model of all or part of the structure, which is composed of an inspection image taken of the structure, and detection information of detecting a crack in the structure in the inspection image; and a display unit. An image display method using an image display device comprising: and a processor,
performed by the processor;
displaying the three-dimensional model stored in the memory on the display unit;
receiving a designation of a part of the three-dimensional model displayed on the display unit, and displaying a part of the target plane of the three-dimensional model corresponding to the designated location on the display unit; ,
accepting selection of at least one of the crack locations in the target plane as a target crack location;
moving a display area of the target plane displayed on the display unit along the shape of the target crack location based on the detection information;
Image display methods including.
前記プロセッサにより行われる、
前記メモリに記憶された前記3次元モデルを前記表示部に表示させる工程と、
前記表示部に表示された前記3次元モデル上の前記ひび割れ箇所の指定を受け付けて、前記ひび割れ箇所に対応する前記3次元モデルの対象平面の一部の領域を前記表示部に表示させる工程と、
前記表示部に表示させる前記対象平面の表示領域を、前記検出情報に基づいて前記ひび割れ箇所である対象ひび割れ箇所の形状に沿って移動させる工程と、
を含む画像表示方法。 a memory storing a three-dimensional model of all or a part of the structure, which is composed of an inspection image taken of the structure, and detection information of detecting a crack location in the structure in the inspection image; and a display unit. An image display method using an image display device comprising: and a processor,
performed by the processor;
displaying the three-dimensional model stored in the memory on the display unit;
receiving a designation of the crack location on the three-dimensional model displayed on the display section, and displaying on the display section a part of the target plane of the three-dimensional model that corresponds to the crack location;
moving a display area of the target plane displayed on the display unit based on the detection information along the shape of the target crack location, which is the crack location;
Image display methods including.
前記プロセッサに、
前記メモリに記憶された前記3次元モデルを前記表示部に表示させる工程と、
前記表示部に表示された前記3次元モデル上の一部の指定を受け付けて、前記指定された箇所に対応する前記3次元モデルの対象平面の一部の領域を前記表示部に表示させる工程と、
前記対象平面における前記ひび割れ箇所のうちの少なくとも一つの前記ひび割れ箇所を対象ひび割れ箇所として選択を受け付ける工程と、
前記表示部に表示させる前記対象平面の表示領域を、前記検出情報に基づいて前記対象ひび割れ箇所の形状に沿って移動させる工程と、
を行わせるプログラム。 a memory storing a three-dimensional model of all or part of the structure, which is composed of an inspection image taken of the structure, and detection information of detecting a crack in the structure in the inspection image; and a display unit. A program that causes an image display device comprising a processor and a processor to perform an image display method,
the processor;
displaying the three-dimensional model stored in the memory on the display unit;
receiving a designation of a part of the three-dimensional model displayed on the display unit, and displaying a part of the target plane of the three-dimensional model corresponding to the designated location on the display unit; ,
accepting selection of at least one of the crack locations in the target plane as a target crack location;
moving a display area of the target plane displayed on the display unit along the shape of the target crack location based on the detection information;
A program that performs.
前記プロセッサに、
前記メモリに記憶された前記3次元モデルを前記表示部に表示させる工程と、
前記表示部に表示された前記3次元モデル上の前記ひび割れ箇所の指定を受け付けて、前記ひび割れ箇所に対応する前記3次元モデルの対象平面の一部の領域を前記表示部に表示させる工程と、
前記表示部に表示させる前記対象平面の表示領域を、前記検出情報に基づいて前記ひび割れ箇所である対象ひび割れ箇所の形状に沿って移動させる工程と、
を行わせるプログラム。 a memory storing a three-dimensional model of all or part of the structure, which is composed of an inspection image taken of the structure, and detection information of detecting a crack in the structure in the inspection image; and a display unit. A program that causes an image display device comprising a processor and a processor to perform an image display method,
the processor;
displaying the three-dimensional model stored in the memory on the display unit;
receiving the designation of the crack location on the three-dimensional model displayed on the display unit, and displaying a part of the target plane of the three-dimensional model corresponding to the crack location on the display unit;
moving a display area of the target plane displayed on the display unit based on the detection information along the shape of the target crack location, which is the crack location;
A program that performs.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020033960 | 2020-02-28 | ||
JP2020033960 | 2020-02-28 | ||
PCT/JP2021/001926 WO2021171839A1 (en) | 2020-02-28 | 2021-01-21 | Image display device, image display method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021171839A1 JPWO2021171839A1 (en) | 2021-09-02 |
JPWO2021171839A5 JPWO2021171839A5 (en) | 2022-11-14 |
JP7447238B2 true JP7447238B2 (en) | 2024-03-11 |
Family
ID=77490924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022503154A Active JP7447238B2 (en) | 2020-02-28 | 2021-01-21 | Image display device, image display method, and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7447238B2 (en) |
WO (1) | WO2021171839A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115830616A (en) * | 2021-09-15 | 2023-03-21 | 北京有竹居网络技术有限公司 | Copy information determination method and device, computer equipment and storage medium |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017168077A (en) | 2016-03-09 | 2017-09-21 | 株式会社リコー | Image processing method, display device, and inspection system |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017110279A1 (en) * | 2015-12-25 | 2017-06-29 | 富士フイルム株式会社 | Damage information processing device and damage information processing method |
JP2017130049A (en) * | 2016-01-20 | 2017-07-27 | キヤノン株式会社 | Image processor, image processing method and program |
JP6609057B2 (en) * | 2016-08-22 | 2019-11-20 | 富士フイルム株式会社 | Image processing device |
JP6947098B2 (en) * | 2018-03-26 | 2021-10-13 | 富士通株式会社 | Image processing equipment, methods, and programs |
JP7330710B2 (en) * | 2018-04-26 | 2023-08-22 | キヤノン株式会社 | Information processing device, information processing method and program |
JP7207073B2 (en) * | 2019-03-27 | 2023-01-18 | 富士通株式会社 | Inspection work support device, inspection work support method and inspection work support program |
-
2021
- 2021-01-21 JP JP2022503154A patent/JP7447238B2/en active Active
- 2021-01-21 WO PCT/JP2021/001926 patent/WO2021171839A1/en active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017168077A (en) | 2016-03-09 | 2017-09-21 | 株式会社リコー | Image processing method, display device, and inspection system |
Also Published As
Publication number | Publication date |
---|---|
WO2021171839A1 (en) | 2021-09-02 |
JPWO2021171839A1 (en) | 2021-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4492654B2 (en) | 3D measuring method and 3D measuring apparatus | |
JP4774824B2 (en) | Method for confirming measurement target range in three-dimensional measurement processing, method for setting measurement target range, and apparatus for performing each method | |
JP5911934B2 (en) | Contour measurement device and robot system | |
CN108965690B (en) | Image processing system, image processing apparatus, and computer-readable storage medium | |
JP5620200B2 (en) | Point cloud position data processing device, point cloud position data processing method, point cloud position data processing system, and point cloud position data processing program | |
KR20060132454A (en) | Image process apparatus | |
JP2008275341A (en) | Information processor and processing method | |
US9569850B2 (en) | System and method for automatically determining pose of a shape | |
JP2013167481A (en) | Image processor and program | |
JP6970817B2 (en) | Structure management equipment, structure management method, and structure management program | |
JP2010287174A (en) | Furniture simulation method, device, program, recording medium | |
JP7447238B2 (en) | Image display device, image display method, and program | |
EP4002293A1 (en) | Image display device, method, and program | |
JP2024012527A (en) | Information display device, method, and program | |
US11055865B2 (en) | Image acquisition device and method of operating image acquisition device | |
US20220406018A1 (en) | Three-dimensional display device, three-dimensional display method, and three-dimensional display program | |
JP6989877B2 (en) | Position coordinate calculation method and position coordinate calculation device | |
JP2022182836A (en) | Video processing device and its control method, and program | |
JP2006003276A (en) | Three dimensional geometry measurement system | |
JPH11175692A (en) | Collector of data on joint motion | |
JP2004252815A (en) | Image display device, its method and program | |
JP7326446B2 (en) | Image display device, method and program | |
JP6841977B2 (en) | Shooting support device, shooting support method, and shooting support program | |
JP6464569B2 (en) | Corneal endothelial cell analysis program | |
JP2019159375A (en) | Information processing apparatus, superposition display program and superposition display method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221028 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7447238 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |