WO2025249137A1 - 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

Info

Publication number
WO2025249137A1
WO2025249137A1 PCT/JP2025/017293 JP2025017293W WO2025249137A1 WO 2025249137 A1 WO2025249137 A1 WO 2025249137A1 JP 2025017293 W JP2025017293 W JP 2025017293W WO 2025249137 A1 WO2025249137 A1 WO 2025249137A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
dimensional model
dimensional
specific location
combined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/017293
Other languages
English (en)
French (fr)
Inventor
喜宏 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Publication of WO2025249137A1 publication Critical patent/WO2025249137A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics

Definitions

  • This disclosure relates to an image processing device and image processing method for assisting in the detection of specific parts of structures from images, as well as to a computer-readable recording medium on which a program for implementing these is recorded.
  • Patent Document 1 discloses a device that detects defects from images of an object.
  • the device disclosed in Patent Document 1 detects defects such as cracks from images of infrastructure structures and presents the location of the detected defects to workers.
  • the device disclosed in Patent Document 1 can reduce the burden on workers and improve the efficiency of inspecting infrastructure structures. Furthermore, the device disclosed in Patent Document 1 is also useful for inspecting structures other than infrastructure structures, such as water reservoirs and spherical tanks for city gas.
  • Patent Document 1 does not identify the correspondence between images of the outer surface and images of the inner surface, so even if an inner surface defect can be detected from an image of the inner surface, the worker must determine where on the outer surface the detected inner surface defect corresponds. The worker must identify the position in the image where the outer surface defect was detected and the position in the image where the inner surface defect was detected based on the diagram of the structure, and determine the correspondence between the outer surface defect and the inner surface defect. This type of judgment places a significant burden on the worker.
  • One example of the purpose of this disclosure is to enable inspection of a specific location in a structure with an internal space from both the exterior and interior surfaces at the same time.
  • an image processing device includes: a combined model generation unit that combines a first three-dimensional model representing an outer surface of a structure having an internal space with a second three-dimensional model representing an inner surface of the structure, thereby generating a combined model; a display unit that displays the binding model on a screen;
  • the present invention is characterized in that it is provided with:
  • an image processing method includes: a combined model generation step of combining a first three-dimensional model representing an outer surface of a structure having an internal space with a second three-dimensional model representing an inner surface of the structure, thereby generating a combined model; a display step of displaying the binding model on a screen;
  • the present invention is characterized by having the following:
  • a computer-readable recording medium comprises: On the computer, a combined model generation step of combining a first three-dimensional model representing an outer surface of a structure having an internal space with a second three-dimensional model representing an inner surface of the structure, thereby generating a combined model; a display step of displaying the binding model on a screen; It is characterized in that it records a program including instructions to execute the above.
  • this disclosure makes it possible to inspect a specific location in a structure with an internal space from both the exterior and interior surfaces at the same time.
  • FIG. 1 is a diagram showing a schematic configuration of an example of an image processing apparatus.
  • FIG. 2 is a diagram specifically illustrating the configuration of an example of an image processing apparatus.
  • FIG. 3 is a diagram illustrating an example of a process for generating a bond model in the image processing device.
  • FIG. 4 is a diagram showing an example of a process for capturing image data used for an exterior model and an interior model.
  • FIG. 5 is a diagram showing an example of a bond model displayed on the screen.
  • FIG. 6 is a diagram showing an example of an image of a specific location and a corresponding location displayed on the screen.
  • FIG. 7 is a flowchart showing an example of the operation of the image processing device.
  • FIG. 8 is a block diagram showing an example of a computer that realizes the image processing apparatus.
  • Fig. 1 is a diagram showing the schematic configuration of an example of an image processing apparatus.
  • the image processing device 10 shown in Figure 1 is a device that supports the detection of specific parts of a structure from an image. As shown in Figure 1, the image processing device 10 includes a bond model generation unit 11 and a display unit 12.
  • the combined model generation unit 11 combines a first three-dimensional model (hereinafter referred to as the "exterior model”) that represents the exterior surface of a structure having an internal space with a second three-dimensional model (hereinafter referred to as the "interior model”) that represents the interior surface of the structure, thereby generating a combined model.
  • the display unit 12 displays the generated combined model on the screen.
  • the image processing device 10 can generate a combined model that shows both the exterior and interior surfaces of a structure. Therefore, when a specific location is specified on the exterior or interior surface of a structure that has an internal space, the combined model makes it easy to confirm the corresponding location on the opposite surface.
  • the image processing device 10 makes it possible to verify a specific location in a structure that has an internal space from both the exterior and interior surfaces at once.
  • Figure 2 is a configuration diagram specifically showing the configuration of an example of an image processing device.
  • Figure 3 is a diagram showing an example of the process of generating a bond model in the image processing device.
  • the image processing device 10 includes the binding model generation unit 11 and display unit 12 described above, as well as a 3D model acquisition unit 13 and a specific location detection unit 14. Furthermore, the image processing device 10 is connected to a database 20 and a user's terminal device 30 via a network or the like so as to be able to communicate data.
  • the structure 40 in question is assumed to be a closed structure with an internal space.
  • the structure 40 shown in Figure 2 is, for example, a water distribution reservoir that stores purified water before distribution.
  • an opening connecting the external and internal surfaces is provided on the external surface of this structure 40, and under normal conditions, the opening is blocked by a hatch 42.
  • the three-dimensional model generation device 50 generates an exterior surface model and an interior surface model of the structure 40 using image data of the structure 40 captured by the imaging device 51.
  • An example of the imaging device 51 is a digital camera.
  • Other examples of the imaging device 51 include a TOF (Time Of Flight) sensor, a depth camera such as a LiDAR (Light Detection And Ranging), and even a point cloud scanner.
  • TOF Time Of Flight
  • LiDAR Light Detection And Ranging
  • each output point will have depth information for the scanned position. Therefore, the 3D model generation device 50 registers point cloud data acquired from multiple locations on the exterior surface of the structure 40 based on the depth information for each point, and combines the data into a single point cloud. This generates an exterior surface model. Similarly, the 3D model generation device 50 registers point cloud data acquired from multiple locations on the interior surface of the structure 40, and combines the data into a single point cloud data, thereby generating an interior surface model.
  • the exterior surface model and interior surface model are three-dimensional point cloud data constructed from multiple image data obtained by photographing the structure 40.
  • the image data group, exterior surface model, and interior surface model used to generate the three-dimensional point cloud data are stored in database 20.
  • the three-dimensional model acquisition unit 13 acquires an exterior surface model and an interior surface model from the database 20.
  • the image processing device 10 can also be equipped with a three-dimensional model generation device 50 instead of the three-dimensional model acquisition unit 13.
  • the combined model generation unit 11 receives an exterior surface model 60 representing the exterior surface of the structure 40 and an interior surface model 61 representing the interior surface of the structure 40 from the three-dimensional model acquisition unit 13. Then, as shown in Figure 3, the combined model generation unit 11 combines the exterior surface model 60 and the interior surface model 61, thereby generating a combined model 62.
  • the combined model generation unit 11 combines the exterior model 60 and the interior model 61 using information indicating the positional relationship between the markers placed on the exterior surface and the interior surface.
  • 63 indicates the point cloud of the markers represented on the exterior model 60.
  • Figure 4 is a diagram showing an example of the process of capturing image data used for the exterior model and the interior model. Note that, although the following describes a case where a digital camera is used as the imaging device 51, the imaging device 51 is not limited to a digital camera.
  • a worker 52 uses an imaging device 51 to photograph the exterior and interior surfaces of the structure 40 and generates image data of the exterior and interior surfaces.
  • the image data of the exterior surface (hereinafter referred to as “exterior surface image data”) and the image data of the interior surface (hereinafter referred to as “interior surface image data”) are sent to a 3D model generation device 50.
  • a hatch 42 is provided on the exterior surface of the structure 40, and markers 43 are placed around the hatch 42. Therefore, part of the exterior surface image data includes the markers 43.
  • opening 41 appears, and through opening 41, the exterior and interior surfaces are connected. Therefore, worker 52 uses opening 41 to photograph both marker 43 and part of the interior surface with imaging device 51, and generates image data of both images (hereinafter referred to as "exterior and interior surface image data"). The exterior and interior surface image data is also sent to 3D model generation device 50.
  • the three-dimensional model generation device 50 generates an exterior model using the exterior image data using the method described above.
  • the markers 43 appear as a point cloud 63 in the three-dimensional point cloud data that constructs the exterior model (see Figure 3).
  • the three-dimensional model generation device 50 also generates an interior model using the interior image data and the outer and inner interior image data using the method described above. As a result, the markers 43 also appear as a point cloud in the three-dimensional point cloud data that constructs the interior model.
  • the combined model generation unit 11 combines the exterior model and the interior model using the markers 43 (point cloud 63) that appear in the three-dimensional point cloud data that constructs the exterior model and the markers 43 that appear in the three-dimensional point cloud data that constructs the interior model as information indicating the positional relationship described above. Specifically, the combined model generation unit 11 combines both models so that the point cloud 63 of the markers 43 that appear in the three-dimensional point cloud data that constructs the exterior model overlaps with the point cloud of the markers 43 that appear in the three-dimensional point cloud data that constructs the interior model.
  • the specific location detection unit 14 detects specific locations on the exterior model or interior model. Examples of specific locations include locations where defects such as damage, rust, or cracks have occurred.
  • the specific location detection unit 14 detects specific locations, for example, by mapping the location of a defect detected on an image of the structure 40 onto the exterior model or interior model. Examples of mapping techniques include those described in International Publication No. 2020/111139.
  • the specific part detection unit 14 when the specific part detection unit 14 detects a specific part in the exterior model, it uses the combined model to identify a part in the interior model that corresponds to the detected specific part.Furthermore, when the specific part detection unit 14 detects a specific part in the interior model, it uses the combined model to identify a part in the exterior model that corresponds to the detected specific part.
  • the display unit 12 displays a bonded model 62 on the screen 31.
  • FIG. 5 is a diagram showing an example of a bonded model displayed on the screen.
  • the screen 31 is the screen of the terminal device 30.
  • the display unit 12 also displays, in the bonded model 62 on the screen 31, a specific location 64 of the detected exterior model or interior model, and a location 65 of the other model that corresponds to the specific location 64.
  • the specific location 64 is a crack.
  • the corresponding location 65 is indicated by a virtual line.
  • the display unit 12 also displays on the screen 31 a virtual line indicating the relationship between the detected specific location 64 and the location 65 corresponding to that location. Specifically, if a defect occurs on the outer surface, there is a possibility that a defect also occurs on the inner surface in the vertical direction of the defect, and therefore the display unit 12 also displays a virtual line (dashed line) indicating the vertical direction of the location 65 corresponding to the specific location 64.
  • the display unit 12 can also display one or both of the exterior model 60 and the interior model 61 in a transparent state in the combined model 62 on the screen 31.
  • a transparent state means a transmittance greater than 0, and specifically means a transmittance of approximately 50%. In this way, when one or both of the exterior model 60 and the interior model 61 are made transparent, the relationship between the specific location 64 and the corresponding location 65 is visualized.
  • the display unit 12 can also acquire image data of the specific location 64 and the corresponding location 65 from the database 20 using information such as the feature quantities of the specific location 64 and the corresponding location 65 (see, for example, Japanese Patent Application Laid-Open No. 2023-20180). In this case, the display unit 12 can also display images of each acquired image data on the screen 31, as shown in Figure 6. This aspect is useful for personnel who inspect and manage the structure 40.
  • Figure 6 shows an example of an image of the specific location and the corresponding location displayed on the screen.
  • a point cloud scanner is, for example, a device configured with a LiDAR and a digital camera in a fixed relationship.
  • the point cloud scanner calculates the positional relationship between the 3D point cloud data and image data each time an image is taken, and generates positional relationship information.
  • the positional relationship information is stored in database 20, linked to the image data group, exterior surface model, and interior surface model.
  • FIG. 7 is a flow diagram showing an example of the operation of the image processing device.
  • FIGS. 1 to 6 as appropriate.
  • an image processing method is implemented by operating the image processing device 10. Therefore, the description of the image processing method in the embodiment will be replaced by the following description of the operation of the image processing device 10.
  • a worker 52 uses an imaging device 51 to photograph the exterior and interior surfaces of a structure 40, and generates exterior surface image data, interior surface image data, and exterior/interior surface image data. Furthermore, let us assume that a 3D model generation device 50 uses this image data to generate an exterior surface model and an interior surface model.
  • the three-dimensional model acquisition unit 13 acquires from the database 20 an exterior surface model 60 representing the exterior surface of the structure 40 and an interior surface model 61 representing the interior surface of the structure 40 (see FIG. 3) (step A1). Then, the three-dimensional model acquisition unit 13 sends the acquired exterior surface model 60 and interior surface model 61 to the combined model generation unit 11.
  • the combined model generation unit 11 combines the exterior surface model 60 and the interior surface model 61 obtained in step A1, thereby generating a combined model 62 (see Figure 3) (step A2).
  • the combined model generation unit 11 combines the exterior model 60 and the interior model 61 using information indicating the positional relationship between the markers 43 placed on the exterior surface and the interior surface. Specifically, the combined model generation unit 11 combines the exterior model and the interior surface model using the markers 43 (point cloud 63) that appear in the three-dimensional point cloud data that constructs the exterior model 60 and the markers 43 that appear in the three-dimensional point cloud data that constructs the interior surface model as information indicating the above-mentioned positional relationship.
  • the specific location detection unit 14 detects specific locations on the exterior model or interior model (step A3).
  • Specific locations include locations where defects such as damage, rust, or cracks have occurred, as described above.
  • the specific location detection unit 14 uses the combined model 62 to detect locations corresponding to the detected specific location in a model other than the model in which the specific location was detected (step A4).
  • the display unit 12 displays the binding model 62 on the screen 31, and also displays the specific location 64 and the location 65 corresponding to the specific location 64 in the binding model 62 (step A5).
  • step A5 the display unit 12 displays on the screen 31 a virtual line indicating the relationship between the specific location 64 and the corresponding location 65, and a virtual line indicating the vertical direction of the location 65 corresponding to the specific location 64. Furthermore, as shown in FIG. 6, the display unit 12 can also display on the screen 31 an image of the specific location and an image of the corresponding location 65.
  • the exterior surface model 60 and the interior surface model 61 of the structure 40 are combined to generate the combined model 62. If a defect occurs on either or both of the exterior surface and the interior surface of the structure, the combined model 62 identifies the corresponding location on the opposite surface and presents the defect location and the corresponding location. In this way, according to the embodiment, it becomes possible to verify a specific location in the structure 40 from both the exterior surface and the interior surface at the same time.
  • an example of the program is a program that causes a computer to execute steps A1 to A5 shown in Figure 7.
  • the processor of the computer functions as a bond model generation unit 11, a display unit 12, a three-dimensional model acquisition unit 13, and a specific location detection unit 14, and performs processing.
  • Examples of the computer include a general-purpose PC, a server computer, a smartphone, and a tablet terminal device.
  • the program may be executed by a computer system constructed by multiple computers.
  • each computer may function as one of the bond model generation unit 11, display unit 12, 3D model acquisition unit 13, and specific location detection unit 14.
  • the computer 110 comprises a CPU (Central Processing Unit) 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader/writer 116, and a communication interface 117. These components are connected to each other via a bus 121 so that they can communicate data with each other.
  • CPU Central Processing Unit
  • the computer 110 may be equipped with a GPU (Graphics Processing Unit) or an FPGA (Field-Programmable Gate Array) in addition to or instead of the CPU 111.
  • the GPU or FPGA can execute the program in the embodiment.
  • the CPU 111 deploys the program in this embodiment, which is composed of a group of codes stored in the storage device 113, into the main memory 112 and executes each code in a predetermined order to perform various calculations.
  • the main memory 112 is typically a volatile storage device such as DRAM (Dynamic Random Access Memory).
  • the program in this embodiment is provided in a state stored on a computer-readable recording medium 120.
  • the program in this embodiment may also be distributed over the Internet connected via the communication interface 117.
  • the storage device 113 includes a hard disk drive and semiconductor storage devices such as flash memory.
  • the input interface 114 mediates data transmission between the CPU 111 and input devices 118 such as a keyboard and mouse.
  • the display controller 115 is connected to the display device 119 and controls the display on the display device 119.
  • the data reader/writer 116 mediates data transmission between the CPU 111 and the recording medium 120, reads programs from the recording medium 120, and writes the processing results of the computer 110 to the recording medium 120.
  • the communication interface 117 mediates data transmission between the CPU 111 and other computers.
  • the recording medium 120 include general-purpose semiconductor storage devices such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), magnetic recording media such as flexible disks, or optical recording media such as CD-ROMs (Compact Disk Read Only Memory).
  • CF Compact Flash (registered trademark)
  • SD Secure Digital
  • magnetic recording media such as flexible disks
  • optical recording media such as CD-ROMs (Compact Disk Read Only Memory).
  • the image processing device 10 can also be realized by using hardware corresponding to each part, such as electronic circuits, rather than a computer with a program installed. Furthermore, the image processing device 10 may be partially realized by a program and the remaining part by hardware. In the embodiments, the computer is not limited to the computer shown in FIG. 8.
  • An image processing device comprising:
  • (Appendix 2) a specific location detection unit that detects a specific location on the first three-dimensional model or the second three-dimensional model, and uses the combined model to identify a location corresponding to the detected specific location in a three-dimensional model other than the three-dimensional model in which the specific location was detected; the display unit displays the detected specific location and a location corresponding to the specific location in the binding model.
  • the display unit displays, on the screen, a virtual line indicating a relationship between the detected specific location and a location corresponding to the specific location in the binding model.
  • the combined model generation unit combines the first three-dimensional model and the second three-dimensional model using information indicating a positional relationship between the markers arranged on the outer surface and the inner surface.
  • the structure has an opening connecting an outer surface and an inner surface
  • the first three-dimensional model is three-dimensional point cloud data constructed from a plurality of image data obtained by photographing the exterior surface
  • the second three-dimensional model is three-dimensional point cloud data constructed using a plurality of image data obtained by photographing the inner surface and image data obtained by photographing the marker from the inner surface through the opening
  • the combined model generation unit combines the first three-dimensional model and the second three-dimensional model using, as the information, the markers that appear in the three-dimensional point cloud data that constructs the first three-dimensional model and the markers that appear in the three-dimensional point cloud data that constructs the second three-dimensional model; 6.
  • the image processing device according to claim 5.
  • the structure has an opening connecting an outer surface and an inner surface
  • the first three-dimensional model is three-dimensional point cloud data constructed from a plurality of image data obtained by photographing the exterior surface
  • the second three-dimensional model is three-dimensional point cloud data constructed using a plurality of image data obtained by photographing the inner surface and image data obtained by photographing the marker from the inner surface through the opening
  • the markers appearing in the three-dimensional point cloud data for constructing the first three-dimensional model and the markers appearing in the three-dimensional point cloud data for constructing the second three-dimensional model are used as the information to combine the first three-dimensional model and the second three-dimensional model.
  • the program causes the computer to
  • the method further includes instructions to execute a specific location detection step of detecting a specific location on the first three-dimensional model or the second three-dimensional model, and using the combined model, identifying a location corresponding to the detected specific location in a three-dimensional model other than the three-dimensional model in which the specific location was detected;
  • the display step the detected specific portion and a portion corresponding to the specific portion are displayed in the binding model.
  • the structure has an opening connecting an outer surface and an inner surface
  • the first three-dimensional model is three-dimensional point cloud data constructed from a plurality of image data obtained by photographing the exterior surface
  • the second three-dimensional model is three-dimensional point cloud data constructed using a plurality of image data obtained by photographing the inner surface and image data obtained by photographing the marker from the inner surface through the opening
  • the markers appearing in the three-dimensional point cloud data for constructing the first three-dimensional model and the markers appearing in the three-dimensional point cloud data for constructing the second three-dimensional model are used as the information to combine the first three-dimensional model and the second three-dimensional model.
  • this disclosure makes it possible to simultaneously inspect specific locations in structures with internal spaces from both the exterior and interior surfaces. This is useful for various systems that detect specific locations in structures from images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

画像処理装置１０は、内部空間を有する構造物の外面を示す第１の３次元モデルと、構造物の内面を示す第２の３次元モデルと、を結合し、それによって、結合モデルを生成する、結合モデル生成部１１と、結合モデルを画面上に表示する、表示部１２と、を備えている。

Description

画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
　本開示は、画像からの構造物の特定箇所の検出を支援するための、画像処理装置及び画像処理方法に関し、更にはこれらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
　従来から、橋梁等のインフラ構造物においては、不具合箇所を発見するため、作業員が目視によって定期的に点検を行っている。但し、このような点検は、作業員における負担が大きく、点検効率が低いことから、近年、画像を用いた点検手法が提案されている。
　例えば、特許文献１は、対象物の画像から不具合を検出する装置を開示している。特許文献１に開示された装置は、インフラ構造物の画像から、ひび割れ等の不具合を検出し、検出した不具合の箇所を作業員に提示する。
　このため、特許文献１に開示された装置によれば、作業員における負担を軽減でき、インフラ構造物の点検効率の向上が図られる。また、特許文献１に開示された装置は、インフラ構造物以外にも、例えば、配水池、都市ガス用の球形タンクといった構造物の点検にも有用である。
特開２０２１－５１５９７号公報
　ところで、配水池、都市ガス用の球形タンク（ガスホルダー）といった構造物は、インフラ構造物と異なり、内部に大きな空間を備えている。そのため、外面で不具合が検出された場合は、内面への影響を確認するため、内面において、外面の不具合が検出された箇所に対応する箇所、その周辺、そこから鉛直方向に下がった箇所において、不具合を検証する必要がある。
　しかしながら、特許文献１に開示された装置では、外面の画像と内面の画像との対応関係は特定されないため、内面の画像から、内面の不具合を検出できたとしても、検出された内面の不具合の位置が、外面のどこに対応するかは、作業者が判断する必要がある。作業者は、外面の不具合が検出された画像の位置と、内面の不具合が検出された画像の位置とを、構造物の図面に基づいて特定し、外面の不具合と内面の不具合との対応を判断する必要がある。このような判断は、作業者にとって大きな負担である。
　本開示の目的の一例は、内部に空間を有する構造物における特定箇所を外面と内面との両方から一度に検証できるようにすることにある。
　上記目的を達成するため、本開示の一側面における画像処理装置は、
　内部空間を有する構造物の外面を示す第１の３次元モデルと、前記構造物の内面を示す第２の３次元モデルと、を結合し、それによって、結合モデルを生成する、結合モデル生成部と、
　前記結合モデルを画面上に表示する、表示部と、
を備えている、ことを特徴とする。
　また、上記目的を達成するため、本開示の一側面における画像処理方法は、
　内部空間を有する構造物の外面を示す第１の３次元モデルと、前記構造物の内面を示す第２の３次元モデルと、を結合し、それによって、結合モデルを生成する、結合モデル生成ステップと、
　前記結合モデルを画面上に表示する、表示ステップと、
を有する、ことを特徴とする。
　更に、上記目的を達成するため、本開示の一側面におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
　内部空間を有する構造物の外面を示す第１の３次元モデルと、前記構造物の内面を示す第２の３次元モデルと、を結合し、それによって、結合モデルを生成する、結合モデル生成ステップと、
　前記結合モデルを画面上に表示する、表示ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
　以上のように本開示によれば、内部に空間を有する構造物における特定箇所を外面と内面との両方から一度に検証できる。
図１は、画像処理装置の一例の概略構成を示す構成図である。 図２は、画像処理装置の一例の構成を具体的に示す構成図である。 図３は、画像処理装置における結合モデルの生成処理の一例を示す図である。 図４は、外面モデル及び内面モデルに用いられる画像データの撮影工程の一例を示す図である。 図５は、画面に表示された結合モデルの一例を示す図である。 図６は、画面に表示された特定箇所及び対応する箇所の画像の一例を示す図である。 図７は、画像処理装置の動作の一例を示すフロー図である。 図８は、画像処理装置を実現するコンピュータの一例を示すブロック図である。
（実施の形態１）
　以下、実施の形態における画像処理装置、画像処理方法、及びプログラムについて、図１～図８を参照しながら説明する。
［装置構成］
　最初に、画像処理装置の一例の概略構成について図１を用いて説明する。図１は、画像処理装置の一例の概略構成を示す構成図である。
　図１に示す画像処理装置１０は、画像からの構造物の特定箇所の検出を支援する装置である。図１に示すように、画像処理装置１０は、結合モデル生成部１１と、表示部１２と、を備えている。
　結合モデル生成部１１は、内部空間を有する構造物の外面を示す第１の３次元モデル（以下「外面モデル」と表記する。）と、構造物の内面を示す第２の３次元モデル（以下「内面モデル」と表記する。）と、を結合し、それによって、結合モデルを生成する。表示部１２は、生成された結合モデルを画面上に表示する。
　このように、画像処理装置１０は、構造物の外面と内面との両方を示す結合モデルを生成することができる。このため、内部空間を有する構造物の外面又は内面において、特定箇所が指定されると、結合モデルにより、反対側の面における対応箇所を容易に確認できる。画像処理装置１０によれば、内部に空間を有する構造物における特定箇所を外面と内面との両方から一度に検証できる。
　続いて、図２～図５を用いて、画像処理装置１０の構成及び機能について具体的に説明する。図２は、画像処理装置の一例の構成を具体的に示す構成図である。図３は、画像処理装置における結合モデルの生成処理の一例を示す図である。
　図２に示すように、画像処理装置１０は、上述した、結合モデル生成部１１及び表示部１２に加えて、３次元モデル取得部１３と、特定箇所検出部１４とを備えている。また、画像処理装置１０は、ネットワーク等を介して、データベース２０及びユーザの端末装置３０に、データ通信可能に接続されている。
　また、以下の説明では、対象となる構造物４０は、内部に空間を有する閉鎖的な構造物であるとする。具体的には、図２に示された構造物４０は、例えば、配水前の浄水を蓄えておく配水池である。また、この構造物４０の外面には、外面と内面とをつなぐ開口が設けられており、通常の状態では、開口はハッチ４２によって塞がれている。
　更に、図２の例では、３次元モデル生成装置５０が、撮像装置５１によって撮影された構造物４０の画像データを用いて、構造物４０の外面モデル及び内面モデルを生成している。
　撮像装置５１としては、デジタルカメラが挙げられる。また、撮像装置５１としては、その他に、ＴＯＦ（Time Of Flight）センサ、ＬｉＤａｒ（Light Detection And Ranging）といった深度カメラ、更には、点群スキャナー等も挙げられる。
　撮像装置５１としてデジタルカメラが用いられている場合は、３次元モデル生成装置５０は、例えば、ＳｆＭ（Structure from Motion）の手法を、構造物４０の外面の画像データに適用して、外面モデルとなる３次元点群データを生成する。同様に、３次元モデル生成装置５０は、ＳｆＭの手法を、構造物４０の内面の画像データに適用して、内面モデルとなる３次元点群データを生成する。
　また、撮像装置５１として深度カメラが用いられている場合は、画像データの各画素は深度情報を有している。このため、３次元モデル生成装置５０は、構造物４０の外面の画像データそれぞれから、点群データを生成し、生成した各点群データを合成することによって、外面モデルを生成する。同様に、３次元モデル生成装置５０は、構造物４０の内面の画像データそれぞれから、点群データを生成し、生成した各点群データを合成することによって、内面モデルを生成する。
　更に、撮像装置５１として点群スキャナーが用いられている場合は、出力された各点はスキャンされた位置の深度情報を有している。このため、３次元モデル生成装置５０は、各点の深度情報に基づいて、構造物４０の外面の複数個所から取得した点群データをレジストレーションし、１つの点群データとして結合する。これによって、外面モデルが生成される。同様に、３次元モデル生成装置５０は、構造物４０の内面の複数個所から取得した点群データをレジストレーションし、１つの点群データとして結合することによって、内面モデルを生成する。
　このように、外面モデル及び内面モデルは、構造物４０を撮影して得られた複数の画像データなどから構築された３次元点群データである。また、３次元点群データの生成に用いられた画像データ群、外面モデル及び内面モデルは、データベース２０に格納される。
　３次元モデル取得部１３は、データベース２０から、外面モデル及び内面モデルを取得する。また、実施の形態では、画像処理装置１０は、３次元モデル取得部１３の代わりに、３次元モデル生成装置５０を備えることもできる。
　結合モデル生成部１１は、３次元モデル取得部１３から、構造物４０の外面を示す外面モデル６０と、構造物４０の内面を示す内面モデル６１とを受け取る。そして、図３に示すように、結合モデル生成部１１は、外面モデル６０と内面モデル６１とを結合し、それによって、結合モデル６２を生成する。
　また、結合モデル生成部１１は、外面に配置されたマーカーと内面との位置関係を示す情報を用いて、外面モデル６０と内面モデル６１とを結合する。図３において、６３は、外面モデル６０に表されているマーカーの点群を示している。
　ここで、図４を用いて、外面モデル６０と内面モデル６１とを結合するために用いる情報について説明する。図４は、外面モデル及び内面モデルに用いられる画像データの撮影工程の一例を示す図である。なお、以下では、撮像装置５１としてデジタルカメラが用いられている場合について説明しているが、撮像装置５１はデジタルカメラに限定されない。
　図４に示すように、まず、作業者５２が、撮像装置５１を用いて、構造物４０の外面及び内面の撮影を行い、外面及び内面の画像データを生成する。外面の画像データ（以下「外面画像データ」と表記する。）と、内面の画像データ（以下「内面画像データ」と表記する。）とは、３次元モデル生成装置５０に送られる。
　また、構造物４０の外面にはハッチ４２が設けられており、ハッチ４２の周辺には、マーカー４３が設置されている。このため、外面画像データの一部は、マーカー４３を含んでいる。
　更に、ハッチ４２を開くと開口４１が出現し、開口４１を介して、外面と内面とが通じることになる。このため、作業者５２は、開口４１を利用して、撮像装置５１によって、マーカー４３と内面の一部との両方を一緒に撮影し、両方が撮影された画像データ（以下「外内面画像データ」と表記する。）を生成する。外内面画像データも、３次元モデル生成装置５０に送られる。
　その後、３次元モデル生成装置５０は、上述した手法によって、外面画像データを用いて、外面モデルを生成する。このとき、外面モデルを構築する３次元点群データには、マーカー４３が点群６３として表れる（図３参照）。また、３次元モデル生成装置５０は、上述した手法によって、内面画像データと外内面画像データとを用いて、内面モデルを生成する。これにより、内面モデルを構築する３次元点群データにも、マーカー４３が点群として表れる。
　従って、結合モデル生成部１１は、外面モデルを構築する３次元点群データに表れたマーカー４３（点群６３）と、内面モデルを構築する３次元点群データに表れたマーカー４３とを、上述した位置関係を示す情報として用いて、外面モデルと内面モデルとを結合する。具体的には、結合モデル生成部１１は、外面モデルを構築する３次元点群データに表れたマーカー４３の点群６３と、内面モデルを構築する３次元点群データに表れたマーカー４３の点群とが重なるようにして、両方のモデルを結合する。
　特定箇所検出部１４は、外面モデル又は内面モデル上で、特定箇所を検出する。特定箇所としては、例えば、損傷、錆、亀裂といった不具合が発生している箇所が挙げられる。特定箇所検出部１４は、例えば、構造物４０の画像上で検出した不具合の位置を外面モデル又は内面モデル上にマッピングすることで、特定箇所を検出する。マッピングの手法としては、例えば、国際公開第２０２０／１１１１３９号が挙げられる。
　また、特定箇所検出部１４は、外面モデルにおいて特定箇所を検出した場合は、結合モデルを用いて、内面モデルにおいて、検出した特定箇所に対応する箇所を特定する。更に、特定箇所検出部１４は、内面モデルにおいて特定箇所を検出した場合は、結合モデルを用いて、外面モデルにおいて、検出した特定箇所に対応する箇所を特定する。
　表示部１２は、図５に示すように、画面３１上に結合モデル６２を表示する。図５は、画面に表示された結合モデルの一例を示す図である。図５の例では、画面３１は、端末装置３０の画面である。また、表示部１２は、画面３１上の結合モデル６２において、検出された外面モデル又は内面モデルの特定箇所６４、及び特定箇所６４に対応する他方のモデルの箇所６５を表示する。具体的には、図５の例では、特定箇所６４は、亀裂である。また、図５の例では、対応する箇所６５は、仮想の線によって示されている。
　また、表示部１２は、画面３１上で、検出された特定箇所６４に対応する箇所６５との関連性を示す、仮想の線も表示する。具体的には、外面に不具合が生じている場合は、不具合の鉛直方向において、内面にも不具合が生じている可能性があることから、表示部１２は、特定箇所６４に対応する箇所６５の鉛直方向を示す仮想の線（破線）も表示する。
　更に、表示部１２は、画面３１上で、結合モデル６２において、外面モデル６０及び内面モデル６１のうち一方又は両方を透過状態で表示することもできる。ここで、透過状態とは透過率が０より大きい場合を意味し、具体的には透過率５０％程度を意味する。このように、外面モデル６０及び内面モデル６１のうち一方又は両方を透過状態とすると、特定箇所６４に対応する箇所６５との関連性が可視化されることになる。
　表示部１２は、特定箇所６４及び対応する箇所６５の特徴量などの情報を用いて、データベース２０から、特定箇所及びそれに対応する箇所６５を撮影している画像データを取得することもできる（例えば、特開２０２３－２０１８０号公報参照）。この場合、表示部１２は、図６に示すように、画面３１に、取得した各画像データの画像を表示することもできる。この態様は、構造物４０の点検及び管理を行う担当者にとって有用である。図６は、画面に表示された特定箇所及び対応する箇所の画像の一例を示す図である。
　以上は、撮像装置５１としてデジタルカメラが用いられている場合についての説明である。ここで、撮像装置５１として点群スキャナーを用いる場合について説明する。点群スキャナーは、例えば、ＬｉＤＡＲとデジタルカメラとを固定関係にして構成したものが挙げられる。この場合、点群スキャナーは、撮影の度に、３次元点群データと画像データとの位置関係を算出し、位置関係情報を生成する。位置関係情報は、画像データ群、外面モデル及び内面モデルに紐付けられた状態で、データベース２０に格納される。このようにして得られた位置関係情報を用いれば、撮像装置５１として点群スキャナーを用いる場合も、デジタルカメラが用いる場合と同等の機能が実現できる。
　なお、３次元点群データと画像データとの位置関係を算出する手法としては、下記の文献に開示されている手法といった、様々なキャリブレーション手法が挙げられる。
（参照文献）
Joint Camera Intrinsic and LiDAR-Camera Extrinsic Calibration(https://arxiv.org/pdf/2202.13708) 
［装置動作］
　次に、画像処理装置１０の動作の一例について図７を用いて説明する。図７は、画像処理装置の動作の一例を示すフロー図である。以下の説明においては、適宜図１～図６を参照する。また、実施の形態では、画像処理装置１０を動作させることによって、画像処理方法が実施される。よって、実施の形態における画像処理方法の説明は、以下の画像処理装置１０の動作説明に代える。
　まず、前提として、作業者５２が、撮像装置５１を用いて、構造物４０の外面及び内面の撮影を行い、外面画像データ、内面画像データ、及び外内面画像データを生成しているとする。更に、３次元モデル生成装置５０が、これらの画像データを用いて、外面モデル及び内面モデルを生成しているとする。
　図７に示すように、最初に、３次元モデル取得部１３が、データベース２０から、構造物４０の外面を示す外面モデル６０、及び構造物４０の内面を示す内面モデル６１（図３参照）を取得する（ステップＡ１）。そして、３次元モデル取得部１３は、取得した外面モデル６０及び内面モデル６１を、結合モデル生成部１１に送る。
　次に、結合モデル生成部１１は、ステップＡ１で取得された外面モデル６０と内面モデル６１とを結合し、それによって、結合モデル６２（図３参照）を生成する（ステップＡ２）。
　ステップＡ２では、結合モデル生成部１１は、外面に配置されたマーカー４３と内面との位置関係を示す情報を用いて、外面モデル６０と内面モデル６１とを結合する。具体的には、結合モデル生成部１１は、外面モデル６０を構築する３次元点群データに表れたマーカー４３（点群６３）と、内面モデルを構築する３次元点群データに表れたマーカー４３とを、上述した位置関係を示す情報として用いて、外面モデルと内面モデルとを結合する。
　次に、特定箇所検出部１４は、外面モデル又は内面モデル上で、特定箇所を検出する（ステップＡ３）。特定箇所としては、上述したように、損傷、錆、亀裂といった不具合が発生している箇所が挙げられる。
　次に、特定箇所検出部１４は、結合モデル６２を用いて、特定箇所が検出されたモデルとは別のモデルにおける、検出した特定箇所に対応する箇所を検出する（ステップＡ４）。
　次に、表示部１２は、画面３１上に結合モデル６２を表示し、更に、結合モデル６２において、特定箇所６４及び特定箇所６４に対応する箇所６５も表示する（ステップＡ５）。
　また、ステップＡ５においては、表示部１２は、画面３１上で、特定箇所６４とそれに対応する箇所６５との関連性を示す仮想の線と、特定箇所６４に対応する箇所６５の鉛直方向を示す仮想の線も表示する。更に、表示部１２は、図６に示したように、画面３１上に、特定箇所を撮影している画像と、それに対応する箇所６５の画像とを表示することもできる。
［実施の形態における効果］
　以上のように、実施の形態では、構造物４０の外面モデル６０と内面モデル６１とが結合されて結合モデル６２が生成される。そして、構造物の外面及び内面のいずれか又は両方において、不具合が発生していた場合は、結合モデル６２によって、反対側の面の対応する箇所が特定され、不具合の箇所と対応する箇所とが提示される。このように、実施の形態によれば、構造物４０における特定箇所を外面と内面との両方から一度に検証できるようになる。
［プログラム］
　実施の形態において、プログラムの一例としては、コンピュータに、図７に示すステップＡ１～Ａ５を実行させるプログラムが挙げられる。このプログラムをコンピュータにインストールし、実行することによって、画像処理装置１０と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、結合モデル生成部１１、表示部１２、３次元モデル取得部１３、及び特定箇所検出部１４として機能し、処理を行なう。コンピュータとしては、汎用のＰＣ、サーバコンピュータの他に、スマートフォン、タブレット型端末装置も挙げられる。
　また、本実施の形態において、プログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、結合モデル生成部１１、表示部１２、３次元モデル取得部１３、及び特定箇所検出部１４のいずれかとして機能しても良い。
［物理構成］
　ここで、実施の形態におけるプログラムを実行することによって、画像処理装置１０を実現するコンピュータについて図８を用いて説明する。図８は、画像処理装置を実現するコンピュータの一例を示すブロック図である。
　図８に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
　また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。この態様では、ＧＰＵ又はＦＰＧＡが、実施の形態におけるプログラムを実行することができる。
　ＣＰＵ１１１は、記憶装置１１３に格納された、コード群で構成された実施の形態におけるプログラムをメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。
　また、実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
　なお、画像処理装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェア、例えば、電子回路を用いることによっても実現可能である。更に、画像処理装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。実施の形態において、コンピュータは、図８に示すコンピュータに限定されることはない。
　上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１５）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
　内部空間を有する構造物の外面を示す第１の３次元モデルと、前記構造物の内面を示す第２の３次元モデルと、を結合し、それによって、結合モデルを生成する、結合モデル生成部と、
　前記結合モデルを画面上に表示する、表示部と、
を備えている、ことを特徴とする画像処理装置。
（付記２）
　前記第１の３次元モデル又は前記第２の３次元モデル上で、特定箇所を検出し、前記結合モデルを用いて、前記特定箇所が検出された３次元モデルとは別の３次元モデルにおいて、検出した特定箇所に対応する箇所を特定する、特定箇所検出部を更に備え、
　前記表示部が、前記結合モデルにおいて、検出された前記特定箇所、及び前記特定箇所に対応する箇所を表示する、
付記１に記載の画像処理装置。
（付記３）
　前記表示部が、前記画面上で、前記結合モデルにおいて、前記第１の３次元モデル及び前記第２の３次元モデルのうち一方又は両方を透過状態で表示する、
付記２に記載の画像処理装置。
（付記４）
　前記表示部が、前記画面上で、前記結合モデルにおいて、検出された前記特定箇所と、前記特定箇所に対応する箇所との関連性を示す、仮想の線を表示する、
付記２に記載の画像処理装置。
（付記５）
　前記結合モデル生成部が、前記外面に配置されたマーカーと前記内面との位置関係を示す情報を用いて、前記第１の３次元モデルと前記第２の３次元モデルとを結合する、
付記１に記載の画像処理装置。
（付記６）
　前記構造物が、外面と内面とをつなぐ開口を有し、
　前記第１の３次元モデルが、前記外面を撮影して得られた複数の画像データから構築された３次元点群データであり、
　前記第２の３次元モデルが、前記内面を撮影して得られた複数の画像データと、前記内面から前記開口を介して、前記マーカーを撮影して得られた画像データと、を用いて構築された３次元点群データであり、
　前記結合モデル生成部が、前記第１の３次元モデルを構築する３次元点群データに表れた前記マーカーと、前記第２の３次元モデルを構築する前記３次元点群データに表れた前記マーカーとを、前記情報として用いて、前記第１の３次元モデルと前記第２の３次元モデルとを結合する、
付記５に記載の画像処理装置。
（付記７）
　内部空間を有する構造物の外面を示す第１の３次元モデルと、前記構造物の内面を示す第２の３次元モデルと、を結合し、それによって、結合モデルを生成する、結合モデル生成ステップと、
　前記結合モデルを画面上に表示する、表示ステップと、
を有する、ことを特徴とする画像処理方法。
（付記８）
　前記第１の３次元モデル又は前記第２の３次元モデル上で、特定箇所を検出し、前記結合モデルを用いて、前記特定箇所が検出された３次元モデルとは別の３次元モデルにおいて、検出した特定箇所に対応する箇所を特定する、特定箇所検出ステップを更に有し、
　前記表示ステップでは、前記結合モデルにおいて、検出された前記特定箇所、及び前記特定箇所に対応する箇所を表示する、
付記７に記載の画像処理方法。
（付記９）
　前記表示ステップでは、前記画面上で、前記結合モデルにおいて、前記第１の３次元モデル及び前記第２の３次元モデルのうち一方又は両方を透過状態で表示する、
付記８に記載の画像処理方法。
（付記１０）
　前記表示ステップでは、前記画面上で、前記結合モデルにおいて、検出された前記特定箇所と、前記特定箇所に対応する箇所との関連性を示す、仮想の線を表示する、
付記８に記載の画像処理方法。
（付記１１）
　前記結合モデル生成ステップでは、前記外面に配置されたマーカーと前記内面との位置関係を示す情報を用いて、前記第１の３次元モデルと前記第２の３次元モデルとを結合する、
付記７に記載の画像処理方法。
（付記１２）
　前記構造物が、外面と内面とをつなぐ開口を有し、
　前記第１の３次元モデルが、前記外面を撮影して得られた複数の画像データから構築された３次元点群データであり、
　前記第２の３次元モデルが、前記内面を撮影して得られた複数の画像データと、前記内面から前記開口を介して、前記マーカーを撮影して得られた画像データと、を用いて構築された３次元点群データであり、
　前記結合モデル生成ステップでは、前記第１の３次元モデルを構築する３次元点群データに表れた前記マーカーと、前記第２の３次元モデルを構築する前記３次元点群データに表れた前記マーカーとを、前記情報として用いて、前記第１の３次元モデルと前記第２の３次元モデルとを結合する、
付記１１に記載の画像処理方法。
（付記１３）
コンピュータに、
　内部空間を有する構造物の外面を示す第１の３次元モデルと、前記構造物の内面を示す第２の３次元モデルと、を結合し、それによって、結合モデルを生成する、結合モデル生成ステップと、
　前記結合モデルを画面上に表示する、表示ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
（付記１４）
前記プログラムが、前記コンピュータに、
　前記第１の３次元モデル又は前記第２の３次元モデル上で、特定箇所を検出し、前記結合モデルを用いて、前記特定箇所が検出された３次元モデルとは別の３次元モデルにおいて、検出した特定箇所に対応する箇所を特定する、特定箇所検出ステップを実行させる命令を更に含み、
　前記表示ステップでは、前記結合モデルにおいて、検出された前記特定箇所、及び前記特定箇所に対応する箇所を表示する、
付記１３に記載のコンピュータ読み取り可能な記録媒体。
（付記１５）
　前記表示ステップでは、前記画面上で、前記結合モデルにおいて、前記第１の３次元モデル及び前記第２の３次元モデルのうち一方又は両方を透過状態で表示する、
付記１４に記載のコンピュータ読み取り可能な記録媒体。
（付記１６）
　前記表示ステップでは、前記画面上で、前記結合モデルにおいて、検出された前記特定箇所と、前記特定箇所に対応する箇所との関連性を示す、仮想の線を表示する、
付記１４に記載のコンピュータ読み取り可能な記録媒体。
（付記１７）
　前記結合モデル生成ステップでは、前記外面に配置されたマーカーと前記内面との位置関係を示す情報を用いて、前記第１の３次元モデルと前記第２の３次元モデルとを結合する、
付記１３に記載のコンピュータ読み取り可能な記録媒体。
（付記１８）
　前記構造物が、外面と内面とをつなぐ開口を有し、
　前記第１の３次元モデルが、前記外面を撮影して得られた複数の画像データから構築された３次元点群データであり、
　前記第２の３次元モデルが、前記内面を撮影して得られた複数の画像データと、前記内面から前記開口を介して、前記マーカーを撮影して得られた画像データと、を用いて構築された３次元点群データであり、
　前記結合モデル生成ステップでは、前記第１の３次元モデルを構築する３次元点群データに表れた前記マーカーと、前記第２の３次元モデルを構築する前記３次元点群データに表れた前記マーカーとを、前記情報として用いて、前記第１の３次元モデルと前記第２の３次元モデルとを結合する、
付記１７に記載のコンピュータ読み取り可能な記録媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０２４年５月３１日に出願された日本出願特願２０２４－０８８５０３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上のように本開示によれば、内部に空間を有する構造物における特定箇所を外面と内面との両方から一度に検証できる。画像からの構造物の特定箇所の検出が実行される各種システムに有用である。
　１０　画像処理装置
　１１　結合モデル生成部
　１２　表示部
　１３　３次元モデル取得部
　１４　特定箇所検出部
　２０　データベース
　３０　端末装置
　３１　画面
　４０　構造物
　４１　開口
　４２　ハッチ
　４３　マーカー
　５０　３次元モデル生成装置
　５１　撮像装置
　５２　作業者
　６０　外面モデル
　６１　内面モデル
　６２　結合モデル
　６３　マーカーを示す点群
　６４　特定箇所
　６５　特定箇所に対応する箇所
　１１０　コンピュータ
　１１１　ＣＰＵ
　１１２　メインメモリ
　１１３　記憶装置
　１１４　入力インターフェイス
　１１５　表示コントローラ
　１１６　データリーダ／ライタ
　１１７　通信インターフェイス
　１１８　入力機器
　１１９　ディスプレイ装置
　１２０　記録媒体
　１２１　バス

Claims (18)

  1. 　内部空間を有する構造物の外面を示す第１の３次元モデルと、前記構造物の内面を示す第２の３次元モデルと、を結合し、それによって、結合モデルを生成する、結合モデル生成手段と、
    　前記結合モデルを画面上に表示する、表示手段と、
    を備えている、ことを特徴とする画像処理装置。
  2. 　前記第１の３次元モデル又は前記第２の３次元モデル上で、特定箇所を検出し、前記結合モデルを用いて、前記特定箇所が検出された３次元モデルとは別の３次元モデルにおいて、検出した特定箇所に対応する箇所を特定する、特定箇所検出手段を更に備え、
    　前記表示手段が、前記結合モデルにおいて、検出された前記特定箇所、及び前記特定箇所に対応する箇所を表示する、
    請求項１に記載の画像処理装置。
  3. 　前記表示手段が、前記画面上で、前記結合モデルにおいて、前記第１の３次元モデル及び前記第２の３次元モデルのうち一方又は両方を透過状態で表示する、
    請求項２に記載の画像処理装置。
  4. 　前記表示手段が、前記画面上で、前記結合モデルにおいて、検出された前記特定箇所と、前記特定箇所に対応する箇所との関連性を示す、仮想の線を表示する、
    請求項２に記載の画像処理装置。
  5. 　前記結合モデル生成手段が、前記外面に配置されたマーカーと前記内面との位置関係を示す情報を用いて、前記第１の３次元モデルと前記第２の３次元モデルとを結合する、
    請求項１に記載の画像処理装置。
  6. 　前記構造物が、外面と内面とをつなぐ開口を有し、
    　前記第１の３次元モデルが、前記外面を撮影して得られた複数の画像データから構築された３次元点群データであり、
    　前記第２の３次元モデルが、前記内面を撮影して得られた複数の画像データと、前記内面から前記開口を介して、前記マーカーを撮影して得られた画像データと、を用いて構築された３次元点群データであり、
    　前記結合モデル生成手段が、前記第１の３次元モデルを構築する３次元点群データに表れた前記マーカーと、前記第２の３次元モデルを構築する前記３次元点群データに表れた前記マーカーとを、前記情報として用いて、前記第１の３次元モデルと前記第２の３次元モデルとを結合する、
    請求項５に記載の画像処理装置。
  7. 　内部空間を有する構造物の外面を示す第１の３次元モデルと、前記構造物の内面を示す第２の３次元モデルと、を結合し、それによって、結合モデルを生成し、
    　前記結合モデルを画面上に表示する、
    ことを特徴とする画像処理方法。
  8. 　更に、前記第１の３次元モデル又は前記第２の３次元モデル上で、特定箇所を検出し、前記結合モデルを用いて、前記特定箇所が検出された３次元モデルとは別の３次元モデルにおいて、検出した特定箇所に対応する箇所を特定し、
    　前記結合モデルの画面上への表示において、前記結合モデルにおいて、検出された前記特定箇所、及び前記特定箇所に対応する箇所を表示する、
    請求項７に記載の画像処理方法。
  9. 　前記結合モデルの画面上への表示において、前記画面上で、前記結合モデルにおいて、前記第１の３次元モデル及び前記第２の３次元モデルのうち一方又は両方を透過状態で表示する、
    請求項８に記載の画像処理方法。
  10. 　前記結合モデルの画面上への表示において、前記画面上で、前記結合モデルにおいて、検出された前記特定箇所と、前記特定箇所に対応する箇所との関連性を示す、仮想の線を表示する、
    請求項８に記載の画像処理方法。
  11. 　前記結合モデルの生成において、前記外面に配置されたマーカーと前記内面との位置関係を示す情報を用いて、前記第１の３次元モデルと前記第２の３次元モデルとを結合する、
    請求項７に記載の画像処理方法。
  12. 　前記構造物が、外面と内面とをつなぐ開口を有し、
    　前記第１の３次元モデルが、前記外面を撮影して得られた複数の画像データから構築された３次元点群データであり、
    　前記第２の３次元モデルが、前記内面を撮影して得られた複数の画像データと、前記内面から前記開口を介して、前記マーカーを撮影して得られた画像データと、を用いて構築された３次元点群データであり、
    　前記結合モデルの生成において、前記第１の３次元モデルを構築する３次元点群データに表れた前記マーカーと、前記第２の３次元モデルを構築する前記３次元点群データに表れた前記マーカーとを、前記情報として用いて、前記第１の３次元モデルと前記第２の３次元モデルとを結合する、
    請求項１１に記載の画像処理方法。
  13. コンピュータに、
    　内部空間を有する構造物の外面を示す第１の３次元モデルと、前記構造物の内面を示す第２の３次元モデルと、を結合させ、それによって、結合モデルを生成させ、
    　前記結合モデルを画面上に表示させる、
    命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
  14. 前記プログラムが、前記コンピュータに、
    　前記第１の３次元モデル又は前記第２の３次元モデル上で、特定箇所を検出し、前記結合モデルを用いて、前記特定箇所が検出された３次元モデルとは別の３次元モデルにおいて、検出した特定箇所に対応する箇所を特定させる命令を更に含み、
    　前記結合モデルの画面上への表示において、前記結合モデルにおいて、検出された前記特定箇所、及び前記特定箇所に対応する箇所を表示する、
    請求項１３に記載のコンピュータ読み取り可能な記録媒体。
  15. 　前記結合モデルの画面上への表示において、前記画面上で、前記結合モデルにおいて、前記第１の３次元モデル及び前記第２の３次元モデルのうち一方又は両方を透過状態で表示する、
    請求項１４に記載のコンピュータ読み取り可能な記録媒体。
  16. 　前記結合モデルの画面上への表示において、前記画面上で、前記結合モデルにおいて、検出された前記特定箇所と、前記特定箇所に対応する箇所との関連性を示す、仮想の線を表示する、
    請求項１４に記載のコンピュータ読み取り可能な記録媒体。
  17. 　前記結合モデルの生成において、前記外面に配置されたマーカーと前記内面との位置関係を示す情報を用いて、前記第１の３次元モデルと前記第２の３次元モデルとを結合する、
    請求項１３に記載のコンピュータ読み取り可能な記録媒体。
  18. 　前記構造物が、外面と内面とをつなぐ開口を有し、
    　前記第１の３次元モデルが、前記外面を撮影して得られた複数の画像データから構築された３次元点群データであり、
    　前記第２の３次元モデルが、前記内面を撮影して得られた複数の画像データと、前記内面から前記開口を介して、前記マーカーを撮影して得られた画像データと、を用いて構築された３次元点群データであり、
    　前記結合モデルの生成において、前記第１の３次元モデルを構築する３次元点群データに表れた前記マーカーと、前記第２の３次元モデルを構築する前記３次元点群データに表れた前記マーカーとを、前記情報として用いて、前記第１の３次元モデルと前記第２の３次元モデルとを結合する、
    請求項１７に記載のコンピュータ読み取り可能な記録媒体。
     
PCT/JP2025/017293 2024-05-31 2025-05-13 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体 Pending WO2025249137A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024088503 2024-05-31
JP2024-088503 2024-05-31

Publications (1)

Publication Number Publication Date
WO2025249137A1 true WO2025249137A1 (ja) 2025-12-04

Family

ID=97870243

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/017293 Pending WO2025249137A1 (ja) 2024-05-31 2025-05-13 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
WO (1) WO2025249137A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494878A (zh) * 2022-01-27 2022-05-13 重庆允丰科技有限公司 基于数字孪生的安全隐患管理方法、系统、设备及介质
CN116843851A (zh) * 2023-04-23 2023-10-03 中国电建集团华东勘测设计研究院有限公司 基于可视边的建筑信息模型处理及加载优化的方法
CN117392328A (zh) * 2023-12-07 2024-01-12 四川云实信息技术有限公司 一种基于无人机集群的三维实景建模方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494878A (zh) * 2022-01-27 2022-05-13 重庆允丰科技有限公司 基于数字孪生的安全隐患管理方法、系统、设备及介质
CN116843851A (zh) * 2023-04-23 2023-10-03 中国电建集团华东勘测设计研究院有限公司 基于可视边的建筑信息模型处理及加载优化的方法
CN117392328A (zh) * 2023-12-07 2024-01-12 四川云实信息技术有限公司 一种基于无人机集群的三维实景建模方法及系统

Similar Documents

Publication Publication Date Title
EP3621034B1 (en) Method and apparatus for calibrating relative parameters of collector, and storage medium
JP6866439B2 (ja) 位置検出方法とその装置、機器、記憶媒体及び車両
JP6057298B2 (ja) 迅速な３ｄモデリング
US11164370B2 (en) Information processing apparatus and accumulated images selecting method
CN109961522B (zh) 图像投射方法、装置、设备和存储介质
US11657535B2 (en) System and method for optimal camera calibration
US11922659B2 (en) Coordinate calculation apparatus, coordinate calculation method, and computer-readable recording medium
JP2021165888A (ja) 情報処理装置、情報処理装置の情報処理方法およびプログラム
US20220405878A1 (en) Image processing apparatus, image processing method, and image processing program
WO2022101982A1 (ja) センサノイズ除去装置およびセンサノイズ除去方法
CN114549613A (zh) 基于深度超分辨率网络的结构位移测量方法及装置
US10410331B2 (en) Computed tomography object inspection system
JP7799883B1 (ja) データ処理装置、データ処理システム、データ処理方法及びデータ処理プログラム
CN114821395B (zh) 异常定位方法、装置、设备及可读存储介质
WO2025249137A1 (ja) 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
Pan et al. Bolt loosening assessment using ensemble vision models for automatic localization and feature extraction with target‐free perspective adaptation
JP2020159135A (ja) 路面性状計測装置、路面性状計測方法、および、路面性状計測プログラム
JP7233592B1 (ja) 画像処理装置、画像処理方法及びプログラム
JP7211271B2 (ja) 画像選択方法、画像選択プログラム、および画像選択装置
US20250111531A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
US20240354892A1 (en) Information processing apparatus, information processing method, and storage medium for generating processed images different in resolution
CN119540211B (zh) 图形处理器的故障检测方法、装置、设备、存储介质和程序产品
CN115731104B (zh) 基于车辆视觉传感器的环视拼接方法及相关设备
JP7485155B2 (ja) データ符号化プログラム、及びデータ符号化装置
JP7466382B2 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25814783

Country of ref document: EP

Kind code of ref document: A1