JP6494413B2

JP6494413B2 - Image composition apparatus, image composition method, and image composition program

Info

Publication number: JP6494413B2
Application number: JP2015101006A
Authority: JP
Inventors: 隆博加島; 川浦　健央; 健央川浦
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2015-05-18
Filing date: 2015-05-18
Publication date: 2019-04-03
Anticipated expiration: 2035-05-18
Also published as: JP2016218615A

Description

本発明は、複数の画像を合成する技術に関する。 The present invention relates to a technique for combining a plurality of images.

従来から、埋設物等の不可視物の位置を確認できる合成画像を生成する画像合成装置がある。
このような画像合成装置では、現地測量を行わなくても、埋設物が埋設されている位置を三次元グラフィック画像（３Ｄグラフィック画像と呼ばれる場合もある。）で確認することができる。 2. Description of the Related Art Conventionally, there is an image composition device that generates a composite image that can confirm the position of an invisible object such as an embedded object.
In such an image composition device, the position where the embedded object is embedded can be confirmed with a three-dimensional graphic image (sometimes called a 3D graphic image) without performing on-site surveying.

例えば、特許文献１の画像合成装置は、実空間画像を入力する画像入力手段と、画像入力手段の位置及び姿勢を計測する計測手段と、空間モデルを記憶する記憶手段と、演算処理を行い表示画面において遠近法により表示された透視図となるように三次元グラフィック画像を生成する画像生成手段と、実空間画像と遠近法により表示された三次元グラフィック画像とを表示画面に重畳して表示させる表示手段、により構成されている。 For example, the image synthesizing apparatus disclosed in Patent Document 1 includes an image input unit that inputs a real space image, a measurement unit that measures the position and orientation of the image input unit, a storage unit that stores a space model, and performs arithmetic processing and displays it. An image generating means for generating a three-dimensional graphic image so as to become a perspective view displayed by a perspective method on a screen, and a real space image and a three-dimensional graphic image displayed by a perspective method are displayed superimposed on the display screen. Display means.

特開２０１２−１３３４７１号公報JP 2012-133471 A

特許文献１の画像合成装置は、管路等の埋設物を表す三次元グラフィック画像を実画像に重畳表示することができるが、埋設物が設置された深さに応じて三次元グラフィック画像の表現を変えることができないため、ユーザは管路の深さを直感的には理解できない（理解するのに時間がかかる）という課題があった。 The image synthesizing apparatus disclosed in Patent Document 1 can display a three-dimensional graphic image representing an embedded object such as a pipeline on an actual image, but can represent a three-dimensional graphic image according to the depth at which the embedded object is installed. Therefore, the user cannot intuitively understand the depth of the pipeline (it takes time to understand).

この発明は、上記の課題を解決することを主な目的としており、埋設物等の不可視物の深さをユーザが直感的に理解（短時間で理解）できるようにすることを主な目的とする。 The main object of the present invention is to solve the above-mentioned problems, and to make it possible for a user to intuitively understand (understand in a short time) the depth of an invisible object such as an embedded object. To do.

本発明に係る画像合成装置は、
物体を外部から撮影した撮影画像に対し、
前記物体の内部に存在する不可視物を表す三次元グラフィック画像と、
前記物体における前記不可視物に沿った断面を表す三次元グラフィック画像（以下、「断面を表す三次元グラフィック画像」を三次元内部断面画像と記載。）と、
を合成する合成画像生成部を備え、
前記不可視物を表す三次元グラフィック画像は、前記不可視物の存在位置に対応する前記撮影画像内の位置に合成され、
前記三次元内部断面画像は、前記断面が前記三次元グラフィック画像で表される前記不可視物に沿うように合成される。 An image composition apparatus according to the present invention includes:
For images taken from outside,
A three-dimensional graphic image representing an invisible object existing inside the object;
A three-dimensional graphic image representing a cross section of the object along the invisible object (hereinafter referred to as a “three-dimensional internal cross-sectional image”).
A composite image generation unit for combining
The three-dimensional graphic image representing the invisible object is synthesized at a position in the captured image corresponding to the position where the invisible object exists,
The three-dimensional internal cross-sectional image is synthesized so that the cross-section is along the invisible object represented by the three-dimensional graphic image.

本発明によれば、合成画像において不可視物の三次元グラフィック画像の周囲に三次元内部断面画像が配置されるため、ユーザは不可視物の深さを直感的に理解することができる。 According to the present invention, since the three-dimensional internal cross-sectional image is arranged around the three-dimensional graphic image of the invisible object in the synthesized image, the user can intuitively understand the depth of the invisible object.

実施の形態１に係る画像合成装置の機能構成例を示す図。FIG. 3 is a diagram illustrating a functional configuration example of the image composition device according to the first embodiment. 実施の形態２に係る画像合成装置の機能構成例を示す図。FIG. 4 is a diagram illustrating a functional configuration example of an image composition device according to a second embodiment. 実施の形態３に係る画像合成装置の機能構成例を示す図。FIG. 10 is a diagram illustrating a functional configuration example of an image composition device according to a third embodiment. 実施の形態４に係る画像合成装置の機能構成例を示す図。FIG. 10 is a diagram illustrating a functional configuration example of an image composition device according to a fourth embodiment. 実施の形態１に係る画像合成装置により生成された合成画像の例を示す図。FIG. 3 is a diagram illustrating an example of a composite image generated by the image composition device according to the first embodiment. 実施の形態１〜４に係る画像合成装置のハードウェア構成例を示す図。FIG. 4 is a diagram illustrating a hardware configuration example of an image composition device according to the first to fourth embodiments. 実施の形態１に係る画像合成装置の動作例を示すフローチャート図。FIG. 5 is a flowchart showing an operation example of the image composition device according to the first embodiment.

実施の形態１〜４では、物体を外部から撮影した撮影画像に対し、物体の内部に存在する不可視物を表す三次元グラフィック画像と、物体における不可視物に沿った断面を表す三次元内部断面画像とを合成する合成画像生成部を備え、不可視物を表す三次元グラフィック画像は、不可視物の存在位置に対応する撮影画像内の位置に合成され、三次元内部断面画像は、断面が三次元グラフィック画像で表される不可視物に沿うように合成される画像合成装置を説明する。
不可視物は、物体の内部に存在し、物体の外部からは目視できない物である。
なお、以下の実施の形態１〜４では、不可視物が配管等の埋設物の場合を例として説明を行う。
また、実施の形態１〜４では、不可視物が内在する物体が、埋設物が埋設されている埋設地（道路等の土地）である場合を例として説明を行う。 In the first to fourth embodiments, a three-dimensional graphic image representing an invisible object existing inside the object and a three-dimensional internal cross-sectional image representing a cross section along the invisible object in the object with respect to a captured image obtained by photographing the object from the outside The 3D graphic image representing the invisible object is synthesized at a position in the captured image corresponding to the position where the invisible object exists, and the 3D internal cross-sectional image has a 3D cross section. An image synthesizing device that is synthesized along an invisible object represented by an image will be described.
An invisible object is an object that exists inside the object and cannot be seen from the outside of the object.
In the following first to fourth embodiments, the case where the invisible object is an embedded object such as a pipe will be described as an example.
In the first to fourth embodiments, an example in which the object containing the invisible object is a buried land (land such as a road) where the buried object is buried will be described.

また、図に記載した各構成要素は、本発明を説明するために便宜的に分割したものであり、図に示した分割に限定されない。
また、画像合成装置１の実装形態は、図に示した構成、分割、名称等に限定されない。 In addition, each component described in the figure is divided for convenience of explanation of the present invention, and is not limited to the division shown in the figure.
Further, the mounting form of the image composition device 1 is not limited to the configuration, division, name, and the like shown in the figure.

実施の形態１．
＊＊＊機能構成の説明＊＊＊
図１は、実施の形態１に係る画像合成装置１の機能構成例を示す。
図１に示すように、画像合成装置１は、撮影装置２０及び表示装置３０に接続されている。
撮影装置２０は、不可視物が配置されている物体の外表面、つまり、埋設物が埋設されている埋設地の地表面の撮影を行う。
表示装置３０は、画像合成装置１により生成された合成画像を表示する。
以下、図１を用いて、本実施の形態に係る画像合成装置１の機能構成を説明する。 Embodiment 1 FIG.
*** Explanation of functional configuration ***
FIG. 1 shows a functional configuration example of an image composition device 1 according to the first embodiment.
As shown in FIG. 1, the image composition device 1 is connected to a photographing device 20 and a display device 30.
The imaging device 20 performs imaging of the outer surface of an object on which an invisible object is arranged, that is, the ground surface of an embedded site in which an embedded object is embedded.
The display device 30 displays the composite image generated by the image composition device 1.
Hereinafter, the functional configuration of the image composition apparatus 1 according to the present embodiment will be described with reference to FIG.

図１において、撮影画像取得部２は、撮影装置２０から地表面の撮影画像を取得する。 In FIG. 1, the captured image acquisition unit 2 acquires a captured image of the ground surface from the imaging device 20.

計測部３は、撮影装置２０が地表面を撮影した際の撮影装置２０の位置及び姿勢を計測する。 The measurement unit 3 measures the position and orientation of the imaging device 20 when the imaging device 20 images the ground surface.

記憶部４は、空間モデルを記憶する。
空間モデルの詳細は後述する。 The storage unit 4 stores a space model.
Details of the space model will be described later.

深度判定部８は、埋設物の存在位置における地表面からの深さを判定する。 The depth determination unit 8 determines the depth from the ground surface at the position where the embedded object exists.

グラフィック画像生成部５は、演算処理を行い、表示装置３０の表示画面において遠近法により表示された透視図となる三次元グラフィック画像を生成する。
より具体的には、グラフィック画像生成部５は、計測部３が計測した撮影装置２０の位置及び姿勢を解析して、不可視物たる埋設物の三次元グラフィック画像を生成する。 The graphic image generation unit 5 performs arithmetic processing to generate a three-dimensional graphic image that is a perspective view displayed by the perspective method on the display screen of the display device 30.
More specifically, the graphic image generation unit 5 analyzes the position and orientation of the imaging device 20 measured by the measurement unit 3, and generates a three-dimensional graphic image of an embedded object that is an invisible object.

断面画像付加部１３は、埋設物の存在位置の地表面からの深さを表す地中の三次元内部断面画像を生成し、埋設物の三次元グラフィック画像の周囲に三次元内部断面画像を付加する。
より具体的には、断面画像付加部１３は、埋設物の形状に沿って埋設地の内部がくり抜かれた状態が描画される三次元内部断面画像を、埋設物の三次元グラフィック画像の周囲に付加する。
例えば、埋設物が埋設管のような棒状体であれば、棒状体の長手方向の形状（両側の形状）に沿って埋設地の内部がくり抜かれた状態が描画される三次元内部断面画像を、グラフィック画像生成部５により生成された棒状体の三次元グラフィック画像の周囲に付加する。
なお、断面画像付加部１３は、深度判定部８により判定された深さに応じて、埋設物の三次元グラフィック画像に付加する三次元内部断面画像の深さ方向の範囲を調整する。 The cross-sectional image adding unit 13 generates a three-dimensional internal cross-sectional image in the ground representing the depth from the ground surface of the position of the embedded object, and adds the three-dimensional internal cross-sectional image around the three-dimensional graphic image of the embedded object. To do.
More specifically, the cross-sectional image adding unit 13 displays a three-dimensional internal cross-sectional image in which a state in which the interior of the embedded site is hollowed out along the shape of the embedded object is drawn around the three-dimensional graphic image of the embedded object. Append.
For example, if the buried object is a rod-like body such as a buried pipe, a three-dimensional internal cross-sectional image in which a state in which the interior of the buried land is hollowed out along the shape in the longitudinal direction of the rod-like body (the shape on both sides) is drawn. Then, it is added around the three-dimensional graphic image of the rod-shaped body generated by the graphic image generation unit 5.
The cross-sectional image adding unit 13 adjusts the range in the depth direction of the three-dimensional internal cross-sectional image to be added to the three-dimensional graphic image of the embedded object according to the depth determined by the depth determining unit 8.

合成画像生成部６は、埋設物の三次元グラフィック画像と三次元内部断面画像とを、埋設物の存在位置に対応する撮影画像内の位置に配置して、合成画像を生成する。
このように、合成画像生成部６は、埋設物の三次元グラフィック画像が、地表面を撮影した撮影画像の埋設物の存在位置に対応する画像位置に配置され、埋設物の形状に沿って埋設地の内部がくり抜かれた状態が描画される、三次元内部断面画像が埋設物の三次元グラフィック画像の周囲に配置されている合成画像を生成する。
なお、合成画像生成部６は、深度判定部８により判定された深さに対応する、撮影画像の画像位置に三次元グラフィック画像と三次元内部断面画像とを配置する。 The composite image generation unit 6 generates a composite image by arranging the three-dimensional graphic image of the embedded object and the three-dimensional internal cross-sectional image at a position in the captured image corresponding to the position of the embedded object.
As described above, the composite image generation unit 6 is arranged so that the three-dimensional graphic image of the embedded object is arranged at an image position corresponding to the position of the embedded object in the photographed image obtained by photographing the ground surface, and is embedded along the shape of the embedded object. A composite image is generated in which a three-dimensional internal cross-sectional image is drawn around a three-dimensional graphic image of an embedded object in which a state in which the interior of the ground is hollowed out is drawn.
The composite image generation unit 6 arranges the three-dimensional graphic image and the three-dimensional internal cross-sectional image at the image position of the captured image corresponding to the depth determined by the depth determination unit 8.

合成画像出力部１４は、合成画像生成部６により生成された合成画像を表示装置３０に出力する。 The composite image output unit 14 outputs the composite image generated by the composite image generation unit 6 to the display device 30.

＊＊＊ハードウェア構成の説明＊＊＊
図６は、画像合成装置１のハードウェア構成例を示す。
画像合成装置１は、図６に示すように、演算装置６０１と記憶装置６０２と計測装置６０３がバスで接続されたコンピュータである。
図１の計測部３は、撮影装置２０の撮影位置及び姿勢を計測する計測装置６０３で実現することができる。
図１の記憶部４及び後述の図２の閾値保存部９は、記憶装置６０２で実現することができる。
記憶装置６０２は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（ＨａｒｄＤｉｓｋ
Ｄｒｉｖｅ）等である。
図１に示す撮影画像取得部２、グラフィック画像生成部５、合成画像生成部６、深度判定部８、断面画像付加部１３、合成画像出力部１４、図２に示す閾値取得部１０、後述の図３に示す色値調整部１１、後述の図４に示す透明度調整部１２（以下、これらをまとめて「部」と表記する）は、演算装置６０１で実現することができる。
演算装置６０１は、例えばＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等のプロセッサである。
記憶装置６０２には、「部」の機能を実現するプログラムが記憶されている。
このプログラムは、演算装置６０１に読み込まれ、演算装置６０１によって実行される。
更に、記憶装置６０２には、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）も記憶されている。
そして、演算装置６０１は、ＯＳの少なくとも一部を実行しながら、「部」の機能を実現するプログラムを実行する。
また、「部」の処理の結果を示す情報やデータや信号値や変数値が、記憶装置６０２、又は、演算装置６０１内のレジスタ又はキャッシュメモリに記憶される。
また、「部」を、ロジックＩＣ、ＧＡ（ＧａｔｅＡｒｒａｙ）、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）といった電子回路で実現するようにしてもよい。 *** Explanation of hardware configuration ***
FIG. 6 shows a hardware configuration example of the image composition apparatus 1.
As shown in FIG. 6, the image composition device 1 is a computer in which an arithmetic device 601, a storage device 602, and a measurement device 603 are connected by a bus.
The measurement unit 3 in FIG. 1 can be realized by a measurement device 603 that measures the photographing position and orientation of the photographing device 20.
The storage unit 4 in FIG. 1 and the threshold value storage unit 9 in FIG. 2 to be described later can be realized by the storage device 602.
The storage device 602 includes a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, and an HDD (Hard Disk).
Drive) and the like.
A captured image acquisition unit 2, a graphic image generation unit 5, a composite image generation unit 6, a depth determination unit 8, a cross-sectional image addition unit 13, a composite image output unit 14, a threshold acquisition unit 10 illustrated in FIG. The color value adjusting unit 11 shown in FIG. 3 and the transparency adjusting unit 12 (hereinafter, collectively referred to as “part”) shown in FIG. 4 can be realized by the arithmetic device 601.
The arithmetic device 601 is a processor such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
The storage device 602 stores a program that realizes the function of “unit”.
This program is read into the arithmetic device 601 and executed by the arithmetic device 601.
Further, the storage device 602 also stores an OS (Operating System).
The arithmetic device 601 executes a program that realizes the function of “unit” while executing at least a part of the OS.
In addition, information, data, signal values, and variable values indicating the result of the processing of “unit” are stored in the storage device 602 or a register or cache memory in the arithmetic device 601.
The “unit” may be realized by an electronic circuit such as a logic IC, a GA (Gate Array), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array).

なお、図６のハードウェア構成は一例であり、例えば複数の演算装置や記憶装置が連携して、以下に説明する処理を実行してもよい。
すなわち、「部」の一部または全部を、ハードウェアとソフトウェアの組合せ、ハードウェアのみ、ソフトウェアのみ、またはこれらの組合せによって構成してもよい。 Note that the hardware configuration in FIG. 6 is an example, and for example, a plurality of arithmetic devices and storage devices may cooperate to execute the processing described below.
That is, a part or all of the “unit” may be configured by a combination of hardware and software, only hardware, only software, or a combination thereof.

＊＊＊動作の説明＊＊＊
次に、図７のフローチャートに基づき、画像合成装置１の動作例を説明する。
なお、図７に示す手順は、画像合成方法及び画像合成プログラムの例に相当する。 *** Explanation of operation ***
Next, an operation example of the image composition device 1 will be described based on the flowchart of FIG.
The procedure shown in FIG. 7 corresponds to an example of an image composition method and an image composition program.

まず、撮影装置２０にて地表面の撮影が行われると、計測部３が、撮影画像取得部２の位置及び姿勢を計測し（Ｓ７０１）、また、撮影画像取得部２が撮影装置２０から撮影画像を取得する（Ｓ７０２）。
なお、計測部３による計測結果は、グラフィック画像生成部５に出力される。
また、撮影画像は、合成画像生成部６に出力される。 First, when the ground surface is photographed by the photographing device 20, the measurement unit 3 measures the position and orientation of the photographed image acquisition unit 2 (S <b> 701), and the photographed image acquisition unit 2 photographs from the photographing device 20. An image is acquired (S702).
The measurement result obtained by the measurement unit 3 is output to the graphic image generation unit 5.
The captured image is output to the composite image generation unit 6.

次に、グラフィック画像生成部５が、記憶部４から空間モデルを読み込む（Ｓ７０３）。
そして、グラフィック画像生成部５は、空間モデルと計測部３の計測結果（撮影装置２０の位置及び姿勢）を入力として演算処理を行い、埋設物の三次元グラフィック画像を生成する（Ｓ７０４）。
グラフィック画像生成部５が生成する三次元グラフィック画像は、表示画面に表示された場合に遠近法により表示された透視図となる画像である。
グラフィック画像生成部５は、生成した三次元グラフィック画像を断面画像付加部１３に出力する。 Next, the graphic image generation unit 5 reads a space model from the storage unit 4 (S703).
Then, the graphic image generation unit 5 performs arithmetic processing with the spatial model and the measurement result of the measurement unit 3 (position and orientation of the photographing apparatus 20) as inputs, and generates a three-dimensional graphic image of the embedded object (S704).
The three-dimensional graphic image generated by the graphic image generation unit 5 is an image that becomes a perspective view displayed by a perspective method when displayed on the display screen.
The graphic image generation unit 5 outputs the generated three-dimensional graphic image to the cross-sectional image addition unit 13.

次に、深度判定部８は、埋設物の存在位置の深さ（深度）を判定する（Ｓ７０５）。
深度判定部８は、空間モデルから埋設物の深度を判定することができる。
深度判定部８は、判定した埋設物の深度を断面画像付加部１３と合成画像生成部６に通知する。 Next, the depth determination unit 8 determines the depth (depth) of the existing position of the embedded object (S705).
The depth determination unit 8 can determine the depth of the embedded object from the space model.
The depth determining unit 8 notifies the cross-sectional image adding unit 13 and the composite image generating unit 6 of the determined depth of the embedded object.

断面画像付加部１３は、深度判定部８から通知された深度に従った三次元内部断面画像を生成し、グラフィック画像生成部５で生成された三次元グラフィック画像に、生成した三次元内部断面画像を付加する（Ｓ７０６）。
断面画像付加部１３は、三次元内部断面画像の深さを、深度判定部８から通知された深度に応じて調整する。
つまり、断面画像付加部１３は、深度判定部８から通知された深度までくり抜かれた状態が描画される三次元内部断面画像を生成する。
このため、断面画像付加部１３は、埋設物の深度が大きいほど断面画像の深さ方向の範囲を広くし、深度が小さいほど断面画像の深さ方向の範囲を狭くする。
断面画像付加部１３は、三次元グラフィック画像と三次元内部断面画像とを合成画像生成部６に出力する。 The cross-sectional image adding unit 13 generates a three-dimensional internal cross-sectional image according to the depth notified from the depth determining unit 8, and generates the generated three-dimensional internal cross-sectional image into the three-dimensional graphic image generated by the graphic image generating unit 5. Is added (S706).
The cross-sectional image adding unit 13 adjusts the depth of the three-dimensional internal cross-sectional image according to the depth notified from the depth determination unit 8.
That is, the cross-sectional image adding unit 13 generates a three-dimensional internal cross-sectional image in which the state cut out to the depth notified from the depth determination unit 8 is drawn.
For this reason, the cross-sectional image adding unit 13 widens the range in the depth direction of the cross-sectional image as the depth of the embedded object increases, and narrows the range in the depth direction of the cross-sectional image as the depth decreases.
The cross-sectional image adding unit 13 outputs the three-dimensional graphic image and the three-dimensional internal cross-sectional image to the composite image generating unit 6.

最後に、合成画像生成部６は、撮影画像取得部２からの撮影画像に、断面画像付加部１３からの三次元グラフィック画像と三次元内部断面画像とを重畳して、合成画像を生成する（Ｓ７０７）（合成画像生成ステップ）。
そして、合成画像生成部６は、生成した合成画像を合成画像出力部１４に出力する。
合成画像出力部１４は、合成画像を表示装置３０に出力して、表示させる（合成画像出力ステップ）。 Finally, the composite image generation unit 6 generates a composite image by superimposing the 3D graphic image from the cross-sectional image adding unit 13 and the 3D internal cross-sectional image on the captured image from the captured image acquisition unit 2 ( S707) (composite image generation step).
Then, the composite image generation unit 6 outputs the generated composite image to the composite image output unit 14.
The composite image output unit 14 outputs the composite image to the display device 30 for display (composite image output step).

例えば、合成画像生成部６は、図５に示すような合成画像を生成する。
図５の合成画像では、埋設管が埋設されている道路を撮影した撮影画像に、埋設管の三次元グラフィック画像が重畳され、また、埋設管の延びる方向に沿って埋設地の内部がくり抜かれた状態を描画する三次元内部断面画像が重畳されている。
具体的には、図５では、符号５０２、５０３及び５０４の面に三次元内部断面画像が付加されている。 For example, the composite image generation unit 6 generates a composite image as shown in FIG.
In the composite image of FIG. 5, a three-dimensional graphic image of the buried pipe is superimposed on a photographed image obtained by photographing the road where the buried pipe is buried, and the interior of the buried land is cut out along the direction in which the buried pipe extends. A three-dimensional internal cross-sectional image for drawing the state is superimposed.
Specifically, in FIG. 5, three-dimensional internal cross-sectional images are added to the surfaces denoted by reference numerals 502, 503, and 504.

＊＊＊計測部３について＊＊＊
ここで、計測部３の詳細を説明する。
前述したように、計測部３は、撮影装置２０が地表面を撮影した際の、撮影装置２０の位置及び姿勢を計測する。
位置は撮影装置２０の３次元空間の位置を表す値である。
値の座標系の例として、緯度、経度、及び標高が挙げられる。
別の例として、平面直角座標系のＸ値とＹ値、及び標高でもよい。
もしくは、屋外や屋内のある位置を原点とした座標系でもよい。
位置の計測方法としては、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）やＧＬＯＮＡＳＳ（ＧｌｏｂａｌＮａｖｉｇａｔｉｏｎＳａｔｅｌｌｉｔｅＳｙｓｔｅｍ）等の衛星測位システムによる測位が挙げられる。
屋内においてはＩＭＥＳ（ＩｎｄｏｏｒＭＥｓｓａｇｉｎｇＳｙｓｔｅｍ）等の屋内測位システムを使用できる。
姿勢は撮影装置２０の３次元空間の姿勢（傾きや方位）を表す値である。
姿勢の値は回転行列や回転ベクトル等によって表される。
姿勢は、加速度センサと地磁気センサによって計測できる。
加速度センサによって重力加速度を計測することで、傾きを算出できる。
また、地磁気センサによって方位を算出できる。 *** About measuring unit 3 ***
Here, the detail of the measurement part 3 is demonstrated.
As described above, the measurement unit 3 measures the position and orientation of the imaging device 20 when the imaging device 20 images the ground surface.
The position is a value representing the position of the photographing apparatus 20 in the three-dimensional space.
Examples of coordinate systems for values include latitude, longitude, and elevation.
As another example, the X and Y values of a plane rectangular coordinate system, and the altitude may be used.
Alternatively, a coordinate system with the origin at an outdoor or indoor position may be used.
Examples of the position measurement method include positioning by a satellite positioning system such as GPS (Global Positioning System) or GLONASS (Global Navigation Satellite System).
An indoor positioning system such as IMES (Indoor Messaging System) can be used indoors.
The posture is a value that represents the posture (tilt and orientation) of the photographing apparatus 20 in the three-dimensional space.
The posture value is represented by a rotation matrix, a rotation vector, or the like.
The posture can be measured by an acceleration sensor and a geomagnetic sensor.
The inclination can be calculated by measuring the gravitational acceleration by the acceleration sensor.
Further, the azimuth can be calculated by a geomagnetic sensor.

＊＊＊記憶部４について＊＊＊
記憶部４の詳細を説明する。
記憶部４には、あらかじめ空間モデルのデータを記憶しておく。
空間モデルとは、例えば屋外の埋設管を重畳表示する画像合成装置１の場合、各埋設管の始点位置、終点位置、口径、深度（土被り）等のデータである。
始点位置及び終点位置は、３次元の位置情報である。
座標系は計測部３と同様に、平面位置を表す経緯度やＸ、Ｙ値、及び高さを表す標高等である。
これらのデータにより、グラフィック画像生成部５は三次元グラフィック画像を生成できる。
なお、埋設物の三次元グラフィック画像の描画を可能にするデータであれば、空間モデルはどのようなデータであってもよい。 *** About storage unit 4 ***
Details of the storage unit 4 will be described.
The storage unit 4 stores data of the space model in advance.
For example, in the case of the image synthesizing apparatus 1 that superimposes and displays outdoor buried pipes, the spatial model is data such as the start point position, end point position, diameter, and depth (earth cover) of each buried pipe.
The start point position and the end point position are three-dimensional position information.
Similar to the measurement unit 3, the coordinate system includes longitude and latitude indicating the plane position, X and Y values, and altitude indicating the height.
With these data, the graphic image generation unit 5 can generate a three-dimensional graphic image.
Note that the space model may be any data as long as the data enables drawing of a three-dimensional graphic image of the embedded object.

＊＊＊グラフィック画像生成部５について＊＊＊
グラフィック画像生成部５の詳細を説明する。
グラフィック画像生成部５は、計測部３による撮影装置２０の位置及び姿勢と、記憶部４の空間モデルを使用し、三次元グラフィック画像を生成する。
三次元グラフィック画像の生成方法としては、ＯｐｅｎＧＬ等に代表されるコンピュータにおける三次元グラフィック画像の生成技術を使用できる。
空間モデル内の埋設管の始点位置、終点位置、口径に基づき、三次元グラフィック画像のワールド空間に埋設管をモデリングすることで、埋設管の三次元グラフィック画像を生成できる。
また、三次元グラフィック画像を生成（レンダリング）する際に、三次元グラフィック画像のカメラ位置及び姿勢を、計測部３による位置及び姿勢の値を使用することと、画角を撮影装置２０の画角と同じ値に設定することで、撮影装置２０の位置及び姿勢で撮影した際の埋設管の三次元グラフィック画像を生成できる。
以上のことから、合成画像生成部６によって、グラフィック画像生成部５で生成された三次元グラフィック画像を撮影画像取得部２で取得した実空間画像（撮影画像）と重畳することで、実際には視認できない埋設管の三次元グラフィック画像を実空間画像（撮影画像）に表示することができる。 *** About the graphic image generator 5 ***
Details of the graphic image generation unit 5 will be described.
The graphic image generation unit 5 generates a three-dimensional graphic image using the position and orientation of the photographing device 20 by the measurement unit 3 and the spatial model of the storage unit 4.
As a method for generating a three-dimensional graphic image, a three-dimensional graphic image generation technique in a computer represented by OpenGL or the like can be used.
By modeling the buried pipe in the world space of the three-dimensional graphic image based on the start point position, the end point position, and the diameter of the buried pipe in the space model, a three-dimensional graphic image of the buried pipe can be generated.
Further, when generating (rendering) a three-dimensional graphic image, the camera position and posture of the three-dimensional graphic image are used using the position and posture values obtained by the measurement unit 3, and the angle of view is set to the angle of view of the photographing apparatus 20. By setting the same value as, it is possible to generate a three-dimensional graphic image of the buried pipe when the image is taken with the position and orientation of the image taking device 20.
From the above, the composite image generation unit 6 actually superimposes the three-dimensional graphic image generated by the graphic image generation unit 5 on the real space image (captured image) acquired by the captured image acquisition unit 2. A three-dimensional graphic image of the buried pipe that cannot be visually recognized can be displayed in a real space image (photographed image).

＊＊＊深度判定部８について＊＊＊
深度判定部８の詳細を説明する。
深度判定部８は、記憶部４の空間モデルに基づき、埋設管の深度を断面画像付加部１３に通知する。
深度は空間モデル内の深度データ（土被り）を使用できる。
なお、空間モデルに深度データが存在しない場合は、深度判定部８は、空間モデルの始点及び終点位置、及び地面の標高データを用いて深度を算出してもよい。 *** About the depth determination unit 8 ***
Details of the depth determination unit 8 will be described.
The depth determination unit 8 notifies the cross-sectional image addition unit 13 of the depth of the buried pipe based on the spatial model of the storage unit 4.
Depth can use depth data (soil cover) in the spatial model.
When there is no depth data in the spatial model, the depth determination unit 8 may calculate the depth using the start point and end point position of the spatial model and the altitude data of the ground.

＊＊＊断面画像付加部１３について＊＊＊
断面画像付加部１３の詳細を説明する。
断面画像付加部１３は、グラフィック画像生成部５が生成した三次元グラフィック画像の周囲に、深度判定部８で判定された深度に対応する三次元内部断面画像を付加する。
具体的には、断面画像付加部１３は、図５の符号５０２、５０３及び５０４のように、埋設管の形状に沿って埋設地の内部がくり抜かれたと仮定した状態を描画する擬似的な断面画像を付加する。
なお、くり抜かれた状態に対応する画像を描画しているとユーザが認識できればよく、必ずしもくり抜かれた状態に対応する断面の全てを描画するように構成する必要はなく上記説明の場合に限定されない。
例えば三次元内部断面画像として、埋設管の両側の断面を表す、即ち複数の二次元断面図を描画するようにしてもよい。
図５では、符号５０２、５０３及び５０４の面のみ断面画像が付加され、符号５０１と符号５０５の面には断面画像が付加されていない。
このように不可視物の周囲の一部に断面画像が付加されていない箇所があっても、くり抜かれたいずれかの面に断面画像が付加されていれば、不可視物の三次元グラフィック画像の周囲に三次元内部断面画像が付加されているものとする。
なお、断面画像付加部１３は、断面画像を付加する位置を、記憶部４による埋設管の位置データを用いて特定する。
また、断面画像付加部１３は、断面画像の深度を、深度判定部８から通知される深度を用いて特定する。
また、断面画像には、断面であることが直感的に理解できるように、例えばコンクリートや地層を表すようなテクスチャを使用してもよい。 *** About the cross-section image adding part 13 ***
Details of the cross-sectional image adding unit 13 will be described.
The cross-sectional image adding unit 13 adds a three-dimensional internal cross-sectional image corresponding to the depth determined by the depth determining unit 8 around the three-dimensional graphic image generated by the graphic image generating unit 5.
Specifically, the cross-sectional image adding unit 13 renders a pseudo cross-section that draws a state assuming that the interior of the embedded site is hollowed out along the shape of the embedded tube, as indicated by reference numerals 502, 503, and 504 in FIG. Add an image.
Note that it is only necessary that the user can recognize that the image corresponding to the hollowed out state is being drawn, and it is not always necessary to configure to draw all of the cross section corresponding to the hollowed out state, and the present invention is not limited to the case described above. .
For example, as a three-dimensional internal cross-sectional image, cross sections on both sides of the buried pipe, that is, a plurality of two-dimensional cross-sectional views may be drawn.
In FIG. 5, the cross-sectional images are added only to the surfaces of reference numerals 502, 503, and 504, and the cross-sectional images are not added to the surfaces of reference numerals 501 and 505.
In this way, even if there is a part where the cross-sectional image is not added to a part of the periphery of the invisible object, if the cross-sectional image is added to any of the cut out surfaces, the periphery of the invisible object's three-dimensional graphic image It is assumed that a three-dimensional internal cross-sectional image is added to.
The cross-sectional image adding unit 13 specifies the position to which the cross-sectional image is added using the position data of the embedded pipe stored in the storage unit 4.
Further, the cross-sectional image adding unit 13 specifies the depth of the cross-sectional image using the depth notified from the depth determination unit 8.
Further, in the cross-sectional image, for example, a texture representing concrete or a stratum may be used so that it can be intuitively understood that it is a cross-section.

＊＊＊実施の形態の効果の説明＊＊＊
以上のように、実施の形態１では、埋設物の深度に応じて深さ方向の範囲を変化させた断面画像を付加した三次元グラフィック画像を撮影画像と重畳表示できるため、ユーザが直感的に、従来よりも短時間で埋設物の深さを理解することができる。
実施の形態１に係る画像合成装置１で生成される合成画像の例である図５では、管路の付近に断面図が重畳表示されているため、ユーザが直感的に、従来よりも短時間で管路の深さを理解することができる。 *** Explanation of the effect of the embodiment ***
As described above, in the first embodiment, since a three-dimensional graphic image to which a cross-sectional image in which the range in the depth direction is changed according to the depth of the embedded object can be superimposed and displayed on the captured image, the user can intuitively The depth of the buried object can be understood in a shorter time than conventional.
In FIG. 5, which is an example of a composite image generated by the image composition device 1 according to the first embodiment, the cross-sectional view is superimposed and displayed near the pipe line, so that the user intuitively has a shorter time than before. You can understand the depth of the pipe.

なお、上記実施の形態においては、画像合成装置１として撮影装置２０及び表示装置３０を含まない構成を例に説明したが、上記構成に限定されず、例えば撮影装置２０および表示装置３０の少なくともいずれかを含む画像合成装置を構成してもよい。
撮影装置２０を含む場合、例えば撮影装置２０が撮影画像取得部２の機能を含むといった構成が可能である。
表示装置３０を含む場合、例えば表示装置３０が合成画像出力部１４の機能を含むといった構成が可能である。以下の各実施の形態においても同様である。 In the embodiment described above, the image synthesizing apparatus 1 is described as an example of a configuration that does not include the imaging device 20 and the display device 30. You may comprise the image composition apparatus containing these.
When including the imaging device 20, for example, a configuration in which the imaging device 20 includes the function of the captured image acquisition unit 2 is possible.
When the display device 30 is included, for example, a configuration in which the display device 30 includes the function of the composite image output unit 14 is possible. The same applies to the following embodiments.

実施の形態２．
＊＊＊機能構成の説明＊＊＊
図２は、実施の形態２に係る画像合成装置１の機能構成例を示す。
図２を用いて、本実施の形態に係る画像合成装置の機能構成を説明する。 Embodiment 2. FIG.
*** Explanation of functional configuration ***
FIG. 2 shows a functional configuration example of the image composition device 1 according to the second embodiment.
A functional configuration of the image composition apparatus according to the present embodiment will be described with reference to FIG.

図２では、図１と比較して、閾値保存部９と閾値取得部１０が追加されている。
また、本実施の形態では、グラフィック画像生成部５と深度判定部８の動作が実施の形態１と異なっている。
図２に示す他の要素は、図１に示したものと同じであるため、説明を省略する。 In FIG. 2, a threshold storage unit 9 and a threshold acquisition unit 10 are added as compared to FIG.
In the present embodiment, the operations of the graphic image generation unit 5 and the depth determination unit 8 are different from those in the first embodiment.
The other elements shown in FIG. 2 are the same as those shown in FIG.

閾値取得部１０は、ユーザから閾値を取得する。
閾値保存部９は、閾値取得部１０がユーザから取得した閾値を記憶する。
そして、閾値保存部９は、記憶している閾値を深度判定部８に出力する。 The threshold acquisition unit 10 acquires a threshold from the user.
The threshold storage unit 9 stores the threshold acquired by the threshold acquisition unit 10 from the user.
Then, the threshold storage unit 9 outputs the stored threshold value to the depth determination unit 8.

本実施の形態では、深度判定部８は、埋設物の深度と閾値保存部９に保存されている閾値とを比較し、埋設物の深度が閾値よりも大きい（深い）場合は、グラフィック画像生成部５に埋設物の三次元グラフィック画像のサイズを小さくするよう指示する。 In the present embodiment, the depth determination unit 8 compares the depth of the embedded object with the threshold value stored in the threshold value storage unit 9, and generates a graphic image if the depth of the embedded object is greater (deeper) than the threshold value. The unit 5 is instructed to reduce the size of the three-dimensional graphic image of the embedded object.

グラフィック画像生成部５は、深度判定部８から指示があった場合は、埋設物の三次元グラフィック画像のサイズを小さくする。
グラフィック画像生成部５は、埋設物の三次元グラフィック画像を複数のサイズで生成することができ、深度判定部８により判定された深さに応じて、生成する三次元グラフィック画像のサイズを調整する。
グラフィック画像生成部５は、例えば、図５に示す埋設管の三次元グラフィック画像のサイズを調整する。 When receiving an instruction from the depth determination unit 8, the graphic image generation unit 5 reduces the size of the three-dimensional graphic image of the embedded object.
The graphic image generation unit 5 can generate a three-dimensional graphic image of the embedded object in a plurality of sizes, and adjusts the size of the generated three-dimensional graphic image according to the depth determined by the depth determination unit 8. .
The graphic image generation unit 5 adjusts the size of the three-dimensional graphic image of the embedded pipe shown in FIG.

＊＊＊動作の説明＊＊＊
次に、実施の形態１との差異を中心にして、本実施の形態に係る画像合成装置１の動作を説明する。
なお、以下で説明していない事項は、実施の形態１と同じである。 *** Explanation of operation ***
Next, the operation of the image composition device 1 according to the present embodiment will be described with a focus on differences from the first embodiment.
Note that items not described below are the same as those in the first embodiment.

撮影画像取得部２、計測部３及び記憶部４の動作は実施の形態１と同じであるため、説明を省略する。 Since the operations of the captured image acquisition unit 2, the measurement unit 3, and the storage unit 4 are the same as those in the first embodiment, description thereof is omitted.

深度判定部８は、閾値保存部９の閾値と埋設物の深度とを比較し、埋設物の深度が閾値よりも大きい場合は、グラフィック画像生成部５に埋設物の三次元グラフィック画像のサイズを既定サイズよりも小さくするよう指示する。
一方、埋設物の深度が閾値以下である場合は、深度判定部８はグラフィック画像生成部５に指示を行わない。 The depth determination unit 8 compares the threshold value of the threshold storage unit 9 with the depth of the embedded object. If the depth of the embedded object is larger than the threshold value, the graphic image generating unit 5 sets the size of the three-dimensional graphic image of the embedded object. Instruct to make it smaller than the default size.
On the other hand, when the depth of the embedded object is equal to or less than the threshold value, the depth determination unit 8 does not instruct the graphic image generation unit 5.

グラフィック画像生成部５は、深度判定部８から指示があった場合は、埋設物の三次元グラフィック画像のサイズを既定サイズよりも小さくする。
埋設物の三次元グラフィック画像の生成方法は、実施の形態１と同じである。 When receiving an instruction from the depth determination unit 8, the graphic image generation unit 5 makes the size of the three-dimensional graphic image of the embedded object smaller than the predetermined size.
The method for generating the three-dimensional graphic image of the embedded object is the same as that in the first embodiment.

断面画像付加部１３は、実施の形態１と同様に三次元グラフィック画像に三次元内部断面画像を付加する。
このとき、グラフィック画像生成部５から出力された三次元グラフィック画像のサイズが既定サイズより小さい場合は、グラフィック画像生成部５から出力された三次元グラフィック画像のサイズに合わせて三次元内部断面画像のサイズも小さくする。 The cross-sectional image adding unit 13 adds a three-dimensional internal cross-sectional image to the three-dimensional graphic image as in the first embodiment.
At this time, if the size of the three-dimensional graphic image output from the graphic image generation unit 5 is smaller than the predetermined size, the three-dimensional internal cross-sectional image is matched with the size of the three-dimensional graphic image output from the graphic image generation unit 5. Reduce the size.

合成画像生成部６及び合成画像出力部１４の動作は実施の形態１と同じである。
つまり、合成画像生成部６は、撮影画像に三次元グラフィック画像と三次元内部断面画像を重畳して合成画像を生成し、合成画像出力部１４が合成画像を表示装置３０に表示させる。 The operations of the composite image generation unit 6 and the composite image output unit 14 are the same as those in the first embodiment.
That is, the composite image generation unit 6 generates a composite image by superimposing the 3D graphic image and the 3D internal cross-sectional image on the captured image, and the composite image output unit 14 causes the display device 30 to display the composite image.

また、閾値保存部９に２以上の閾値を設定してもよい。
例えば、グラフィック画像生成部５がサイズ１、サイズ２、サイズ３という３段階（サイズ１のサイズが最も大きく、サイズ３のサイズが最も小さい）で三次元グラフィック画像のサイズを調整できるのであれば、閾値保存部９に閾値１と閾値２（閾値２の方が深度が大きい）を設定する。
そして、深度判定部８は、埋設物の深度が閾値１よりも小さい（浅い）場合は、グラフィック画像生成部５にサイズ１で三次元グラフィック画像を生成するよう指示する。
また、深度判定部８は、埋設物の深度が閾値１と閾値２の間である場合は、グラフィック画像生成部５にサイズ２で三次元グラフィック画像を生成するよう指示する。
また、深度判定部８は、埋設物の深度が閾値２よりも大きい（深い）場合は、グラフィック画像生成部５にサイズ３で三次元グラフィック画像を生成するよう指示する。
このように、多段階の閾値を設け、深度に応じてグラフィック画像のサイズを多段階で調整するようにしてもよい。 Further, two or more thresholds may be set in the threshold storage unit 9.
For example, if the graphic image generation unit 5 can adjust the size of the three-dimensional graphic image in three stages of size 1, size 2, and size 3 (size 1 is the largest and size 3 is the smallest), Threshold value 1 and threshold value 2 (threshold value 2 has a greater depth) are set in threshold value storage unit 9.
Then, when the depth of the embedded object is smaller (shallow) than the threshold value 1, the depth determination unit 8 instructs the graphic image generation unit 5 to generate a three-dimensional graphic image with size 1.
Further, when the depth of the embedded object is between the threshold value 1 and the threshold value 2, the depth determination unit 8 instructs the graphic image generation unit 5 to generate a three-dimensional graphic image with size 2.
The depth determination unit 8 instructs the graphic image generation unit 5 to generate a three-dimensional graphic image of size 3 when the depth of the embedded object is larger (deeper) than the threshold value 2.
As described above, a multi-stage threshold value may be provided, and the size of the graphic image may be adjusted in multi-stages according to the depth.

＊＊＊実施の形態の効果の説明＊＊＊
以上のように、実施の形態２では、埋設物の深度が大きいほど三次元グラフィック画像のサイズを小さくし、深度が小さいほど三次元グラフィック画像のサイズを大きくして、三次元グラフィック画像を画像重畳して出力することができるので、ユーザが直感的に、従来よりも短時間で埋設物の深さを理解することができる。 *** Explanation of the effect of the embodiment ***
As described above, in Embodiment 2, the size of the 3D graphic image is reduced as the depth of the embedded object is increased, and the size of the 3D graphic image is increased as the depth is reduced, so that the 3D graphic image is superimposed on the image. Therefore, the user can intuitively understand the depth of the embedded object in a shorter time than before.

実施の形態３．
＊＊＊構成の説明＊＊＊
図３は、実施の形態３に係る画像合成装置１の機能構成例を示す。
図３を用いて、本実施の形態に係る画像合成装置の機能構成を説明する。 Embodiment 3 FIG.
*** Explanation of configuration ***
FIG. 3 shows a functional configuration example of the image composition device 1 according to the third embodiment.
The functional configuration of the image composition device according to the present embodiment will be described with reference to FIG.

図３では、図２と比較して、色値調整部１１が追加されている。
また、本実施の形態では、深度判定部８の動作が実施の形態２と異なっている。
図３に示す他の要素は、図２に示したものと同じであるため、説明を省略する。 In FIG. 3, a color value adjustment unit 11 is added as compared to FIG.
In the present embodiment, the operation of the depth determination unit 8 is different from that of the second embodiment.
The other elements shown in FIG. 3 are the same as those shown in FIG.

本実施の形態では、深度判定部８は、埋設物の深度と閾値保存部９に保存されている閾値とを比較し、比較結果に基づいて、色値調整部１１に三次元グラフィック画像の色値を指示する。 In the present embodiment, the depth determination unit 8 compares the depth of the embedded object with the threshold stored in the threshold storage unit 9, and based on the comparison result, the color value adjustment unit 11 determines the color of the three-dimensional graphic image. Indicate the value.

色値調整部１１は、深度判定部８により判定された深さに応じて、三次元グラフィック画像における埋設物の色値を調整する。
具体的には、三次元グラフィック画像における埋設物の色値を深度判定部８から指示された色値にする。
色値調整部１１は、例えば、図５に示す埋設管の色値を調整する。 The color value adjustment unit 11 adjusts the color value of the embedded object in the three-dimensional graphic image according to the depth determined by the depth determination unit 8.
Specifically, the color value of the embedded object in the three-dimensional graphic image is set to the color value instructed from the depth determination unit 8.
For example, the color value adjusting unit 11 adjusts the color value of the buried pipe shown in FIG.

＊＊＊動作の説明＊＊＊
次に、実施の形態２との差異を中心にして、本実施の形態に係る画像合成装置１の動作を説明する。
以下で説明していない事項は、実施の形態１、２と同じである。
なお、以下では、色値調整部１１は、三次元グラフィック画像の色値を、「明るい色」と「暗い色」という２色で調整するものとする。 *** Explanation of operation ***
Next, the operation of the image composition device 1 according to the present embodiment will be described with a focus on differences from the second embodiment.
Matters not described below are the same as those in the first and second embodiments.
In the following, it is assumed that the color value adjustment unit 11 adjusts the color value of the three-dimensional graphic image with two colors, “bright color” and “dark color”.

図３の撮影画像取得部２、計測部３、記憶部４、グラフィック画像生成部５、閾値取得部１０、閾値保存部９、合成画像生成部６の動作は図２と同じであるため、説明を省略する。 The operations of the captured image acquisition unit 2, the measurement unit 3, the storage unit 4, the graphic image generation unit 5, the threshold acquisition unit 10, the threshold storage unit 9, and the composite image generation unit 6 in FIG. 3 are the same as those in FIG. Is omitted.

深度判定部８は、閾値保存部９の閾値と埋設物の深度とを比較する。
そして、深度判定部８は、例えば埋設物の深度が閾値よりも大きければ三次元グラフィック画像の色を「明るい色」にするよう色値調整部１１に指示し、深度が閾値以下であれば、三次元グラフィック画像の色を「暗い色」にするよう色値調整部１１に指示する。
色値調整部１１は、深度判定部８からの指示に従って、三次元グラフィック画像の色値を調整し、色値が調整された三次元グラフィック画像を断面画像付加部１３に出力する。
断面画像付加部１３は、色値調整部１１により色値が調整された後の三次元グラフィック画像の周囲に三次元内部断面画像を付加する。 The depth determination unit 8 compares the threshold value of the threshold storage unit 9 with the depth of the embedded object.
Then, for example, the depth determination unit 8 instructs the color value adjustment unit 11 to set the color of the three-dimensional graphic image to “bright color” if the depth of the embedded object is larger than the threshold, and if the depth is equal to or less than the threshold, The color value adjusting unit 11 is instructed to set the color of the three-dimensional graphic image to “dark color”.
The color value adjustment unit 11 adjusts the color value of the three-dimensional graphic image in accordance with an instruction from the depth determination unit 8 and outputs the three-dimensional graphic image with the adjusted color value to the cross-sectional image addition unit 13.
The cross-sectional image adding unit 13 adds a three-dimensional internal cross-sectional image around the three-dimensional graphic image after the color value is adjusted by the color value adjusting unit 11.

なお、本実施の形態でも、実施の形態２の三次元グラフィック画像のサイズと同様に、色値を多段階で調整するようにしてもよい。 Note that in this embodiment as well, the color value may be adjusted in multiple steps, similar to the size of the three-dimensional graphic image in the second embodiment.

＊＊＊実施の形態の効果の説明＊＊＊
以上のように、実施の形態３では、埋設物の深度が大きいほど三次元グラフィック画像の色に明るい色を採用し、深度が小さいほど三次元グラフィック画像の色に暗い色を採用する等して、三次元グラフィック画像を画像重畳して出力することができるので、ユーザが直感的に、従来よりも短時間で管路の深さを理解することができる。 *** Explanation of the effect of the embodiment ***
As described above, in Embodiment 3, a bright color is adopted as the color of the three-dimensional graphic image as the depth of the embedded object is large, and a dark color is adopted as the color of the three-dimensional graphic image as the depth is small. Since the three-dimensional graphic image can be superimposed and output, the user can intuitively understand the depth of the pipe line in a shorter time than conventional.

実施の形態４．
＊＊＊構成の説明＊＊＊
図４は、実施の形態４に係る画像合成装置１の機能構成例を示す。
図４を用いて、本実施の形態に係る画像合成装置の機能構成を説明する。 Embodiment 4 FIG.
*** Explanation of configuration ***
FIG. 4 shows a functional configuration example of the image composition device 1 according to the fourth embodiment.
A functional configuration of the image composition device according to the present embodiment will be described with reference to FIG.

図４では、図３に示した色値調整部１１の代わりに透明度調整部１２が設けられている。
また、本実施の形態では、深度判定部８の動作が実施の形態３と異なっている。
図４に示す他の要素は、図３に示したものと同じであるため、説明を省略する。 In FIG. 4, a transparency adjusting unit 12 is provided instead of the color value adjusting unit 11 shown in FIG.
In the present embodiment, the operation of the depth determination unit 8 is different from that of the third embodiment.
The other elements shown in FIG. 4 are the same as those shown in FIG.

本実施の形態では、深度判定部８は、埋設物の深度と閾値保存部９に保存されている閾値とを比較し、比較結果に基づいて、透明度調整部１２に三次元グラフィック画像の透明度を指示する。 In the present embodiment, the depth determination unit 8 compares the depth of the embedded object with the threshold value stored in the threshold value storage unit 9, and determines the transparency of the three-dimensional graphic image in the transparency adjustment unit 12 based on the comparison result. Instruct.

透明度調整部１２は、深度判定部８により判定された深さに応じて、三次元グラフィック画像における埋設物の透明度を調整する。
具体的には、三次元グラフィック画像における埋設物の透明度を深度判定部８から指示された透明度にする。
透明度調整部１２は、例えば、図５に示す埋設管の透明度を調整する。 The transparency adjusting unit 12 adjusts the transparency of the embedded object in the three-dimensional graphic image according to the depth determined by the depth determining unit 8.
Specifically, the transparency of the embedded object in the three-dimensional graphic image is set to the transparency instructed from the depth determination unit 8.
For example, the transparency adjusting unit 12 adjusts the transparency of the buried pipe shown in FIG.

＊＊＊動作の説明＊＊＊
次に、実施の形態３との差異を中心にして、本実施の形態に係る画像合成装置１の動作を説明する。
以下で説明していない事項は、実施の形態１〜３と同じである。
なお、以下では、透明度調整部１２は、三次元グラフィック画像の透明度を、「高透明度」と「低透明度」の２つで調整するものとする。 *** Explanation of operation ***
Next, the operation of the image composition device 1 according to the present embodiment will be described with a focus on differences from the third embodiment.
Matters not described below are the same as those in the first to third embodiments.
In the following, it is assumed that the transparency adjusting unit 12 adjusts the transparency of the three-dimensional graphic image with two of “high transparency” and “low transparency”.

図４の撮影画像取得部２、計測部３、記憶部４、グラフィック画像生成部５、閾値取得部１０、閾値保存部９、合成画像生成部６の動作は図２と同じであるため、説明を省略する。 The operations of the captured image acquisition unit 2, the measurement unit 3, the storage unit 4, the graphic image generation unit 5, the threshold acquisition unit 10, the threshold storage unit 9, and the composite image generation unit 6 in FIG. 4 are the same as those in FIG. Is omitted.

深度判定部８は、閾値保存部９の閾値と埋設物の深度とを比較する。
そして、深度判定部８は、例えば埋設物の深度が閾値よりも大きければ三次元グラフィック画像の透明度を「高透明度」とするよう透明度調整部１２に指示し、深度が閾値以下であれば、三次元グラフィック画像の色の透明度を「低透明度」とするよう透明度調整部１２に指示する。
透明度調整部１２は、深度判定部８からの指示に従って、三次元グラフィック画像の透明度を調整し、透明度が調整された三次元グラフィック画像を断面画像付加部１３に出力する。
断面画像付加部１３は、透明度調整部１２により透明度が調整された後の三次元グラフィック画像の周囲に三次元内部断面画像を付加する。 The depth determination unit 8 compares the threshold value of the threshold storage unit 9 with the depth of the embedded object.
Then, for example, the depth determination unit 8 instructs the transparency adjustment unit 12 to set the transparency of the three-dimensional graphic image to “high transparency” if the depth of the embedded object is greater than the threshold, and if the depth is equal to or less than the threshold, the tertiary The transparency adjustment unit 12 is instructed to set the transparency of the color of the original graphic image to “low transparency”.
The transparency adjusting unit 12 adjusts the transparency of the three-dimensional graphic image in accordance with the instruction from the depth determining unit 8 and outputs the three-dimensional graphic image with the adjusted transparency to the cross-sectional image adding unit 13.
The cross-sectional image adding unit 13 adds a three-dimensional internal cross-sectional image around the three-dimensional graphic image after the transparency is adjusted by the transparency adjusting unit 12.

なお、本実施の形態でも、実施の形態２の三次元グラフィック画像のサイズと同様に、透明度を多段階で調整するようにしてもよい。 In the present embodiment, the transparency may be adjusted in multiple steps, similar to the size of the three-dimensional graphic image in the second embodiment.

＊＊＊実施の形態の効果の説明＊＊＊
以上のように、実施の形態４では、埋設物の深度が大きいほど三次元グラフィック画像の色の透明度を増やし、深度が小さいほど三次元グラフィック画像の色の透明度を下げて、三次元グラフィック画像を画像重畳して出力することができるので、ユーザが直感的に、短時間で管路の深さを理解できる。 *** Explanation of the effect of the embodiment ***
As described above, in Embodiment 4, the transparency of the color of the 3D graphic image is increased as the depth of the embedded object is increased, and the transparency of the color of the 3D graphic image is decreased as the depth of the embedded object is decreased. Since the image can be superimposed and output, the user can intuitively understand the depth of the pipeline in a short time.

＊＊＊その他＊＊＊
なお、実施の形態１〜４では、不可視物が地中の埋設物である例を説明した。
不可視物は、物体の内部に存在し、物体の外部からは目視できない物であれば、地中の埋設物に限定されない。
不可視物には、地中ではなく、例えば壁中や天井裏等に存在し、外部から視認できない物も含まれる。
不可視物は、管路のみならず、電線や通信ケーブル等でもよい。
なお、不可視物が地中ではなく例えば壁中にある場合は、不可視物の存在位置の深さは、壁の表面から不可視物までの距離である。 *** Others ***
In Embodiments 1 to 4, an example in which the invisible object is an underground object has been described.
The invisible object is not limited to an underground object as long as it is present inside the object and is not visible from the outside of the object.
Invisible objects include objects that are not visible in the ground but are present in, for example, walls and behind the ceiling and cannot be seen from the outside.
The invisible object may be an electric wire or a communication cable as well as a pipeline.
When the invisible object is not in the ground, for example, in the wall, the depth of the position where the invisible object exists is the distance from the wall surface to the invisible object.

以上、本発明の実施の形態について説明したが、これらの実施の形態のうち、２つ以上を組み合わせて実施しても構わない。
あるいは、これらの実施の形態のうち、１つを部分的に実施しても構わない。
あるいは、これらの実施の形態のうち、２つ以上を部分的に組み合わせて実施しても構わない。 As mentioned above, although embodiment of this invention was described, you may implement in combination of 2 or more among these embodiment.
Alternatively, one of these embodiments may be partially implemented.
Alternatively, two or more of these embodiments may be partially combined.

また、上記各実施の形態の図において実線及び矢印でやり取りされる情報等の内容は、装置の内部構成の分割の仕方によってその属性が変わることがある。
また、上記各実施の形態に記載した以外の情報等を含んでいてもよい。 In addition, the attributes of information such as information exchanged with solid lines and arrows in the drawings of the above embodiments may change depending on how the internal configuration of the apparatus is divided.
In addition, information other than those described in the above embodiments may be included.

また、各実施の形態において説明した各種処理は、（１）実質的に等価（または相当する）処理（または動作）に変形して実装する、（２）実質的に等価な複数の処理に分割して実装する、など本発明の課題及び効果の範囲で各種変形が可能である。
さらに、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。 In addition, the various processes described in each embodiment are implemented by (1) being transformed into a substantially equivalent (or equivalent) process (or operation) and (2) being divided into a plurality of substantially equivalent processes. Various modifications can be made within the scope of the problems and effects of the present invention, such as mounting.
Furthermore, the present invention is not limited to these embodiments, and various modifications can be made as necessary.

１画像合成装置、２撮影画像取得部、３計測部、４記憶部、５グラフィック画像生成部、６合成画像生成部、８深度判定部、９閾値保存部、１０閾値取得部、１１色値調整部、１２透明度調整部、１３断面画像付加部、１４合成画像出力部、２０撮影装置、３０表示装置。 DESCRIPTION OF SYMBOLS 1 Image composition apparatus, 2 Captured image acquisition part, 3 Measurement part, 4 Storage part, 5 Graphic image generation part, 6 Composite image generation part, 8 Depth determination part, 9 Threshold storage part, 10 Threshold acquisition part, 11 Color value adjustment Unit, 12 transparency adjusting unit, 13 cross-sectional image adding unit, 14 composite image output unit, 20 photographing device, 30 display device.

Claims

Combining a captured image obtained by photographing an object from the outside with a three-dimensional graphic image representing an invisible object existing inside the object and a three-dimensional internal sectional image representing a section along the invisible object in the object With an image generator,
The three-dimensional graphic image representing the invisible object is synthesized at a position in the captured image corresponding to the position where the invisible object exists,
The three-dimensional internal cross-sectional image is synthesized so that the cross-section is along the invisible object in a state of being separated from the invisible object represented by the three-dimensional graphic image.

The image composition device further includes:
A captured image acquisition unit for acquiring the captured image;
A graphic image generator for generating the three-dimensional graphic image;
A cross-sectional image adding unit that adds the three-dimensional internal cross-sectional image around the three-dimensional graphic image generated by the graphic image generating unit;
The composite image generation unit
The three-dimensional graphic image to which the three-dimensional internal cross-sectional image is added by the cross-sectional image adding unit is arranged at an image position corresponding to the position where the invisible object is present in the captured image acquired by the captured image acquiring unit. The image composition device according to claim 1, wherein the composite image is generated.

The image composition device further includes:
A depth determination unit that determines the depth of the presence position of the invisible object from the outer surface of the object;
The composite image generation unit
The image synthesizing apparatus according to claim 2, wherein the three-dimensional graphic image and the three-dimensional internal cross-sectional image are arranged at an image position of the captured image corresponding to the depth determined by the depth determination unit.

The cross-sectional image adding unit is
The image composition device according to claim 3, wherein a range in a depth direction of the three-dimensional internal cross-sectional image added to the three-dimensional graphic image is adjusted according to the depth determined by the depth determination unit.

The graphic image generator is
The image composition device according to claim 3, wherein a size of the three-dimensional graphic image to be generated is adjusted according to the depth determined by the depth determination unit.

The image composition device further includes:
According to the depth determined by the depth determination unit, a color value adjustment unit that adjusts the color value of the invisible object in the three-dimensional graphic image generated by the graphic image generation unit,
The cross-sectional image adding unit is
The image synthesizing apparatus according to claim 3, wherein the three-dimensional internal cross-sectional image is added around the three-dimensional graphic image after the color value is adjusted by the color value adjusting unit.

The image composition device further includes:
According to the depth determined by the depth determination unit, a transparency adjustment unit that adjusts the transparency in the three-dimensional graphic image generated by the graphic image generation unit,
The cross-sectional image adding unit is
The image synthesizing device according to claim 3, wherein the three-dimensional internal cross-sectional image is added around the three-dimensional graphic image after the transparency is adjusted by the transparency adjusting unit.

The depth determination unit
The image according to claim 3, wherein the three-dimensional position information of the invisible object is acquired, and the depth from the outer surface of the position where the invisible object exists is determined from the acquired three-dimensional position information of the invisible object. Synthesizer.

The captured image acquisition unit
Acquiring the captured image from the imaging device;
The image composition device further includes:
Having a measuring unit for measuring the position and orientation of the photographing device;
The graphic image generator is
The image synthesizing apparatus according to claim 2, wherein the three-dimensional graphic image is generated by analyzing the position and orientation of the photographing apparatus at the time of photographing the photographed image measured by the measurement unit.

The graphic image generator is
As the three-dimensional graphic image, a rod-shaped three-dimensional graphic image is generated,
The cross-sectional image adding unit is
The said 3D internal cross-sectional image by which the state which the inside of the said object was hollowed out along the extending direction of the said rod-shaped body is drawn is added to the circumference | surroundings of the 3D graphic image of the said rod-shaped body. Image composition device.

A computer, for a captured image obtained by photographing an object from the outside, a three-dimensional graphic image representing an invisible object existing inside the object, and a three-dimensional internal sectional image representing a section along the invisible object in the object A composite image generation step for combining,
In the composite image generation step,
A three-dimensional graphic image representing the invisible object is synthesized at a position in the captured image corresponding to the position where the invisible object exists,
The image synthesis method, wherein the three-dimensional internal cross-sectional image is synthesized so as to follow the invisible object in a state where the cross-section is separated from the invisible object represented by the three-dimensional graphic image.

Combining a captured image obtained by photographing an object from the outside with a three-dimensional graphic image representing an invisible object existing inside the object and a three-dimensional internal sectional image representing a section along the invisible object in the object An image composition program for causing a computer to execute an image generation step,
In the composite image generation step,
A three-dimensional graphic image representing the invisible object is synthesized at a position in the captured image corresponding to the position where the invisible object exists,
An image composition program, wherein the three-dimensional internal cross-sectional image is synthesized so as to follow the invisible object in a state where the cross-section is separated from the invisible object represented by the three-dimensional graphic image.