JP5915996B2 - Composite image display system and method - Google Patents
Composite image display system and method Download PDFInfo
- Publication number
- JP5915996B2 JP5915996B2 JP2012138747A JP2012138747A JP5915996B2 JP 5915996 B2 JP5915996 B2 JP 5915996B2 JP 2012138747 A JP2012138747 A JP 2012138747A JP 2012138747 A JP2012138747 A JP 2012138747A JP 5915996 B2 JP5915996 B2 JP 5915996B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- display
- captured
- imaging terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を用いたＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データと現実画像とを合成して表示する合成画像表示システム及びその方法に関する。 The present invention relates to a composite image display system and method for combining and displaying BIM (Building Information Modeling) data using AR (Augmented Reality) technology and a real image.
建築物及びその外構をＣＧ画像により静止画又は動画として表示し、実際に前記建築物の内部又は外部を歩き回って観察しているのと同様のウォークスルーを行う画像表示技術がある（例えば、特許文献１参照）。
現在、上述したＣＧ画像データを拡張したＢＩＭデータを用い、施工中の現場の完成後の状態を確認する処理が行われている。この際、ユーザが端末内で自身のいる位置を入力し、施工中の現場の画像に対して、ＢＩＭデータの画像とを重ね合わせて表示端末に表示させることが行われている。
There is an image display technique for displaying a building and its exterior as a still image or a moving image by a CG image, and performing a walk-through similar to actually walking around and observing inside or outside the building (for example, Patent Document 1).
Currently, processing for confirming the state after completion of the construction site under construction is performed using BIM data obtained by extending the above-described CG image data. At this time, the user inputs the position where the user is present in the terminal, and the image of the site under construction is superimposed on the image of the BIM data and displayed on the display terminal.
上述したＡＲ技術は、撮像装置で撮像した現実の画像である撮像画像と、ＢＩＭデータにおけるＣＧ画像（以下、仮想画像）とを合成して表示する技術である。
しかしながら、ＡＲマーカなど、仮想画像を重ねる場所に配置し、コンピュータを用いた画像処理システムに、ＡＲマーカの位置を認識させた後、撮像画像に対して仮想画像を合成して表示するため、予めＡＲマーカを配置する手間がかかっていた。
また、ＡＲマーカに重ねた場合、仮想画像と撮像画像との大きさが合わず、仮想画像と撮像画像との重なり誤差が大きく、ずれが合成されることにより、完成後の竣工イメージを正確に観察することができない。
The AR technique described above is a technique for combining and displaying a captured image, which is an actual image captured by an imaging device, and a CG image (hereinafter referred to as a virtual image) in BIM data.
However, since the virtual image is placed in a place where the virtual image is superimposed, such as an AR marker, and the image processing system using a computer recognizes the position of the AR marker, the virtual image is synthesized with the captured image and displayed. It took time and effort to place the AR marker.
In addition, when superimposed on the AR marker, the size of the virtual image and the captured image does not match, the overlap error between the virtual image and the captured image is large, and the deviation is synthesized, so that the completed image after completion is accurately I can't observe.
本発明は、このような事情に鑑みてなされたもので、施工中の建物内において、携帯撮像端末においてＡＲマーカを用いることなく、撮像画像と仮想画像とを合成し、正確な竣工イメージを表示する合成画像表示システム及びその方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and in a building under construction, a captured image and a virtual image are synthesized and an accurate completed image is displayed without using an AR marker in a portable imaging terminal. An object of the present invention is to provide a composite image display system and method thereof.
本発明の合成画像表示システムは、携帯撮像端末とデータサーバとから構成される合成画像表示システムであり、前記データサーバには、施工中の建物の３次元のコンピュータグラフィック画像が予め書き込まれて記憶されており、前記携帯撮像端末が、前記建物内の画像を撮像し、撮像画像として出力する撮像部と、前記撮像画像を表示する表示部と、前記撮像画像と、前記コンピュータグラフィック画像における前記撮像画像を撮像した位置及び撮像方向に対応して撮像した仮想画像とにおいて、同一の特徴点の座標位置を比較する位置制御部と、前記特徴点の座標位置の比較結果により、前記特徴点の座標位置が重なり合う座標変換を行うことにより、前記撮像画像に対して前記仮想画像を重ね合わせて前記表示部に表示する画像処理部とを備え、前記位置制御部が、前記建物内の前記携帯撮像端末の撮像位置及び撮像方向を、前記コンピュータグラフィック画像の３次元空間の座標に対応させる際の補正に際し、前記仮想画像の前記特徴点からなる三角形と、前記撮像画像の同一の特徴点からなる三角形との双方の法線ベクトルの角度のずれと、双方の重心座標値との距離とを求め、予め設定された前記角度のずれと前記距離とに対応して位置及びベクトルを補正することで、前記携帯撮像端末の撮像位置及び撮像方向を、前記コンピュータグラフィック画像の３次元空間の座標に合わせる補正を行うことを特徴とする。
本発明の合成画像表示方法は、携帯撮像端末の撮像した画像と、データサーバに記憶されたコンピュータグラフィック画像とを合成する合成画像表示方法であり、前記データサーバには、施工中の建物の３次元のコンピュータグラフィック画像が予め書き込まれて記憶されており、前記携帯撮像端末が、前記建物内の画像を撮像し、撮像画像として出力する撮像過程と、前記撮像画像を表示部に表示する表示過程と、前記撮像画像と、前記コンピュータグラフィック画像における前記撮像画像を撮像した位置及び撮像方向に対応して撮像した仮想画像とにおいて、同一の特徴点の座標位置を比較する位置制御過程と、前記特徴点の座標位置の比較結果により、前記特徴点の座標位置が重なり合う座標変換を行うことにより、前記撮像画像に対して前記仮想画像を重ね合わせて前記表示部に表示する画像処理過程とを含み、前記位置制御過程において、前記建物内の前記携帯撮像端末の撮像位置及び撮像方向を、前記コンピュータグラフィック画像の３次元空間の座標に対応させる際の補正に際し、前記仮想画像の前記特徴点からなる三角形と、前記撮像画像の同一の特徴点からなる三角形との双方の法線ベクトルの角度のずれと、双方の重心座標値との距離とを求め、予め設定された前記角度のずれと前記距離とに対応して位置及びベクトルを補正することで、前記携帯撮像端末の撮像位置及び撮像方向を、前記コンピュータグラフィック画像の３次元空間の座標に合わせる補正を行うことを特徴とする。
The composite image display system of the present invention is a composite image display system composed of a portable imaging terminal and a data server, and a three-dimensional computer graphic image of a building under construction is previously written and stored in the data server. The portable imaging terminal captures an image in the building and outputs the captured image as a captured image, a display unit that displays the captured image, the captured image, and the imaging in the computer graphic image The position control unit that compares the coordinate positions of the same feature points and the coordinate of the feature points based on the comparison result of the coordinate positions of the feature points in the virtual image captured corresponding to the position and the imaging direction of the image. Image processing for superimposing the virtual image on the captured image and displaying it on the display unit by performing coordinate conversion with overlapping positions And the position control unit corrects the imaging position and imaging direction of the portable imaging terminal in the building to correspond to the coordinates of the three-dimensional space of the computer graphic image, and the feature of the virtual image The angle deviation between the normal vectors of the triangle composed of the points and the triangle composed of the same feature point of the captured image and the distance between the centroid coordinate values of both are obtained, and the angle deviation set in advance is determined. By correcting the position and vector corresponding to the distance and the distance, correction is performed to match the imaging position and imaging direction of the portable imaging terminal with the coordinates of the three-dimensional space of the computer graphic image .
The composite image display method of the present invention is a composite image display method for compositing an image captured by a portable imaging terminal and a computer graphic image stored in a data server. An image process in which a three-dimensional computer graphic image is written and stored in advance, and the portable imaging terminal captures an image in the building and outputs the image as a captured image, and a display process in which the captured image is displayed on a display unit A position control process for comparing the coordinate positions of the same feature points in the captured image and a virtual image captured in correspondence with a position and an imaging direction of the captured image in the computer graphic image; Based on the comparison result of the coordinate positions of the points, coordinate conversion in which the coordinate positions of the feature points overlap is performed. An image processing process of superimposing the virtual image on the display unit, and in the position control process, an imaging position and an imaging direction of the portable imaging terminal in the building are determined in three dimensions of the computer graphic image. upon correction when made to correspond to the coordinates of the space, and a triangle composed of the feature point of the virtual image, the deviation of the angle of the normal vector of both the triangle of the same feature point of the captured image, both of the center of gravity The distance from the coordinate value is obtained, and the position and vector are corrected in accordance with the preset angle deviation and the distance, so that the imaging position and the imaging direction of the portable imaging terminal can be determined as the computer graphic image. The correction is performed so as to match the coordinates of the three-dimensional space .
本発明の合成画像表示システムは、前記建物内に竣工後に配置される什器や設備配管などをオフジェクト画像とし、当該建物のコンピュータグラフィック画像に付加された画像であることを特徴とする。 The composite image display system according to the present invention is an image added to a computer graphic image of the building, with fixtures and equipment piping arranged after completion in the building as an object image.
この発明によれば、施工中の建物内にて、携帯撮像端末により撮像される画像と、仮想画像（ＢＩＭデータ）とを、ＡＲマーカなどを用いずに簡易な操作により、精度良く重ね合わせることができる。 According to the present invention, in a building under construction, an image captured by a portable imaging terminal and a virtual image (BIM data) are accurately superimposed by a simple operation without using an AR marker or the like. Can do.
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による合成画像表示システムの構成例を示す概略ブロック図である。本実施形態の合成画像表示システムは、携帯撮像端末１とデータセンタ２とを備えている。
携帯撮像端末１は、画像の撮像を行い、この撮像された撮像画像とＢＩＭデータにおけるＣＧ（ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ：コンピュータグラフィック）画像との合成を行い、合成結果を表示する。
また、携帯撮像端末１は、撮像部１１、画像処理部１２、変換行列生成部１３、記憶部１４、送受信部１５、位置制御部１６及び表示部１７が備えられている。
データセンタ２には、データサーバ２１と３次元モデルデータベース２２とが備えられている。ここで、携帯撮像端末１とデータセンタ２にデータサーバ２１とは、インターネットを含む情報通信網Ｉと無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）基地局Ｒとを介して接続され、データの送受信を行う。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a schematic block diagram showing a configuration example of a composite image display system according to an embodiment of the present invention. The composite image display system of this embodiment includes a portable imaging terminal 1 and a data center 2.
The portable imaging terminal 1 captures an image, combines the captured image with a CG (computer graphics) image in BIM data, and displays the combined result.
The portable imaging terminal 1 includes an imaging unit 11, an image processing unit 12, a conversion matrix generation unit 13, a storage unit 14, a transmission / reception unit 15, a position control unit 16, and a display unit 17.
The data center 2 includes a data server 21 and a three-dimensional model database 22. Here, the data server 21 is connected to the portable imaging terminal 1 and the data center 2 via an information communication network I including the Internet and a wireless LAN (Local Area Network) base station R to transmit and receive data.
次に、図２は、データセンタ２における３次元モデルデータベース２２に予め書き込まれて記憶されているＢＩＭデータテーブルの構成例を示す図である。
このＢＩＭデータテーブルは、建物を識別する建物識別情報、各建物における各階を識別するフロア識別情報、各フロアにおける各部屋を識別する識別番号と、部屋毎の２次元画像（天井方向から見た平面画像）及び建物の各部屋の３次元のＣＧ画像の記憶された記憶領域の先頭アドレスを示すインデックスとが対応付けられている。この建物識別情報、フロア識別情報及び部屋識別情報の組合せが、各部屋のＣＧ画像を識別するＣＧ画像識別情報となっている。また、ＣＧ画像は、例えば、実際に竣工される建物内の部屋の寸法で形成されており、竣工後に配置される什器や配管設備などが配置された状態の建物内の様子を示す３次元の仮想空間となっている。
Next, FIG. 2 is a diagram illustrating a configuration example of a BIM data table that is written and stored in advance in the three-dimensional model database 22 in the data center 2.
This BIM data table includes building identification information for identifying a building, floor identification information for identifying each floor in each building, an identification number for identifying each room in each floor, and a two-dimensional image (a plane viewed from the ceiling direction) for each room. Image) and an index indicating the start address of the storage area in which the three-dimensional CG image of each room of the building is stored. A combination of the building identification information, floor identification information, and room identification information is CG image identification information for identifying the CG image of each room. In addition, the CG image is formed, for example, with the dimensions of the room in the building that is actually completed, and is a three-dimensional image that shows the interior of the building in which furniture and piping equipment are arranged after completion. It is a virtual space.
本実施形態においては、オブジェクト画像（オブジェクトの画像、竣工後に配置される什器や設備配管などのＣＧで作成された仮想画像）が配置された室内の３次元の仮想空間の座標系をグローバル座標系としている。また、このグローバル座標系における携帯撮像端末１の位置（座標点）を原点とし、携帯撮像端末１の撮像方向（奥行き方向）をｚ軸とする３次元の座標空間を撮像座標系とする。また、この撮像座標系において、携帯撮像端末１の位置からの視野に入る領域を携帯撮像端末１の表示部１７に表示するために２次元に射影投影した座標系をスクリーン座標系（３次元：撮像座標系からの変換時には奥行きのデータが含まれている）とする。また、表示部１７に表示するため、スクリーン座標系の２次元平面を表示部１７の画面の大きさに合わせるための座標系を表示座標系（２次元）とする。
ここで、グローバル座標系から撮像座標系への変換をビュー変換とし、撮像座標系からスクリーン座標系への変換を射影変換とし、スクリーン座標系から表示座標系への変換をビューポート変換とする。
In the present embodiment, a global coordinate system is used as a coordinate system of a three-dimensional virtual space in a room in which an object image (an image of an object, a virtual image created by CG such as furniture and equipment piping arranged after completion) is arranged. It is said. Further, a three-dimensional coordinate space having the position (coordinate point) of the portable imaging terminal 1 in the global coordinate system as the origin and the imaging direction (depth direction) of the portable imaging terminal 1 as the z axis is defined as the imaging coordinate system. Further, in this imaging coordinate system, a coordinate system projected and projected in two dimensions in order to display an area entering the field of view from the position of the portable imaging terminal 1 on the display unit 17 of the portable imaging terminal 1 is a screen coordinate system (three-dimensional: Depth data is included when converting from the imaging coordinate system). Further, a display coordinate system (two-dimensional) is used as a coordinate system for matching the two-dimensional plane of the screen coordinate system to the screen size of the display unit 17 for display on the display unit 17.
Here, the transformation from the global coordinate system to the imaging coordinate system is referred to as view transformation, the transformation from the imaging coordinate system to the screen coordinate system is referred to as projective transformation, and the transformation from the screen coordinate system to the display coordinate system is referred to as viewport transformation.
図１に戻り、データサーバ２１は、携帯撮像端末１から画像要求信号とともに受信されるＣＧ画像識別情報（建物識別情報、フロア識別情報及び部屋識別情報の組み合わせの識別情報）に対応するインデックスを３次元モデルデータベース２２のＢＩＭデータテーブルから読み出す。
また、データサーバ２１は、ＢＩＭデータテーブルから読み出したインデックスの示す記憶領域に記憶されている平面画像とＣＧ画像とを読み出し、読み出した平面画像とＣＧ画像とを携帯撮像端末１へ送信する。
Returning to FIG. 1, the data server 21 sets an index corresponding to CG image identification information (identification information of a combination of building identification information, floor identification information, and room identification information) received together with the image request signal from the portable imaging terminal 1 to 3. Read from the BIM data table of the dimensional model database 22.
Further, the data server 21 reads the planar image and CG image stored in the storage area indicated by the index read from the BIM data table, and transmits the read planar image and CG image to the portable imaging terminal 1.
送受信部１５は、無線ＬＡＮ等により、無線ＬＡＮ基地局Ｒ及び情報通信網Ｉを介して、データセンタ２におけるデータサーバ２１との間でデータの送受信を行う。
また、送受信部１５は、データサーバ２１より受信した平面画像及びＣＧ画像のデータを、記憶部１４に書き込んで記憶させる。
撮像部１１は、撮像方向の被写体の画像を撮像し、撮像した撮像画像のデータを記憶部１４に書き込んで記憶させる。
The transmission / reception unit 15 transmits / receives data to / from the data server 21 in the data center 2 via the wireless LAN base station R and the information communication network I by wireless LAN or the like.
Further, the transmission / reception unit 15 writes the plane image and CG image data received from the data server 21 in the storage unit 14 and stores them.
The imaging unit 11 captures an image of a subject in the imaging direction, and writes and stores data of the captured image in the storage unit 14.
変換行列生成部１３は、各座標系間における変換行列として、グローバル座標系における携帯撮像端末１の座標位置、携帯撮像端末１の撮像方向に基づいて、ビュー変換行列Ｍb、射影変換行列Ｗp、ビューポート変換行列Ｂs、逆ビュー変換行列Ｍb−１、逆射影変換行列Ｗp−１、逆ビューポート変換行列Ｂs−１を生成する。
ここで、ビュー変換行列Ｍbは、３次元のグローバル座標系のオブジェクトの各々の座標値を、携帯撮像端末１の撮像方向を奥行き方向（ｚ軸方向）とした３次元の撮像座標系の座標値に変換するために用いられる。また、射影変換行列Ｗpは、撮像座標系の視錘台における同次クリップ空間であるスクリーン座標系の座標値に変換する。ビューポート変換行列Ｂsは、射影変換されたスクリーン座標系のクリップ平面（ＸＹ平面）の各座標値を、表示部１７の表示画面の表示座標系における座標値に座標変換するために用いられる。
Based on the coordinate position of the portable imaging terminal 1 in the global coordinate system and the imaging direction of the portable imaging terminal 1, the transformation matrix generation unit 13 uses a view transformation matrix Mb, a projective transformation matrix Wp, a view as a transformation matrix between coordinate systems. A port transformation matrix Bs, an inverse view transformation matrix Mb −1 , an inverse projection transformation matrix Wp −1 , and an inverse viewport transformation matrix Bs −1 are generated.
Here, the view transformation matrix Mb is a coordinate value of a three-dimensional imaging coordinate system in which the coordinate value of each object in the three-dimensional global coordinate system is the depth direction (z-axis direction) of the imaging direction of the portable imaging terminal 1. Used to convert to Further, the projective transformation matrix Wp is converted into coordinate values in the screen coordinate system, which is a homogeneous clip space in the frustum of the imaging coordinate system. The viewport transformation matrix Bs is used for coordinate transformation of each coordinate value of the clip plane (XY plane) of the screen coordinate system subjected to the projective transformation into a coordinate value in the display coordinate system of the display screen of the display unit 17.
位置制御部１６は、変換行列生成部１３の生成した変換行列の各々を用いて、携帯撮像端末１の位置（視点）及びこの携帯撮像端末１の撮像方向（視線方向）を補正する。
画像処理部１２は、オブジェクトの各座標点が表示座標系に変換された画像データを、表示部１７の表示画面に表示する。
表示部１７は、画像の分解能に応じた入力のためのセンサが表面に設けられており、ユーザたタッチペンなどでタップしたポイントの座標値を読み込み、画像処理部１２へ出力する。
The position control unit 16 corrects the position (viewpoint) of the portable imaging terminal 1 and the imaging direction (gaze direction) of the portable imaging terminal 1 using each of the transformation matrices generated by the transformation matrix generation unit 13.
The image processing unit 12 displays the image data obtained by converting each coordinate point of the object into the display coordinate system on the display screen of the display unit 17.
The display unit 17 is provided with a sensor for input according to the resolution of the image, reads the coordinate value of the point tapped by the user's touch pen or the like, and outputs it to the image processing unit 12.
次に、位置制御部１６の行う携帯撮像端末１の位置及び撮像方向の補正処理について説明する。携帯撮像端末１により、これからＢＩＭデータの画像を重ねようとしている方向を撮像する。そして、ユーザは、携帯撮像端末１の表示画面に表示された室内の平面図において、自身の座標位置と、撮像した撮像方向とを、タップして設定する。この時点において、グローバル座標系における暫定的な携帯撮像端末１の位置（Ｖｐ）と、携帯撮像端末１の撮像方向（ベクトルＰ）とが設定される。 Next, the correction processing of the position and imaging direction of the portable imaging terminal 1 performed by the position control unit 16 will be described. The portable imaging terminal 1 captures the direction in which the BIM data image is about to be superimposed. Then, in the indoor plan view displayed on the display screen of the portable imaging terminal 1, the user taps and sets his / her coordinate position and the captured imaging direction. At this time, the provisional position (Vp) of the portable imaging terminal 1 in the global coordinate system and the imaging direction (vector P) of the portable imaging terminal 1 are set.
変換行列生成部１３は、グローバル座標系におけるユーザが設定した自身の座標値と、撮像方向とにより、ビュー変換行列Ｍb及び射影変換行列Ｗpを生成する。
また、変換行列生成部１３は、予め自身内部の内部記憶部に書き込んで記憶されている表示部１７の表示画面のサイズ、すなわち縦（ｈ）×横（ω）のサイズから、ビューポート変換行列Ｂsを求める。
さらに、変換行列生成部１３は、ビュー変換行列Ｍb、射影変換行列Ｗp及びビューポート変換行列Ｂsの各々の逆行列として、それぞれ逆ビュー変換行列Ｍb−１、逆射影変換行列Ｗp−１、逆ビューポート変換行列Ｂs−１を求める。
The transformation matrix generation unit 13 generates a view transformation matrix Mb and a projective transformation matrix Wp based on its own coordinate value set by the user in the global coordinate system and the imaging direction.
Also, the transformation matrix generation unit 13 calculates the viewport transformation matrix from the size of the display screen of the display unit 17 that is written and stored in the internal storage unit in advance, that is, the vertical (h) × horizontal (ω) size. Find Bs.
Furthermore, the transformation matrix generation unit 13 uses an inverse view transformation matrix Mb −1 , an inverse projection transformation matrix Wp −1 , and an inverse view as inverse matrices of the view transformation matrix Mb, the projection transformation matrix Wp, and the viewport transformation matrix Bs, respectively. The port conversion matrix Bs −1 is obtained.
画像処理部１２は、ビュー変換行列Ｍbにより、グローバル座標系の座標値を、撮像座標系の座標値に変換する。
また、画像処理部１２は、射影変換行列Ｗpにより、撮像座標系の座標値を、スクリーン座標系の座標値に変換する。
そして、画像処理部１２は、ビューポート変換行列Ｂsにより、スクリーン座標系の座標値を、表示座標系の座標値に変換する。
表示座標系に変換した後、画像処理部１２は、表示座標系に変換した画像を、表示部１７の表示画面に表示させる。
The image processing unit 12 converts the coordinate value of the global coordinate system into the coordinate value of the imaging coordinate system by the view conversion matrix Mb.
Further, the image processing unit 12 converts the coordinate value of the imaging coordinate system into the coordinate value of the screen coordinate system by the projective transformation matrix Wp.
Then, the image processing unit 12 converts the coordinate value of the screen coordinate system into the coordinate value of the display coordinate system using the viewport conversion matrix Bs.
After the conversion to the display coordinate system, the image processing unit 12 displays the image converted to the display coordinate system on the display screen of the display unit 17.
次に、図３は、位置制御部１６が携帯撮像端末１の位置Ｖpと、携帯撮像端末１の撮像方向Ｐの補正を行う処理を説明する図である。図３（ａ）は、携帯撮像端末１の表示部１７の表示画面において、ユーザが自身のいる位置Ｖpと、撮像方向Ｐとを入力した際の表示画面を示す図である。ここで入力されるのはｚ軸及びｘ軸の２次元座標における座標値が入力され、方向Ｐも２次元のベクトルである。高さ方向は、ユーザが携帯撮像端末１に入力しても良いし、予め内部の記憶部１４に書き込まれて記憶されているユーザの身長を用いても良い。 Next, FIG. 3 is a diagram illustrating a process in which the position control unit 16 corrects the position Vp of the portable imaging terminal 1 and the imaging direction P of the portable imaging terminal 1. FIG. 3A is a diagram illustrating a display screen when the user inputs his / her position Vp and the imaging direction P on the display screen of the display unit 17 of the mobile imaging terminal 1. What is input here is a coordinate value in the two-dimensional coordinates of the z-axis and the x-axis, and the direction P is also a two-dimensional vector. The height direction may be input by the user to the portable imaging terminal 1 or the height of the user written and stored in advance in the internal storage unit 14 may be used.
また、図３（ｂ）は、携帯撮像端末１の撮像方向にある壁１００を示す図である。図３（ｂ）において、壁１００には、扉２００があり、携帯撮像端末１の表示部１７の表示画面に表示されている。扉２００のエッジ部分Ｂ１、Ｂ２及びＢ３の各々が後述するターゲットマークに用いる。扉２００Ａはグローバル座標系にあるＢＩＭデータの画像である。ターゲットマークＡ１、Ａ２、Ａ３の各々は、ぞれぞれターゲットマークＢ１、Ｂ２、Ｂ３と対応している。後述するが、このターゲットマークは、表示部１７の表示画面においてユーザにより、順次表示画面をタップすることにより設定される。 FIG. 3B is a diagram illustrating the wall 100 in the imaging direction of the portable imaging terminal 1. In FIG. 3B, the wall 100 has a door 200 and is displayed on the display screen of the display unit 17 of the portable imaging terminal 1. Each of the edge portions B1, B2, and B3 of the door 200 is used for a target mark described later. The door 200A is an image of BIM data in the global coordinate system. Each of the target marks A1, A2, A3 corresponds to the target marks B1, B2, B3, respectively. As will be described later, the target mark is set by sequentially tapping the display screen by the user on the display screen of the display unit 17.
この扉２００Ｂの撮像画像と、この扉２００ＡのＢＩＭデータのＣＧ画像から座標変換した仮想画像とはずれて表示されている。このずれは、ユーザが図３（ａ）で入力した携帯撮像端末１の位置Ｖpと撮像方向Ｐとが、実際に携帯撮像端末１の存在する位置と撮像方向Ｐとが異なっていることが起因となっている。このため、グローバル座標系における実際の携帯撮像端末１の位置Ｖpと撮像方向Ｐとを求めることが必要となる。
位置制御部１６は、逆ビューポート変換行列Ｂs−１を用いて、撮像画像のターゲットマークＢ１、Ｂ２及びＢ３の表示座標系の座標位置を、スクリーン座標系の座標値に変換する。
The captured image of the door 200B and the virtual image obtained by coordinate conversion from the CG image of the BIM data of the door 200A are displayed. This deviation is due to the fact that the position Vp and the imaging direction P of the portable imaging terminal 1 input by the user in FIG. 3A are different from the position where the portable imaging terminal 1 actually exists and the imaging direction P. It has become. For this reason, it is necessary to obtain the actual position Vp and imaging direction P of the portable imaging terminal 1 in the global coordinate system.
The position control unit 16 converts the coordinate position of the display coordinate system of the target marks B1, B2, and B3 of the captured image into the coordinate value of the screen coordinate system using the inverse viewport conversion matrix Bs- 1 .
また、位置制御部１６は、逆射影変換行列Ｗp−１を用いて、スクリーン座標系におけるターゲットマークＢ１、Ｂ２及びＢ３の座標位置を、撮像座標系における座標値に変換する。ここで、スクリーン座標系における奥行き方向（ｚ軸方向）の座標値として任意の２点を与える。例えば、０及び５などを、２次元平面の表示座標系から３次元空間のスクリーン座標系に変換した際に加える。したがって、位置制御部１６は、撮像座標系において、ターゲットマークＢ１、Ｂ２及びＢ３の各々を、それぞれＢ１＿１及びＢ１＿２、Ｂ２＿１及びＢ２＿２、Ｂ３＿１及びＢ３＿２の２個の組として求めることになる。
また、位置制御部１６は、逆ビュー変換行列Ｍb−１により、撮像座標系における座標値Ｂ１＿１及びＢ１＿２、Ｂ２＿１及びＢ２＿２、Ｂ３＿１及びＢ３＿２を、グローバル座標系における座標値に変換する。
In addition, the position control unit 16 converts the coordinate positions of the target marks B1, B2, and B3 in the screen coordinate system into coordinate values in the imaging coordinate system using the inverse projection transformation matrix Wp- 1 . Here, two arbitrary points are given as coordinate values in the depth direction (z-axis direction) in the screen coordinate system. For example, 0 and 5 are added when the display coordinate system of the two-dimensional plane is converted to the screen coordinate system of the three-dimensional space. Therefore, the position control unit 16 obtains each of the target marks B1, B2, and B3 as two sets of B1_1 and B1_2, B2_1 and B2_2, B3_1, and B3_2, respectively, in the imaging coordinate system.
Further, the position control unit 16 converts the coordinate values B1_1 and B1_2, B2_1 and B2_2, B3_1 and B3_2 in the imaging coordinate system into coordinate values in the global coordinate system by using the inverse view transformation matrix Mb- 1 .
次に、図４は、位置制御部１６が携帯撮像端末１の位置Ｖpと、携帯撮像端末１の撮像方向Ｐの補正を行う処理を説明する図である。
この図において、壁１００Ｄは、グローバル座標系におけるＢＩＭデータのＣＧ画像における什器のオブジェクトとしての扉の３次元画像である。ターゲットマークＡ１’、Ａ２’、Ａ３’の各々は、それぞれ図３（ｂ）におけるターゲットマークＡ１、Ａ２、Ａ３と対応している。
Next, FIG. 4 is a diagram illustrating a process in which the position control unit 16 corrects the position Vp of the portable imaging terminal 1 and the imaging direction P of the portable imaging terminal 1.
In this figure, a wall 100D is a three-dimensional image of a door as a fixture object in a CG image of BIM data in the global coordinate system. Each of the target marks A1 ′, A2 ′, A3 ′ corresponds to the target marks A1, A2, A3 in FIG.
位置制御部１６は、グローバル座標系において、座標値Ｂ１＿１及び座標値Ｂ１＿２を結ぶ直線Ｌ１、座標値Ｂ２＿１及び座標値Ｂ２＿２を結ぶ直線Ｌ２、座標値Ｂ３＿１及び座標値Ｂ３＿２を結ぶ直線Ｌ３の３本の直線を作成する。
次に、位置制御部１６は、直線Ｌ１、Ｌ２及びＬ３の各々の線上において、ターゲットマークＡ１’、Ａ２’、Ａ３’の各々の座標点が成す三角形ＳＡと相似となる三角形ＳＱを形成する座標点Ｑ１、Ｑ２、Ｑ３を求める。この座標点Ｑ１、Ｑ２及びＱ３の各々は、それぞれターゲットマークＡ１’、Ａ２’、Ａ３’と対応している。
In the global coordinate system, the position control unit 16 includes three lines, a straight line L1 connecting the coordinate value B1_1 and the coordinate value B1_2, a straight line L2 connecting the coordinate value B2_1 and the coordinate value B2_2, and a straight line L3 connecting the coordinate value B3_1 and the coordinate value B3_2. Create a straight line.
Next, the position controller 16 coordinates on the straight lines L1, L2, and L3 to form a triangle SQ that is similar to the triangle SA formed by the coordinate points of the target marks A1 ′, A2 ′, and A3 ′. Points Q1, Q2, and Q3 are obtained. Each of the coordinate points Q1, Q2, and Q3 corresponds to the target marks A1 ′, A2 ′, A3 ′, respectively.
そして、位置制御部１６は、三角形ＳＡ及び三角形ＳＱの各々の重心の座標値として、重心座標値ＣＡ及びＣＱを求め、この重心座標値ＣＡ及びＣＱの距離ｄAQを求める。
また、位置制御部１６は、三角形ＳＡの２次元平面の法線ベクトルＰＡと、三角形ＳＱの２次元平面の法線ベクトルＰＱとを求め、法線ベクトルＰＡに対する法線ベクトルＰＱの角度のずれをＸ軸、Ｙ軸及びＺ軸の各々の角度成分毎に、ずれ角Δθx、Δθｙ、Δθｚ求める。
And the position control part 16 calculates | requires the gravity center coordinate value CA and CQ as a coordinate value of each gravity center of triangle SA and triangle SQ, and calculates | requires distance dAQ of this gravity center coordinate value CA and CQ.
Further, the position control unit 16 obtains a normal vector PA of the two-dimensional plane of the triangle SA and a normal vector PQ of the two-dimensional plane of the triangle SQ, and calculates a deviation of the angle of the normal vector PQ with respect to the normal vector PA. The deviation angles Δθx, Δθy, and Δθz are obtained for each angle component of the X axis, the Y axis, and the Z axis.
次に、位置制御部１６は、上記距離ｄAQ及びずれ角Δθx、Δθｙ、Δθｚとにより、予めユーザの入力した携帯撮像端末１の位置（Ｖｐ）と、携帯撮像端末１の撮像方向（ベクトルＰ）との補正の計算を行い、グローバル座標系における携帯撮像端末１の位置Ｖｐと、携帯撮像端末１の撮像方向Ｐとを求める。
ここで行う補正の計算は、例えば、距離ｄAQ及びずれ角Δθx、Δθｙ、Δθｚとに対応し、現在の位置を及びベクトルを補正する補正式などを予め求めておき、暫定的に入力された携帯撮像端末１の位置Ｖｐと、携帯撮像端末１の撮像方向Ｐと、距離ｄAQ及びずれ角Δθx、Δθｙ、Δθｚとを代入して行う。
Next, the position control unit 16 determines the position (Vp) of the portable imaging terminal 1 previously input by the user and the imaging direction (vector P) of the portable imaging terminal 1 based on the distance dAQ and the deviation angles Δθx, Δθy, Δθz. The position Vp of the portable imaging terminal 1 in the global coordinate system and the imaging direction P of the portable imaging terminal 1 are obtained.
The correction calculation performed here corresponds to, for example, the distance dAQ and the deviation angles Δθx, Δθy, Δθz, obtains the current position and a correction formula for correcting the vector in advance, This is performed by substituting the position Vp of the imaging terminal 1, the imaging direction P of the portable imaging terminal 1, the distance dAQ, and the shift angles Δθx, Δθy, and Δθz.
次に、位置制御部１６は、補正した携帯撮像端末１の位置Ｖｐと、携帯撮像端末１の撮像方向Ｐとを、変換行列生成部１３に対し、変換行列の再計算を指示する制御信号とともに送信する。
次に、変換行列生成部１３は、位置制御部１６から送信された携帯撮像端末１の位置Ｖｐと、携帯撮像端末１の撮像方向Ｐとにより、ビュー変換行列Ｍb及び射影変換行列Ｗpを再度作成する。
そして、変換行列生成部１３は、再作成したビュー変換行列Ｍb及び射影変換行列Ｗpを、画像処理部１２に対して出力する。
この後、画像処理部１２は、再作成されたビュー変換行列Ｍb及び射影変換行列Ｗpを用いて、ビュー変換及び射影変換を行う。
Next, the position control unit 16 indicates the corrected position Vp of the portable imaging terminal 1 and the imaging direction P of the portable imaging terminal 1 together with a control signal that instructs the transformation matrix generation unit 13 to recalculate the transformation matrix. Send.
Next, the transformation matrix generation unit 13 again creates the view transformation matrix Mb and the projective transformation matrix Wp based on the position Vp of the portable imaging terminal 1 transmitted from the position control unit 16 and the imaging direction P of the portable imaging terminal 1. To do.
Then, the transformation matrix generation unit 13 outputs the recreated view transformation matrix Mb and projective transformation matrix Wp to the image processing unit 12.
Thereafter, the image processing unit 12 performs view conversion and projective conversion using the re-created view conversion matrix Mb and projective conversion matrix Wp.
次に、図により本実施形態による合成画像表示システムの処理を説明する。図５は、本実施形態による合成画像表示システムの処理の動作例を示すフローチャートである。図６から図１２の各々は、携帯撮像端末１が自身の撮像する撮像画像に対して、ＢＩＭデータのＣＧ画像を表示座標系に座標変換した仮想画像を重ねて、表示部１７の表示面に表示させる操作を説明する図である。この図６から図１２の各々は、携帯撮像端末１の表示部１７の表示画面である。 Next, processing of the composite image display system according to the present embodiment will be described with reference to the drawings. FIG. 5 is a flowchart showing an operation example of processing of the composite image display system according to the present embodiment. In each of FIGS. 6 to 12, a virtual image obtained by coordinate-converting a CG image of BIM data into a display coordinate system is superimposed on a captured image captured by the mobile imaging terminal 1 on the display surface of the display unit 17. It is a figure explaining operation to display. Each of FIGS. 6 to 12 is a display screen of the display unit 17 of the mobile imaging terminal 1.
ステップＳ１：
ユーザが携帯撮像端末１を起動する。
送受信部１５は、データセンタのデータサーバ２１に対して、作業所（竣工前の建物）のデータを送付する制御信号を、データサーバ２１に対して送信する。
そして、データサーバ２１は、携帯撮像端末１から制御信号を受信すると、３次元モデルデータベース２２のＢＩＭデータテーブルから、全ての建物識別情報（例えば、名称など）を読み出す。
Step S1:
The user activates the portable imaging terminal 1.
The transmission / reception unit 15 transmits, to the data server 21, a control signal for sending data of a work place (a building before completion) to the data server 21 of the data center.
And the data server 21 will read all the building identification information (for example, a name etc.) from the BIM data table of the three-dimensional model database 22, if a control signal is received from the portable imaging terminal 1. FIG.
次に、データサーバ２１は、読み出した建物識別情報を携帯撮像端末１へ、応答信号として送信する。
応答信号を受信すると、送受信部１５は、この応答信号から建物識別情報を抽出し、この抽出した建物識別情報を記憶部１４へ書き込んで記憶する。
そして、画像処理部１２は、記憶部１４から建物識別情報を読み出し、例えば携帯撮像端末１の表示部１７の表示画面に図６に示すように表示する。
Next, the data server 21 transmits the read building identification information to the portable imaging terminal 1 as a response signal.
When receiving the response signal, the transmission / reception unit 15 extracts the building identification information from the response signal, and writes the extracted building identification information into the storage unit 14 for storage.
Then, the image processing unit 12 reads out the building identification information from the storage unit 14 and displays it on the display screen of the display unit 17 of the portable imaging terminal 1, for example, as shown in FIG.
次に、ユーザは、図６に示すように、一覧表として表示された作業所（ＡＡＡ作業所、ＢＢＢ作業所及びＣＣＣ作業所）から、自身の現在いるＡＡＡ作業所が表示された表示面１７ＡをユーザＵの指によりタップする。
表示部１７は、いずれの位置がユーザＵの指によりタップされたかを示すタップ情報を画像処理部１２へ出力する。
タップ情報が供給されると、画像処理部１２は、いずれの作業所が選択されたかを、タップ情報の位置情報から検出し、検出した作業所の建物識別情報を送受信部１５へ出力する。
Next, as shown in FIG. 6, the user displays a display screen 17 </ b> A on which the current AAA work place is displayed from the work places (AAA work place, BBB work place, and CCC work place) displayed as a list. Is tapped with the finger of the user U.
The display unit 17 outputs tap information indicating which position is tapped with the finger of the user U to the image processing unit 12.
When the tap information is supplied, the image processing unit 12 detects which work place is selected from the position information of the tap information, and outputs the building identification information of the detected work place to the transmission / reception unit 15.
ステップＳ２：
次に、送受信部１５は、データセンタのデータサーバ２１に対して、この建物識別情報の示す建物の各階のデータを送付する制御信号を、データサーバ２１に対して送信する。
そして、データサーバ２１は、携帯撮像端末１から制御信号を受信すると、３次元モデルデータベース２２のＢＩＭデータテーブルから、受信した建物識別情報に対応する建物の階の情報を読み出す。このとき、データサーバ２１は、この建物識別情報に対応したインデックスにより、この建物識別情報の示す建物の構造の画像データを、３次元モデルデータベース２２から読み出す。
Step S2:
Next, the transmission / reception unit 15 transmits to the data server 21 a control signal for sending data of each floor of the building indicated by the building identification information to the data server 21 of the data center.
When the data server 21 receives the control signal from the portable imaging terminal 1, the data server 21 reads the floor information of the building corresponding to the received building identification information from the BIM data table of the three-dimensional model database 22. At this time, the data server 21 reads out the image data of the structure of the building indicated by the building identification information from the three-dimensional model database 22 by using an index corresponding to the building identification information.
次に、データサーバ２１は、読み出したフロア識別情報（例えば、階数）を携帯撮像端末１へ、建物の構造を示す画像とともに応答信号として送信する。
応答信号を受信すると、送受信部１５は、この応答信号からフロア識別情報を抽出し、この抽出したフロア識別情報を記憶部１４へ書き込んで記憶する。
そして、画像処理部１２は、記憶部１４からフロア識別情報を読み出し、例えば携帯撮像端末１の表示部１７の表示画面に図７に示すように表示する。
Next, the data server 21 transmits the read floor identification information (for example, the number of floors) to the portable imaging terminal 1 as a response signal together with an image showing the structure of the building.
When receiving the response signal, the transmission / reception unit 15 extracts the floor identification information from the response signal, and writes the extracted floor identification information into the storage unit 14 for storage.
Then, the image processing unit 12 reads the floor identification information from the storage unit 14 and displays it on the display screen of the display unit 17 of the portable imaging terminal 1, for example, as shown in FIG.
次に、ユーザは、図７に示すように、一覧表として表示された階（１Ｆ、２Ｆ、３Ｆ及び４Ｆ）から、自身の現在いる階、例えば３階（３Ｆ）が表示された表示面１７ＢをユーザＵの指によりタップする。
表示部１７は、いずれの位置がユーザＵの指によりタップされたかを示すタップ情報を画像処理部１２へ出力する。
タップ情報が供給されると、画像処理部１２は、いずれの階が選択されたかを、タップ情報の位置情報から検出し、検出した階のフロア識別情報を送受信部１５へ出力する。
Next, as shown in FIG. 7, the user can display the current floor, for example, the third floor (3F) from the floors (1F, 2F, 3F, and 4F) displayed as a list, and display screen 17B. Is tapped with the finger of the user U.
The display unit 17 outputs tap information indicating which position is tapped with the finger of the user U to the image processing unit 12.
When the tap information is supplied, the image processing unit 12 detects which floor is selected from the position information of the tap information, and outputs the floor identification information of the detected floor to the transmission / reception unit 15.
次に、送受信部１５は、データセンタのデータサーバ２１に対して、このフロア識別情報の示す階のＢＩＭデータを送付する制御信号を、データサーバ２１に対して送信する。
そして、データサーバ２１は、携帯撮像端末１から制御信号を受信すると、３次元モデルデータベース２２のＢＩＭデータテーブルから、受信したフロア識別情報に対応するインデックスを読み出す。
Next, the transmission / reception unit 15 transmits to the data server 21 a control signal for sending the BIM data of the floor indicated by the floor identification information to the data server 21 of the data center.
When the data server 21 receives the control signal from the portable imaging terminal 1, the data server 21 reads an index corresponding to the received floor identification information from the BIM data table of the three-dimensional model database 22.
次に、データサーバ２１は、このインデックスが示す記憶領域に記憶されたＢＩＭデータ（フロアの平面図の画像データ及びフロアのＣＧ画像の画像データ）を、３次元モデルデータベース２２から読み出す。
そして、データサーバ２１は、読み出したＢＩＭデータを携帯撮像端末１へ応答信号として送信する。
応答信号を受信すると、送受信部１５は、この応答信号からフロアの平面図の画像データ及びフロアのＣＧ画像の画像データを抽出し、この抽出したフロアの平面図及びＣＧ画像の画像データを記憶部１４へ書き込んで記憶する。
そして、画像処理部１２は、記憶部１４からフロアの平面図の画像データを読み出し、例えば表示部１７の表示画面に図８に示すように表示する。
Next, the data server 21 reads out the BIM data (the floor plan image data and the floor CG image image data) stored in the storage area indicated by the index from the three-dimensional model database 22.
Then, the data server 21 transmits the read BIM data to the portable imaging terminal 1 as a response signal.
When receiving the response signal, the transmission / reception unit 15 extracts the floor plan image data and the floor CG image image data from the response signal, and stores the extracted floor plan and CG image data in the storage unit. Write to 14 and store.
Then, the image processing unit 12 reads the image data of the floor plan from the storage unit 14 and displays it on the display screen of the display unit 17 as shown in FIG.
ステップＳ３：
次に、ユーザは、図８に示すように、表示部１７の表示画面に表示されたフロアの平面図において、自身の現在いる位置が表示された表示面１７ＣをユーザＵの指によりタップして入力する。
これにより、表示部１７は、いずれの位置がユーザＵの指によりタップされたかを示すタップ情報を画像処理部１２へ出力する。
このタップ情報により、画像処理部１２は、階が表示された表示面をタップする。
表示部１７は、いずれの位置がタップされたかを示すタップ情報を画像処理部１２へ出力する。
そして、画像処理部１２は、携帯撮像端末１の位置を表示部１７の表示面に表示する。
Step S3:
Next, as shown in FIG. 8, the user taps the display surface 17 </ b> C on which the current position is displayed with the finger of the user U in the floor plan displayed on the display screen of the display unit 17. input.
Thereby, the display unit 17 outputs tap information indicating which position is tapped by the finger of the user U to the image processing unit 12.
Based on this tap information, the image processing unit 12 taps the display surface on which the floor is displayed.
The display unit 17 outputs tap information indicating which position has been tapped to the image processing unit 12.
Then, the image processing unit 12 displays the position of the portable imaging terminal 1 on the display surface of the display unit 17.
次に、ユーザは、図８の表示画面において、携帯撮像端末１の位置に対して、撮像する方向をタップして入力する。
これにより、表示部１７は、いずれの位置がタップされたかを示すタップ情報を画像処理部１２へ出力する。
そして、画像処理部１２は、携帯撮像端末１の位置と、新たに入力されたタップ情報の位置とから撮像方向Ｐを求め、この撮像方向Ｐを表示部１７の表示面に表示する。
Next, the user taps and inputs an imaging direction with respect to the position of the portable imaging terminal 1 on the display screen of FIG. 8.
Thereby, the display unit 17 outputs tap information indicating which position is tapped to the image processing unit 12.
Then, the image processing unit 12 obtains the imaging direction P from the position of the portable imaging terminal 1 and the position of the newly input tap information, and displays the imaging direction P on the display surface of the display unit 17.
ステップＳ４：
次に、画像処理部１２は、表示部１７の表示面に現在表示されている携帯撮像端末１の位置と、この携帯撮像端末１の撮像方向とを確定して良いか否かを選択させる画像、例えば確定ボタンと変更ボタンとを、表示部１７の表示面に表示させる。このボタンのいずれかをユーザはタップして選択する。
表示部１７は、ユーザのタップした位置を示すタップ情報を画像処理部１２に出力する。
これにより、画像処理部１２は、タップ情報の示す位置により、確定ボタンあるいは変更ボタンのいすれがタップされたかの判定を行う。
Step S4:
Next, the image processing unit 12 selects whether or not the position of the mobile imaging terminal 1 currently displayed on the display surface of the display unit 17 and the imaging direction of the mobile imaging terminal 1 may be determined. For example, a confirmation button and a change button are displayed on the display surface of the display unit 17. The user taps and selects one of these buttons.
The display unit 17 outputs tap information indicating the position tapped by the user to the image processing unit 12.
As a result, the image processing unit 12 determines whether the confirmation button or the change button has been tapped based on the position indicated by the tap information.
このとき、画像処理部１２は、確定ボタンがタップされた場合に、処理をステップＳ５へ進め、撮像を促す画像を、表示部１７の表示面に表示する。
一方、画像処理部１２は、変更ボタンがタップされた場合に、処理をステップＳ３に戻し、新たな携帯撮像端末１の位置と携帯撮像端末１の撮像方向の入力を促す画像（例えば、撮像ボタン）を、表示部１７の表示面に表示する。
At this time, when the confirmation button is tapped, the image processing unit 12 advances the processing to step S5 and displays an image for prompting imaging on the display surface of the display unit 17.
On the other hand, when the change button is tapped, the image processing unit 12 returns the process to step S3 to prompt the input of a new position of the mobile imaging terminal 1 and an imaging direction of the mobile imaging terminal 1 (for example, an imaging button) ) Is displayed on the display surface of the display unit 17.
ステップＳ５：
次に、ユーザは、現在自身のいる作業所の部屋Ｒにおける撮像方向Ｐの画像を、図９に示すように、表示部１７の表示面に表示された撮像ボタンの表示領域１７ＤをユーザＵの指によりタップすることにより撮像する。
これにより、表示部１７は、いずれの位置がタップされたかを示すタップ情報を画像処理部１２へ出力する。
画像処理部１２は、入力されたタップ情報の位置から、撮像ボタンがタップされたことを検出し、撮像処理を示す制御信号を撮像部１１に対して出力する。
Step S5:
Next, the user displays an image in the imaging direction P in the room R of the work place where the user is present, as shown in FIG. 9, by using the imaging button display area 17 </ b> D displayed on the display surface of the display unit 17. An image is taken by tapping with a finger.
Thereby, the display unit 17 outputs tap information indicating which position is tapped to the image processing unit 12.
The image processing unit 12 detects that the imaging button has been tapped from the position of the input tap information, and outputs a control signal indicating imaging processing to the imaging unit 11.
このとき、撮像部１１は、撮像ボタンがタップされたことを示す制御情報が供給されることにより、画像の撮像処理をおこない、撮像した撮像画像のデータを記憶部１４に書き込んで記憶させる。また、撮像部１１は、この撮像した時点において、携帯撮像端末１に登載されている図示しない方位センサ及び傾きセンサの検出値（方位及び傾き）を、記憶部１４に書き込んで記憶させる。
そして、画像処理部１２は、記憶部１４から撮像画像のデータを読み出し、表示部１７の表示面に表示する。
ここで、変換行列生成部１３は、上記携帯撮像端末１の位置及び携帯撮像端末１の撮像方向から、ビュー変換行列Ｍb、射影変換行列Ｗp及びビューポート変換行列Ｂsの各々の逆行列として、それぞれ逆ビュー変換行列Ｍb−１、逆射影変換行列Ｗp−１、逆ビューポート変換行列Ｂs−１を求める。
At this time, the imaging unit 11 is supplied with control information indicating that the imaging button has been tapped, thereby performing an imaging process of the image, and writes and stores the captured image data in the storage unit 14. In addition, the imaging unit 11 writes and stores the detected values (azimuth and tilt) of an orientation sensor and an inclination sensor (not shown) that are mounted on the portable imaging terminal 1 at the time of imaging, in the storage unit 14.
Then, the image processing unit 12 reads captured image data from the storage unit 14 and displays the data on the display surface of the display unit 17.
Here, the transformation matrix generation unit 13 determines the inverse of each of the view transformation matrix Mb, the projective transformation matrix Wp, and the viewport transformation matrix Bs from the position of the portable imaging terminal 1 and the imaging direction of the portable imaging terminal 1, respectively. An inverse view transformation matrix Mb −1 , an inverse projection transformation matrix Wp −1 , and an inverse viewport transformation matrix Bs −1 are obtained.
ステップＳ６：
次に、画像処理部１２は、表示部１７の表示面に現在表示されている撮像画像を確定して良いか否かを選択させる画像、例えば確定ボタンと変更ボタンとを、表示部１７の表示面に表示させる。このボタンのいずれかをユーザはタップして選択する。
表示部１７は、ユーザのタップした位置を示すタップ情報を画像処理部１２に出力する。
これにより、画像処理部１２は、タップ情報の示す位置により、確定ボタンあるいは変更ボタンのいすれがタップされたかの判定を行う。
Step S6:
Next, the image processing unit 12 displays, on the display unit 17, an image for selecting whether or not the captured image currently displayed on the display surface of the display unit 17 can be confirmed, for example, a confirmation button and a change button. Display on the screen. The user taps and selects one of these buttons.
The display unit 17 outputs tap information indicating the position tapped by the user to the image processing unit 12.
As a result, the image processing unit 12 determines whether the confirmation button or the change button has been tapped based on the position indicated by the tap information.
このとき、画像処理部１２は、確定ボタンがタップされた場合に、処理をステップＳ７へ進め、撮像を促す画像を、表示部１７の表示面に表示する。
一方、画像処理部１２は、変更ボタンがタップされた場合に、処理をステップＳ５に戻し、新たな撮像画像の撮像処理を促す画像を、表示部１７の表示面に表示する。
At this time, when the confirmation button is tapped, the image processing unit 12 advances the processing to step S7 and displays an image for prompting imaging on the display surface of the display unit 17.
On the other hand, when the change button is tapped, the image processing unit 12 returns the process to step S5 and displays an image for prompting the imaging process of a new captured image on the display surface of the display unit 17.
ステップＳ７：
次に、画像処理部１２は、記憶部１４からＢＩＭデータの３次元のＣＧ画像のデータを読み出し、ビュー変換行列Ｍbにより、グローバル座標系におけるＢＩＭデータのＣＧ画像の各オブジェクトの座標値を、撮像画像座標系の仮想画像の座標値に変換する。ここでオブジェクトの座標値とは、ターゲットマークとして選択される画像の特徴点の座標値を示している。例えば、扉の四隅（四角形の頂点の座標）、窓の４隅（四角形の頂点）、天井の四隅などである。
そして、画像処理部１２は、射影変換行列Ｗpにより、撮像画像座標系における仮想画像のにおけるオブジェクトの座標値を、スクリーン座標系の座標値に変換する。
また、画像処理部１２は、ビューポート変換行列Ｂsにより、スクリーン座標系におけるオブジェクトの座標値を、表示座標系の座標値に変換する。
画像処理部１２は、表示座標系に変換されたＢＩＭデータを、表示部１７の表示面において、撮像画像に重ねて半透明の状態で表示する。
Step S7:
Next, the image processing unit 12 reads out the three-dimensional CG image data of the BIM data from the storage unit 14, and captures the coordinate values of each object of the CG image of the BIM data in the global coordinate system using the view transformation matrix Mb. Convert to the coordinate value of the virtual image in the image coordinate system. Here, the coordinate value of the object indicates the coordinate value of the feature point of the image selected as the target mark. For example, there are four corners of a door (coordinates of quadrangular vertices), four corners of a window (rectangular vertices), and four corners of a ceiling.
Then, the image processing unit 12 converts the coordinate value of the object in the virtual image in the captured image coordinate system into the coordinate value in the screen coordinate system by the projective transformation matrix Wp.
Further, the image processing unit 12 converts the coordinate value of the object in the screen coordinate system into the coordinate value of the display coordinate system using the viewport conversion matrix Bs.
The image processing unit 12 displays the BIM data converted into the display coordinate system in a translucent state on the display surface of the display unit 17 so as to overlap the captured image.
ステップＳ８：
次に、画像処理部１２は、撮像画像に対するターゲットマークを設定することを促す画像を、表示部１７の表示面に表示する。
この画像により、ユーザは、図１０において図３（ｂ）に示すように、表示部１７の表示面に表示された撮像画像のターゲットマークＢ１、Ｂ２及びＢ３を順番にユーザＵの指によりタップし、ターゲットマークとして設定する。
これにより、表示部１７は、いずれの位置がタップされたかを示すタップ情報を、タップされる毎に画像処理部１２へ出力する。
そして、画像処理部１２は、連続で入力されるタップ情報から順次、ターゲットマークＢ１、Ｂ２及びＢ３の表示座標系における座標値を抽出し、ターゲットマークＢ１、Ｂ２及びＢ３として、記憶部１４に書き込んで記憶させる。
Step S8:
Next, the image processing unit 12 displays an image that prompts the user to set a target mark for the captured image on the display surface of the display unit 17.
With this image, the user taps the target marks B1, B2 and B3 of the captured image displayed on the display surface of the display unit 17 in order with the finger of the user U as shown in FIG. 3B in FIG. Set as a target mark.
Thereby, the display unit 17 outputs tap information indicating which position is tapped to the image processing unit 12 every time it is tapped.
Then, the image processing unit 12 sequentially extracts the coordinate values in the display coordinate system of the target marks B1, B2, and B3 from the continuously input tap information, and writes them into the storage unit 14 as the target marks B1, B2, and B3. To remember.
次に、画像処理部１２は、ＣＧ画像が表示座標系に変換された仮想画像（ＢＩＭデータ）に対するターゲットマークを設定することを促す画像を、表示部１７の表示面に表示する。
この画像により、ユーザは、図１１において図３（ｂ）に示すように、表示部１７の表示面に表示されたＢＩＭデータの画像のターゲットマークＡ１、Ａ２及びＡを順番にユーザＵの指によりタップし、ターゲットマークとして設定する。
これにより、表示部１７は、いずれの位置がタップされたかを示すタップ情報を、タップされる毎に画像処理部１２へ出力する。
Next, the image processing unit 12 displays an image that prompts the user to set a target mark for the virtual image (BIM data) obtained by converting the CG image into the display coordinate system on the display surface of the display unit 17.
With this image, as shown in FIG. 3B in FIG. 11, the user can sequentially target the target marks A1, A2 and A of the BIM data image displayed on the display surface of the display unit 17 with the finger of the user U. Tap to set as target mark.
Thereby, the display unit 17 outputs tap information indicating which position is tapped to the image processing unit 12 every time it is tapped.
そして、画像処理部１２は、連続で入力されるタップ情報から順次、ターゲットマークＡ１、Ａ２及びＡ３の表示座標系における座標値を抽出し、ターゲットマークＡ１、Ａ２及びＡ３として、記憶部１４に書き込んで記憶させる。
ここで、ターゲットマークは、オブジェクトの頂点を選択するようにし、各オブジェクトの頂点毎に頂点識別情報が付加され、座標値が変換されても、この頂点識別情報がかならず対応するようにする必要がある。したがって、画像処理部１２は、ターゲットマークＡ１、Ａ２及びＡ３として、記憶部１４に書き込んで記憶させる際、それぞれ頂点識別情報を対応させて書き込んで記憶させる。
Then, the image processing unit 12 sequentially extracts the coordinate values in the display coordinate system of the target marks A1, A2, and A3 from the continuously input tap information, and writes them into the storage unit 14 as the target marks A1, A2, and A3. To remember.
Here, the target mark must select the vertex of the object, and vertex identification information is added to each vertex of each object, and this vertex identification information must correspond even if the coordinate value is converted. is there. Therefore, when the image processing unit 12 writes and stores the target marks A1, A2, and A3 in the storage unit 14, the vertex identification information is written and stored in association with each other.
ステップＳ９：
次に、位置制御部１６は、ターゲットマークＢ１、Ｂ２及びＢ３の各々の座標値を、記憶部１４から読み出す。
そして、位置制御部１６は、ターゲットマークＢ１、Ｂ２及びＢ３の各々の座標値を、逆ビューポート変換行列Ｂs−１、逆射影変換行列Ｗp−１、逆ビュー変換行列Ｍb−１の各々を順次用い、表示座標系からスクリーン座標系、スクリーン座標系から撮像座標系、撮像座標系からグローバル座標系へと座標値を変換する。
そして、位置制御部１６は、図４に示すように、直線Ｌ１、Ｌ２及びＬ３の各々を生成する。
Step S9:
Next, the position control unit 16 reads out the coordinate values of the target marks B1, B2, and B3 from the storage unit 14.
Then, the position controller 16 sequentially converts the coordinate values of the target marks B1, B2, and B3 to the inverse viewport transformation matrix Bs −1 , the inverse projection transformation matrix Wp −1 , and the inverse view transformation matrix Mb −1. Used to convert coordinate values from the display coordinate system to the screen coordinate system, from the screen coordinate system to the imaging coordinate system, and from the imaging coordinate system to the global coordinate system.
And the position control part 16 produces | generates each of the straight lines L1, L2, and L3, as shown in FIG.
次に、位置制御部１６は、記憶部１４からターゲットマークＡ１、Ａ２及びＡ３の各々の頂点識別情報を読み出す。
そして、位置制御部１６は、直線Ｌ１、Ｌ２及びＬ３の各々の直線上の１個ずつの座標点を選択し、グローバル座標系におけるターゲットマークＡ１’、Ａ２’及びＡ３’の３個の頂点識別情報に対応する座標値の成す三角形ＳＡに対して相似となる三角形ＳＱを形成する座標点Ｑ１、Ｑ２及びＱ３の各々を求める。
位置制御部１６は、このこの三角形ＳＡと三角形ＳＱとの重心距離ｄAQと、法線ベクトルのずれ角Δθx、Δθy、Δθzとから、携帯撮像端末１の位置及び携帯撮像端末１の撮像方向の補正を行う。
Next, the position control unit 16 reads out the vertex identification information of each of the target marks A1, A2, and A3 from the storage unit 14.
Then, the position controller 16 selects one coordinate point on each of the straight lines L1, L2, and L3, and identifies the three vertices of the target marks A1 ′, A2 ′, and A3 ′ in the global coordinate system. Each of coordinate points Q1, Q2, and Q3 forming a triangle SQ that is similar to a triangle SA formed by coordinate values corresponding to information is obtained.
The position control unit 16 corrects the position of the portable imaging terminal 1 and the imaging direction of the portable imaging terminal 1 from the center-of-gravity distance dAQ between the triangle SA and the triangle SQ and the normal vector deviation angles Δθx, Δθy, Δθz. I do.
ステップＳ１０：
次に、変換行列生成部１３は、補正された携帯撮像端末１の位置及び携帯撮像端末１の撮像方向により、再度、ビューポート変換行列Ｂs及び射影変換行列Ｗpの生成を行う。
Step S10:
Next, the transformation matrix generation unit 13 generates the viewport transformation matrix Bs and the projective transformation matrix Wp again according to the corrected position of the portable imaging terminal 1 and the imaging direction of the portable imaging terminal 1.
ステップＳ１１：
次に、画像処理部１２は、記憶部１４からＢＩＭデータの３次元のＣＧ画像のデータを読み出し、補正されたビュー変換行列Ｍbにより、グローバル座標系におけるＢＩＭデータの各オブジェクトの座標値を、撮像画像座標系の座標値に変換する。
そして、画像処理部１２は、補正された射影変換行列Ｗpにより、撮像画像座標系におけるオブジェクトの座標値を、スクリーン座標系の座標値に変換する。
Step S11:
Next, the image processing unit 12 reads the three-dimensional CG image data of the BIM data from the storage unit 14, and captures the coordinate value of each object of the BIM data in the global coordinate system using the corrected view transformation matrix Mb. Convert to coordinate value of image coordinate system.
Then, the image processing unit 12 converts the coordinate value of the object in the captured image coordinate system into the coordinate value of the screen coordinate system using the corrected projective transformation matrix Wp.
また、画像処理部１２は、補正されたビューポート変換行列Ｂsにより、スクリーン座標系におけるオブジェクトの座標値を、表示座標系の座標値に変換する。
画像処理部１２は、表示座標系に変換されたＢＩＭデータを、表示部１７の表示面において、撮像画像に重ねて半透明の状態で表示する。この時点で、撮像画像に対してＣＧ画像から変換された仮想画像が精度良く重なり合った状態となる。
そして、ユーザが携帯撮像端末１の撮像方向を、ターゲットマークＢ１、Ｂ２及びＢ３を設定した方向に向け、表示部１７の表示面における図示しない撮像モードのボタンをタップする。
これにより、表示部１７は、いずれの位置がタップされたかを示すタップ情報を画像処理部１２へ出力する。
Further, the image processing unit 12 converts the coordinate value of the object in the screen coordinate system into the coordinate value of the display coordinate system using the corrected viewport conversion matrix Bs.
The image processing unit 12 displays the BIM data converted into the display coordinate system in a translucent state on the display surface of the display unit 17 so as to overlap the captured image. At this time, the virtual image converted from the CG image is accurately overlapped with the captured image.
Then, the user taps an imaging mode button (not shown) on the display surface of the display unit 17 with the imaging direction of the portable imaging terminal 1 in the direction in which the target marks B1, B2, and B3 are set.
Thereby, the display unit 17 outputs tap information indicating which position is tapped to the image processing unit 12.
次に、画像処理部１２は、入力されたタップ情報の位置から、撮像モードのボタンがタップされたことを検出し、撮像画像に対して仮想画像の重なった画像に対し、現在撮像している画像を重ねて表示する。
そして、ユーザが表示部１７の表示面における撮像画像のターゲットマークＢ１、Ｂ２及びＢ３と、現在撮像している撮像画像における座標点が重ならせて、図示しない決定ボタンをタップする。
Next, the image processing unit 12 detects that the button of the imaging mode has been tapped from the position of the input tap information, and is currently capturing an image in which the virtual image overlaps the captured image. Display images superimposed.
Then, the user overlaps the target marks B1, B2, and B3 of the captured image on the display surface of the display unit 17 with the coordinate points in the currently captured image, and taps a decision button (not shown).
これにより、表示部１７は、表示面のいずれの位置がタップされたかを示すタップ情報を画像処理部１２へ出力する。
次に、画像処理部１２は、入力されたタップ情報の位置から、撮像モードのボタンがタップされたことを検出し、補正用の撮像画像を消去し、現在撮像している撮像画像と、仮想画像とを重ねて表示する。
Thereby, the display unit 17 outputs tap information indicating which position on the display surface has been tapped to the image processing unit 12.
Next, the image processing unit 12 detects from the position of the input tap information that the imaging mode button has been tapped, deletes the captured image for correction, and captures the currently captured image and the virtual image. Overlays the image.
ステップＳ１２：
次に、画像処理部１２は、表示部１７の表示面に対し、撮像の処理を終了するか否かの判定を行うための表示を行う。
例えば、画像処理部１２は、終了ボタンを表示部１７の表示面に表示し、この終了ボタンがタップされた場合に処理を終了し、タップされない場合に処理をステップＳ１３へ進める。
Step S12:
Next, the image processing unit 12 displays on the display surface of the display unit 17 for determining whether or not to end the imaging process.
For example, the image processing unit 12 displays an end button on the display surface of the display unit 17, ends the process when the end button is tapped, and advances the process to step S13 when not tapped.
ステップＳ１３：
そして、撮像部１１は、ユーザが図１２に示すように、ユーザが携帯撮像端末１を左右方向あるいは上下方向に撮像方向を変更したりした場合、携帯撮像端末１に登載されている図示しない方位センサ及び傾きセンサの検出値が変化したか否かの判定を行う。
すなわち、撮像部１１は、記憶部に記憶されている撮像画像を撮像した際に書き込んで記憶させた方位及び傾きに対し、現在検出されている方位及び傾きが予め設定した閾値（方位及び傾きの各々に対して設定）を越えた場合、方位及び傾きのいずれかあるいは双方が変化したと検出する。
ここで、撮像部１１は、方位あるいは傾きのいずれかでも変化した場合、処理をステップＳ９へ進め、一方、方位及び傾きのいずれも変化しない場合、処理をステップＳ１１へ進める。ステップＳ９へ進んだ場合、位置制御部１６は、方位及び傾きの変化分により、撮像方向の補正を行う。そして、変換行列生成部１３は、携帯撮像端末１の位置及び補正された携帯撮像端末１の撮像方向により、再度、ビューポート変換行列Ｂs及び射影変換行列Ｗpの生成を行う。
Step S13:
Then, as shown in FIG. 12, when the user changes the imaging direction of the mobile imaging terminal 1 in the left-right direction or the up-down direction, the imaging unit 11 is mounted on the mobile imaging terminal 1 (not shown). It is determined whether or not the detection values of the sensor and the tilt sensor have changed.
That is, the imaging unit 11 has a preset threshold value (azimuth and inclination of the currently detected azimuth and inclination with respect to the azimuth and inclination written and stored when the captured image stored in the storage unit is captured. If it exceeds (set for each), it is detected that either or both of the azimuth and the inclination have changed.
Here, when either the azimuth or the tilt changes, the imaging unit 11 advances the process to step S9. On the other hand, when neither the azimuth or the tilt changes, the process advances to step S11. When the process proceeds to step S9, the position control unit 16 corrects the imaging direction based on the change in azimuth and inclination. Then, the transformation matrix generation unit 13 generates the viewport transformation matrix Bs and the projective transformation matrix Wp again according to the position of the portable imaging terminal 1 and the corrected imaging direction of the portable imaging terminal 1.
上述したように、本実施形態によれば、施工中の建物内にて、携帯撮像端末１により撮像される撮像画像と、仮想画像（ＢＩＭデータ）とを、ＡＲマーカなどを用いずに簡易な操作により、精度良く重ね合わせることができる。 As described above, according to the present embodiment, a captured image captured by the mobile imaging terminal 1 and a virtual image (BIM data) in a building under construction can be simplified without using an AR marker or the like. By the operation, it is possible to superimpose with high accuracy.
また、図１における携帯撮像端末１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより実際に撮像した画像に対し、ＢＩＭデータの仮想空間のオフジェクトを重ねて表示する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。 Further, the program for realizing the function of the portable imaging terminal 1 in FIG. 1 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed. You may perform the process which superimposes and displays the object of the virtual space of BIM data with respect to the imaged image. Here, the “computer system” includes an OS and hardware such as peripheral devices.
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design and the like within a scope not departing from the gist of the present invention.
１…携帯撮像端末
２…データセンタ
１１…撮像部
１２…画像処理部
１３…変換行列生成部
１４…記憶部
１５…送受信部
１６…位置制御部
１７…表示部
２１…データサーバ
２２…３次元モデルデータベース
DESCRIPTION OF SYMBOLS 1 ... Portable imaging terminal 2 ... Data center 11 ... Imaging part 12 ... Image processing part 13 ... Conversion matrix production | generation part 14 ... Memory | storage part 15 ... Transmission / reception part 16 ... Position control part 17 ... Display part 21 ... Data server 22 ... Three-dimensional model The database
Claims (3)
前記データサーバには、施工中の建物の３次元のコンピュータグラフィック画像が予め書き込まれて記憶されており、
前記携帯撮像端末が、
前記建物内の画像を撮像し、撮像画像として出力する撮像部と、
前記撮像画像を表示する表示部と、
前記撮像画像と、前記コンピュータグラフィック画像における前記撮像画像を撮像した位置及び撮像方向に対応して撮像した仮想画像とにおいて、同一の特徴点の座標位置を比較する位置制御部と、
前記特徴点の座標位置の比較結果により、前記特徴点の座標位置が重なり合う座標変換を行うことにより、前記撮像画像に対して前記仮想画像を重ね合わせて前記表示部に表示する画像処理部と
を備え、
前記位置制御部が、
前記建物内の前記携帯撮像端末の撮像位置及び撮像方向を、前記コンピュータグラフィック画像の３次元空間の座標に対応させる際の補正に際し、前記仮想画像の前記特徴点からなる三角形と、前記撮像画像の同一の特徴点からなる三角形との双方の法線ベクトルの角度のずれと、双方の重心座標値との距離とを求め、予め設定された前記角度のずれと前記距離とに対応して位置及びベクトルを補正することで、前記携帯撮像端末の撮像位置及び撮像方向を、前記コンピュータグラフィック画像の３次元空間の座標に合わせる補正を行う
ことを特徴とする合成画像表示システム。 A composite image display system composed of a portable imaging terminal and a data server,
In the data server, a three-dimensional computer graphic image of the building under construction is written and stored in advance,
The portable imaging terminal is
An imaging unit that captures an image of the building and outputs the captured image;
A display unit for displaying the captured image;
A position control unit that compares coordinate positions of the same feature points in the captured image and a virtual image captured in correspondence with a position and a capturing direction of the captured image in the computer graphic image;
An image processing unit that superimposes the virtual image on the captured image and displays the image on the display unit by performing coordinate conversion in which the coordinate positions of the feature points overlap according to the comparison result of the coordinate positions of the feature points. Prepared,
The position controller is
When correcting the imaging position and imaging direction of the portable imaging terminal in the building to correspond to the coordinates of the three-dimensional space of the computer graphic image, a triangle formed of the feature points of the virtual image, and the captured image and the angle of deviation of both the normal vector of the triangle of the same feature point, determine the distance between both of the center of gravity coordinates, the position and in correspondence with said the deviation of preset the angular distance A composite image display system , wherein correction is performed by correcting a vector so that an imaging position and an imaging direction of the portable imaging terminal are adjusted to coordinates in a three-dimensional space of the computer graphic image .
前記建物内に竣工後に配置される什器や設備配管などをオフジェクト画像とし、当該建物のコンピュータグラフィック画像に付加された画像である
ことを特徴とする請求項１に記載の合成画像表示システム。 The computer graphic image is
2. The composite image display system according to claim 1, wherein a fixture, equipment piping, and the like arranged in the building after completion are used as an object image and the image is added to a computer graphic image of the building.
前記データサーバには、施工中の建物の３次元のコンピュータグラフィック画像が予め書き込まれて記憶されており、
前記携帯撮像端末が、
前記建物内の画像を撮像し、撮像画像として出力する撮像過程と、前記撮像画像を表示部に表示する表示過程と、
前記撮像画像と、前記コンピュータグラフィック画像における前記撮像画像を撮像した位置及び撮像方向に対応して撮像した仮想画像とにおいて、同一の特徴点の座標位置を比較する位置制御過程と、
前記特徴点の座標位置の比較結果により、前記特徴点の座標位置が重なり合う座標変換を行うことにより、前記撮像画像に対して前記仮想画像を重ね合わせて前記表示部に表示する画像処理過程と
を含み、
前記位置制御過程において、
前記建物内の前記携帯撮像端末の撮像位置及び撮像方向を、前記コンピュータグラフィック画像の３次元空間の座標に対応させる際の補正に際し、前記仮想画像の前記特徴点からなる三角形と、前記撮像画像の同一の特徴点からなる三角形との双方の法線ベクトルの角度のずれと、双方の重心座標値との距離とを求め、予め設定された前記角度のずれと前記距離とに対応して位置及びベクトルを補正することで、前記携帯撮像端末の撮像位置及び撮像方向を、前記コンピュータグラフィック画像の３次元空間の座標に合わせる補正を行う
ことを特徴とする合成画像表示方法。 A composite image display method for combining an image captured by a portable imaging terminal and a computer graphic image stored in a data server,
In the data server, a three-dimensional computer graphic image of the building under construction is written and stored in advance,
The portable imaging terminal is
An imaging process for capturing an image of the building and outputting the captured image, and a display process for displaying the captured image on a display unit;
A position control process for comparing coordinate positions of the same feature points in the captured image and a virtual image captured in correspondence with a position and a capturing direction of the captured image in the computer graphic image;
An image processing step of superimposing the virtual image on the captured image and displaying the image on the display unit by performing coordinate conversion in which the coordinate positions of the feature points overlap according to a comparison result of the coordinate positions of the feature points. Including
In the position control process,
When correcting the imaging position and imaging direction of the portable imaging terminal in the building to correspond to the coordinates of the three-dimensional space of the computer graphic image, a triangle formed of the feature points of the virtual image, and the captured image and the angle of deviation of both the normal vector of the triangle of the same feature point, determine the distance between both of the center of gravity coordinates, the position and in correspondence with said the deviation of preset the angular distance A composite image display method , comprising: correcting a vector so that an imaging position and an imaging direction of the portable imaging terminal are adjusted to coordinates in a three-dimensional space of the computer graphic image .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012138747A JP5915996B2 (en) | 2012-06-20 | 2012-06-20 | Composite image display system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012138747A JP5915996B2 (en) | 2012-06-20 | 2012-06-20 | Composite image display system and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014002645A JP2014002645A (en) | 2014-01-09 |
| JP5915996B2 true JP5915996B2 (en) | 2016-05-11 |
Family
ID=50035743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012138747A Active JP5915996B2 (en) | 2012-06-20 | 2012-06-20 | Composite image display system and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5915996B2 (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6451139B2 (en) * | 2014-08-11 | 2019-01-16 | 株式会社大林組 | Arrangement plan support system, arrangement plan support method, and arrangement plan support program |
| JP6939195B2 (en) | 2017-07-27 | 2021-09-22 | 株式会社大林組 | Inspection processing system, inspection processing method and inspection processing program |
| JP6992329B2 (en) * | 2017-08-30 | 2022-01-13 | 中国電力株式会社 | Reinforcing bar position confirmation system |
| JP6746651B2 (en) * | 2018-09-26 | 2020-08-26 | 株式会社不動テトラ | Method of displaying composite image of ground improvement work |
| CN109656362B (en) * | 2018-12-14 | 2022-02-18 | 歌尔光学科技有限公司 | Virtual augmented reality device, control method and system thereof, and computer storage medium |
| JP6961157B1 (en) * | 2021-05-25 | 2021-11-05 | 株式会社x garden | Information processing system, information processing method and program |
| WO2022255546A1 (en) * | 2021-05-31 | 2022-12-08 | 주식회사 쓰리아이 | Virtual indoor space content providing method and server therefor |
| KR102600421B1 (en) * | 2021-05-31 | 2023-11-09 | 주식회사 쓰리아이 | Method for providing virtual indoor space content and server therefor |
| KR102575503B1 (en) * | 2021-05-31 | 2023-09-06 | 주식회사 쓰리아이 | Mobile terminal for creating virtual indoor space contents and control method thereof |
| WO2023248619A1 (en) * | 2022-06-21 | 2023-12-28 | 株式会社Ｎｔｔドコモ | Terminal device and object management server |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000036061A (en) * | 1998-07-17 | 2000-02-02 | Toshiba Corp | Picture processing system |
| JP4537557B2 (en) * | 2000-09-19 | 2010-09-01 | オリンパス株式会社 | Information presentation system |
| JP3805231B2 (en) * | 2001-10-26 | 2006-08-02 | キヤノン株式会社 | Image display apparatus and method, and storage medium |
| JP4115117B2 (en) * | 2001-10-31 | 2008-07-09 | キヤノン株式会社 | Information processing apparatus and method |
| JP2004302756A (en) * | 2003-03-31 | 2004-10-28 | Hitachi Plant Eng & Constr Co Ltd | Cad working drawing checking method and its device |
| JP4356983B2 (en) * | 2004-02-10 | 2009-11-04 | キヤノン株式会社 | Image processing method and image processing apparatus |
| JP2007228315A (en) * | 2006-02-24 | 2007-09-06 | Mitsubishi Heavy Ind Ltd | System for supporting construction work and inspection for structure inside building |
| US20080071559A1 (en) * | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
-
2012
- 2012-06-20 JP JP2012138747A patent/JP5915996B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014002645A (en) | 2014-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5915996B2 (en) | Composite image display system and method | |
| JP5920352B2 (en) | Information processing apparatus, information processing method, and program | |
| JP5211120B2 (en) | Information display device and information display method | |
| JP5991423B2 (en) | Display device, display method, display program, and position setting system | |
| US20140267234A1 (en) | Generation and Sharing Coordinate System Between Users on Mobile | |
| CN107330978B (en) | Augmented reality modeling experience system and method based on position mapping | |
| JP4926826B2 (en) | Information processing method and information processing apparatus | |
| JP6348741B2 (en) | Information processing system, information processing apparatus, information processing program, and information processing method | |
| KR20120069654A (en) | Information processing device, information processing method, and program | |
| US20130176337A1 (en) | Device and Method For Information Processing | |
| JP6230113B2 (en) | Video instruction synchronization method, system, terminal, and program for synchronously superimposing instruction images on captured moving images | |
| WO2017043145A1 (en) | Information processing device, information processing method, and program | |
| WO2021138940A1 (en) | Remote virtual-real high-precision matching and positioning method oriented to augmented reality and mixed reality | |
| JP2019153274A (en) | Position calculation device, position calculation program, position calculation method, and content addition system | |
| JP6730577B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
| JP5469764B1 (en) | Building display device, building display system, building display method, and building display program | |
| JP2012216073A (en) | Image processor, image processor control method, and program | |
| CN110599432A (en) | Image processing system and image processing method | |
| CN108090212B (en) | Method, device and equipment for showing interest points and storage medium | |
| JP7335335B2 (en) | Information processing device, information processing method, and program | |
| TWI691932B (en) | Image processing system and image processing method | |
| JP6146869B2 (en) | Video instruction display method, system, terminal, and program for superimposing instruction image on photographing moving image synchronously | |
| JP7207915B2 (en) | Projection system, projection method and program | |
| JP7045863B2 (en) | Information management system, information management method, and program | |
| CN115053262A (en) | Space recognition system, space recognition method, information terminal, and server device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150128 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150918 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150929 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160301 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160329 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5915996 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |