JP7169940B2 - Drawing superimposing device and program - Google Patents
Drawing superimposing device and program Download PDFInfo
- Publication number
- JP7169940B2 JP7169940B2 JP2019107363A JP2019107363A JP7169940B2 JP 7169940 B2 JP7169940 B2 JP 7169940B2 JP 2019107363 A JP2019107363 A JP 2019107363A JP 2019107363 A JP2019107363 A JP 2019107363A JP 7169940 B2 JP7169940 B2 JP 7169940B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- position calculation
- superimposing
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、撮像した現実空間画像に図面データを重畳して表示する図面重畳システムに関する。 The present invention relates to a drawing superimposition system for superimposing and displaying drawing data on a captured real space image.
鋼構造物を含む土木構造物の出来型について、誤り(構造物の構築忘れ、位置間違い等)に気づかずに後工程に流れてしまい、その回復にコスト時間を要している。従来、検査工程で、人力により構造物を巻き尺等の計測道具で計測し、設計図と照らし合わせて、その整合を確かめている。 Errors in the finished form of civil engineering structures including steel structures (forgetting to build structures, incorrect positions, etc.) are passed on to subsequent processes without being noticed, and it takes time and money to recover from them. Conventionally, in the inspection process, the structure is manually measured using a measuring tool such as a tape measure, and compared with the design drawing to confirm the alignment.
しかしこの方法には、ヒューマンエラーを誘発する要素が多数含まれていることが、この課題の根本原因である。すなわち、計測位置(対象)を計測者自身が選択する必要があるが、担保しようとする計測結果に対して適切な計測対象となっているかは、計測者自身の能力に委ねられている。また、計測時の基準点の確かさが、精度の決め手になるが、これも計測者自身の能力に委ねられている。また、単純な計測ミス(計測値の読みミス)や単純な計測忘れもありうる。 However, the root cause of this problem is that this method includes many elements that induce human error. In other words, the measurement position (target) must be selected by the user himself/herself, but whether or not the measurement target is suitable for the measurement result to be secured depends on the ability of the user himself/herself. Also, the certainty of the reference point at the time of measurement is the decisive factor for accuracy, but this is also entrusted to the ability of the measurer himself. In addition, simple measurement errors (misreading of measured values) and simple measurement omissions can occur.
別の側面として、上記の通り計測者のスキルやモチベーションに依存することが多いのにもかかわらず、人手不足によるマンパワー不足やスキル低下が、これら課題の表面化に拍車をかけている。 As another aspect, despite the fact that measurement often depends on the skills and motivation of the measurers as described above, the shortage of manpower and the decline in skills due to labor shortages are spurring the emergence of these issues.
そこで、近年、これらの課題を解決するための方法として、コンピュータ等を利用した誤り検出方法が、いくつか提案されている。 Therefore, in recent years, several error detection methods using computers and the like have been proposed as methods for solving these problems.
従来の方法としては、例えば写真測量がある。これは、対象構造物を2次元の光学写真として撮影し、これと3次元CAD(Computer Aided Design)を元にした設計通りならばあるべき見え方を、重畳することで検出する方法である。この方法では、構造物を撮影しているカメラの座標・角度をいかに取得するかが課題となるが、基本的には、現実世界での座標を物理的に計測することで成立しているものが多い。 Conventional methods include, for example, photogrammetry. This is a method in which a target structure is photographed as a two-dimensional optical photograph, and a three-dimensional CAD (Computer Aided Design)-based design is superimposed on the object to detect it. In this method, the problem is how to acquire the coordinates and angles of the camera that is shooting the structure, but basically it is established by physically measuring the coordinates in the real world. There are many.
また、他の方法としては、MR(Mixed Reality)技術を採用した事例が提案されている。特許文献1には、Microsoft(登録商標)社のHOLOLENS(登録商標)を用いたものが記載されている。このHOLOLENS(登録商標)は、半透明のスクリーンが人間頭部の目を覆うように設計された、ゴーグル状のハードウェアである。大きく分けて、光学系、環境認識系、システム系で構成されている。
As another method, a case of adopting MR (Mixed Reality) technology has been proposed.
光学系は、3DCADを含む立体デジタル情報を、装着者が実際にみている光景に、重ね合わせて表示する。3D情報を表示するために、装着者にはその奥行きを認識させるため、右目用と左目用、それぞれ別のデータを投影させている。 The optical system superimposes and displays stereoscopic digital information including 3D CAD on the scene actually seen by the wearer. In order to display 3D information, different data are projected for the right eye and the left eye so that the wearer can perceive the depth.
環境認識系は、ステレオレンズによる2次元画像のずれの比較による距離認識、赤外線レーザを照射することによる距離認識、慣性センサ(IMU)による移動量推定などを担っている。 The environment recognition system is responsible for distance recognition by comparison of two-dimensional image shifts by a stereo lens, distance recognition by irradiating an infrared laser, movement amount estimation by an inertial sensor (IMU), and the like.
しかし、上述の写真測量による誤り検出方法では、特別な機材を必要としないという利点はあるものの、カメラの撮影位置の取得に少なからず手間がかかる。また、レンズの歪みもさることながら、3DCAD上の見え方との調整にも手間がかかる。このことから、これを実施するためには計測者には画像処理を含むスキルが必要になる上、実施のためにはある程度の時間がかかるので、必ずしも課題を十分に解決できるとは言えない。 However, although the above-described error detection method based on photogrammetry has the advantage that it does not require special equipment, it takes considerable time and effort to acquire the photographing position of the camera. In addition to the distortion of the lens, it takes time and effort to adjust the appearance on the 3D CAD. For this reason, in order to implement this, the measurer needs skills including image processing, and it takes a certain amount of time for implementation, so it cannot be said that the problem can be fully solved.
一方、上記特許文献1に記載の方法は、計測者には特別なスキルは必要なく、また重畳時には自動調整して表示されるので、時間もかからず、課題を解決しうる技術である。しかし、特許文献1に記載のものは、計測者の頭部に装着して使用されるものであり、計測作業が一人の者に限定されてしまい他の者は計測状況を把握できないという問題がある。
On the other hand, the method described in
そこで、計測状況について計測者以外の者が観察することや記録することを目的として、ゴーグルにタブレットなどの外部装置を別途接続することが考えられる。この場合、外部装置は、ゴーグルから、当該ゴーグルに設けられているカメラで撮像された画像データと、前記立体デジタル情報から算出した右目用又は左目用のデータとを取得する。そして、外部装置は、ゴーグルから取得した前記画像データに前記右目用又は左目用のデータを重畳して表示させるとともに、必要に応じて当該重畳画像を所定の記憶手段に記憶する。しかしながら、特許文献1に記載のゴーグルは、撮像用のカメラが計測者の右目と左目との中間位置近傍に配置されている一方、重畳用のデータは右目位置又は左目位置用に算出されている。このため、カメラで撮像した画像データと算出した重畳用データにずれが生じてしまうという問題がある。土木構造物の計測では、計測対象が数十mを超えるような規模の大きな構造物であっても、計測精度はmm単位が必要である。このため、上述のようなずれの発生は非常に大きな問題である。
Therefore, it is conceivable to separately connect an external device such as a tablet to the goggles for the purpose of allowing a person other than the measurer to observe and record the measurement situation. In this case, the external device acquires, from the goggles, image data captured by a camera provided in the goggles, and right-eye or left-eye data calculated from the stereoscopic digital information. Then, the external device superimposes the right-eye or left-eye data on the image data obtained from the goggles for display, and stores the superimposed image in a predetermined storage means as necessary. However, in the goggles described in
また、特許文献1に記載のものは、計測者の頭部に装着するものであり、計測者が計測対象を準近接状態で目視する必要がある。しかし、土木構造物は計測者が容易にアクセスできる場所から必ずしも肉眼で確認できるとは限らない。すなわち、足場を設けなければ確認できない高いところや、床面レベルの低い所からしか確認できないことも多く、目視できるようにするためには、段取りが必要になるという問題がある。また、特許文献1に記載のものは、ゴーグルが撮影時に衝撃や振動を受けやすいため撮像画像や計測信号にぶれが生じ、これにより空間認識処理や位置認識処理に支障が生じる場合がある。
Further, the device described in
本発明は上記事情に鑑みてなされたものであり、その目的とするところは、図面データの重畳精度が高く、土木構造物の施工誤り検査を容易且つ確実に実施できる利便性の高い図面重畳装置を提供することにある。 SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and its object is to provide a highly convenient drawing superimposition device that can superimpose drawing data with high precision and can easily and reliably inspect construction errors in civil engineering structures. is to provide
上記目的を達成するために、本願発明は、撮像した現実空間画像に図面データを重畳して表示する図面重畳装置であって、図面重畳装置本体と、有線又は無線により前記図面重畳装置本体に接続された撮像装置とを備え、前記撮像装置は、現実空間の二次元画像を撮像する一台の一眼のカメラと、前記カメラの焦点位置及び方向を検出するための位置算出用情報を取得する位置算出用情報取得手段を備え、前記図面重畳装置本体は、構造物の設計図である図面データを記憶する図面データ記憶部と、前記位置算出用情報取得手段により取得された位置算出用情報に基づき前記カメラの焦点位置及び方向を算出する位置算出部と、前記位置算出部により算出されたカメラの現在の焦点位置及び方向を基準として図面データ記憶部に記憶された図面データをレンダリングし、レンダリング画像を前記カメラで撮像された現実空間画像に重畳して表示装置に出力する重畳表示制御部とを備えたことを特徴とする。 In order to achieve the above object, the present invention provides a drawing superimposing device for superimposing drawing data on a captured real space image and displaying the drawing superimposing device main body and a wired or wireless connection to the drawing superimposing device main body. and a position for acquiring position calculation information for detecting the focus position and direction of the camera. Calculation information acquisition means is provided, and the drawing superimposition device main body includes a drawing data storage unit that stores drawing data that is a design drawing of a structure, and based on the position calculation information acquired by the position calculation information acquisition means a position calculation unit for calculating the focal position and direction of the camera; and rendering the drawing data stored in the drawing data storage unit based on the current focal position and direction of the camera calculated by the position calculation unit as a rendered image. is superimposed on the physical space image captured by the camera and output to a display device.
本願発明の好適な態様としては、さらに、利用者により保持され且つ前記撮像装置を支持する長尺の支持部材を備えたものが挙げられる。また、本願発明の好適な他の態様としては、さらに、前記撮像装置に印可される衝撃及び振動を吸収するスタビライザーを備えたものが挙げられる。また、本願発明の好適な他の態様としては、さらに、カメラのレンズ歪み情報に基づき現実空間画像又はレンダリング画像を補正する補正部を備えたものが挙げられる。また、本願発明の好適な他の態様としては、前記位置算出用情報取得手段は、前記カメラにより撮像された現実空間画像に対応し且つ現実空間に存在するものとの間の距離情報を画素毎に有する深度データを前記位置算出用情報として生成する深度データ生成部と、撮像装置の慣性情報を前記位置算出用情報として計測する慣性計測部とを備えたもの挙げられる。 A preferred aspect of the present invention further includes an elongate support member held by a user and supporting the imaging device. Another preferable aspect of the present invention includes a stabilizer that absorbs shock and vibration applied to the imaging device. Further, another preferred aspect of the present invention includes a correction unit that corrects the physical space image or the rendered image based on the lens distortion information of the camera. In another preferred aspect of the present invention, the position calculation information acquisition means acquires distance information between each pixel corresponding to the real space image captured by the camera and existing in the real space. and an inertia measurement unit that measures inertia information of the imaging device as the position calculation information.
本発明によれば、図面重畳装置本体と撮像装置が分離されているので、撮像装置のみを検査対象の準近傍まで容易に移動させることができる。これにより、土木構造物の施工誤り検査を容易且つ確実に実施できる。また、本発明によれば、現実空間の撮像を撮像装置に含まれる一台のカメラで行っているので、重畳表示制御部における図面データの重畳精度が向上する。 According to the present invention, since the main body of the drawing superimposing device and the imaging device are separated, it is possible to easily move only the imaging device to near the object to be inspected. This makes it possible to easily and reliably inspect construction errors in civil engineering structures. Also, according to the present invention, since the image of the physical space is captured by a single camera included in the imaging device, the superimposition accuracy of the drawing data in the superimposition display control unit is improved.
特に、支持部材を備えた図面重畳装置によれば、撮像装置のみを検査対象の準近傍まで容易に移動させることができる。これにより、土木構造物の施工誤り検査を容易且つ確実に実施できる。また、スタビライザーを備えた図面重畳装置によれば、撮像装置のぶれが少なく且つ位置が安定するので、焦点位置及び方向の算出処理を高精度に実施可能になるとともに、ブレが少なく見やすい現実空間画像及び重畳画像を得ることができる。また、レンズ歪みを補正する補正部を図面重畳装置によれば、図面データをレンダリングして得られたレンダリング画像と現実空間画像とのずれが軽減されるので、図面データの重畳精度が向上する。 In particular, according to the drawing superimposing device provided with the support member, it is possible to easily move only the image pickup device to the near vicinity of the inspection object. This makes it possible to easily and reliably inspect construction errors in civil engineering structures. In addition, according to the drawing superimposing device equipped with a stabilizer, the blurring of the imaging device is small and the position is stable. and a superimposed image can be obtained. Further, according to the drawing superimposition device, the correction unit for correcting lens distortion is reduced in deviation between the rendered image obtained by rendering the drawing data and the real space image, so that the accuracy of superimposing the drawing data is improved.
(第1の実施の形態)
本発明の第1の実施の形態に係る図面重畳装置について図面を参照して説明する。図1は第1の実施の形態に係る図面重畳装置の全体構成図、図2は深度カメラの機能ブロック図、図3は図面重畳装置本体の機能ブロック図である。
(First embodiment)
A drawing superimposition device according to a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is an overall configuration diagram of a drawing superimposing device according to the first embodiment, FIG. 2 is a functional block diagram of a depth camera, and FIG. 3 is a functional block diagram of the main body of the drawing superimposing device.
本実施の形態に係る図面重畳装置1は、図1に示すように、それぞれ別筐体として設けられた、図面重畳装置本体100と、撮像装置である深度カメラ200とを備えている。図面重畳装置本体100と深度カメラ200は所定の通信ケーブル300によりデータの授受が可能に接続されている。また、本実施の形態に係る図面重畳装置1は、利用者により保持され且つ深度カメラ200を支持する長尺の支持部材である支持具400を備えている。
The drawing
図面重畳装置本体100は、利用者により携行されるコンピュータにプログラムをインストールすることにより構成される。図面重畳装置本体100は、少なくとも液晶ディスプレイや有機ELディスプレイなどの表示装置を備えている。典型的には、図面重畳装置本体100は、タブレット端末と呼ばれる高機能携帯通信端末により構成される。図面重畳装置本体100の構成については後に詳述する。
The drawing superimposition apparatus
深度カメラ200は、デプスカメラと呼ばれ深度データを含む画像情報を撮像可能な撮像装置である。深度カメラ200は、図2に示すように、現実空間の二次元画像を撮像する一台の一眼の光学カメラ210と、前記光学カメラ210により撮像された現実空間画像に対応し且つ現実空間に存在するものとの間の距離情報を画素毎に有する深度データを生成する深度データ生成部220と、深度カメラ200の慣性情報を計測する慣性計測部230と、通信インタフェイス部240とを備えている。
The
光学カメラ210は、CCDイメージセンサやCMOSイメージセンサ等の周知の撮像素子211及び一眼の光学レンズ212を備えており、可視光線領域における現実空間の二次元画像を取得し、現実空間画像として通信インタフェイス部240を介して図面重畳装置本体100に所定のフレームレートで出力する。光学カメラ210は、照明手段として、可視光線領域の光を対象物に照査する可視光線照射部を備えていてもよい。
The
深度データ生成部220は、CCDイメージセンサやCMOSイメージセンサ等の撮像素子221及び光学レンズ222を左右一対備えており、赤外線領域における画像を取得する。深度データ生成部220は、各撮像素子221により取得した画像の視差及び/又は赤外線の到達時間等を利用して画素毎に対象物との距離データ、すなわち深度データを生成し、通信インタフェイス部240を介して所定のフレームレートで図面重畳装置本体100に出力する。深度データ生成部220の撮像方向・画角・レンズ倍率等は光学カメラ210と一致している。また、深度データ生成部220が出力する深度データの解像度(画素数)は、光学カメラ210が出力する現実空間画像の解像度(画素数)と一致している。この深度データは、光学カメラ210の焦点位置(光学レンズ212の焦点位置)及び方向を検出するための位置算出用情報の1つとして用いられる。
The depth
また、深度データ生成部220は、赤外線を対象物に対して照射する赤外線照射部223を備えている。深度データ生成部220は、赤外線照射部223を用いて、対象物に対して所定のパターン(例えばドット模様)を照射することができる。深度データ生成部220は、深度データを生成するに際して、撮像された画像に含まれるパターンの状況を考慮することができる。
The depth
慣性計測部230は、IMU(Inertial Measurement Unit)装置と呼ばれ、深度カメラ200の方向及び運動状況を検出する装置である。慣性計測部230は、上下・左右・前後という3方向の加速度センサと、XYZ軸という3軸の角速度センサを備えており、3次元の角速度と加速度を検出することができる。慣性計測部230は、検出したデータを慣性情報として通信インタフェイス部240を介して図面重畳装置本体100に出力する。この慣性情報は、光学カメラ210の焦点位置(光学レンズ212の焦点位置)及び方向を検出するための位置算出用情報の1つとして用いられる。慣性計測部230は、精度や信頼性の向上のため、圧力計、流量計、GNSS(Global Navigation Satellite System)センサなど別種類のセンサを備えていてもよい。
The
通信インタフェイス部240は、図面重畳装置本体100とのインタフェイス部である。通信インタフェイス部240の通信規格は不問であり、無線通信であっても有線通信であってもよい。
The
図面重畳装置本体100は、図3に示すように、図面データ記憶部110と、位置算出部120と、重畳表示制御部130と、履歴記憶部140と、入力装置150と、表示装置160と、通信インタフェイス部170とを備えている。
As shown in FIG. 3, the drawing superimposition device
図面データ記憶部110は、検査対象である構造物の設計図である図面データを記憶する。図面データは、図示しない他のCAD装置等で生成され、図面重畳装置本体100にインストールされる。図面データの規格やフォーマットは不問である。本実施の形態では、図面データは、表示装置160に構造物をワイヤーフレームで表示可能なものである。図面データは、構造物の名称、型番、寸法などの付加情報を含むことができる。また図面データは、構造物のテクスチャを付加情報として含むことができる。
The drawing
位置算出部120は、自己位置推定と地図作成を同時に行うSLAM(Simultaneously Localization and Mapping)技術を用いて、深度カメラ200から取得した現実空間画像、深度データ、慣性情報及び図面データ記憶部110に記憶された図面データに基づき深度カメラ200の現在位置及び方向、より詳しくは深度カメラ200の光学カメラ210の焦点位置及び方向を算出する。位置算出部120の動作について図4のフローチャートを参照して説明する。
The
図4に示すように、位置算出部120は、まず、深度カメラ200から取得した慣性情報に基づき深度カメラ200の現在位置及び方向、より詳しくは深度カメラ200の光学カメラ210の現在の焦点位置及び方向を算出する(ステップS1)。ここで、位置算出部120は、入力装置150を利用して利用者が入力した原点位置及び方向と、慣性情報に基づき算出した原点位置からの相対的位置及び方向に基づき、現在位置及び方向を算出する。
As shown in FIG. 4, the
次に、位置算出部120は、図面データ記憶部110に記憶された図面データに基づき、前記ステップS1で算出した深度カメラ200の光学カメラ210の現在の焦点位置及び方向を基準とした仮想空間画像、すなわち当該現在の焦点位置及び方向から見た図面データに係る構造物についての仮想的な画像を算出する(ステップS2)。
Next, based on the drawing data stored in the drawing
次に、位置算出部120は、前記ステップS2で算出した仮想空間画像と、深度カメラ200から取得した現実空間画像及び深度データとに基づき、両者の特徴点位置を比較し、仮想空間と現実空間とのずれ量を算出し、このずれ量に基づき前記ステップS1で算出した現在位置及び方向を補正する(ステップS3)。
Next, the
重畳表示制御部130は、位置算出部120により算出された深度カメラ200の光学カメラ210の現在の焦点位置及び方向を基準として図面データ記憶部110に記憶された図面データをレンダリングし、レンダリング画像を現実空間画像に重畳して表示装置160に出力する。ここで、重畳表示の態様は不問である。重畳表示の対象とする図面データは、現実画像では構造物の背面等にあり現在位置からは視認できない図面データを含んでもよいし、視認できる図面データのみとしてもよいし、両者を適宜切り替え可能としてもよい。また、本実施の形態では、構造物をワイヤーフレームで重畳表示するようにした。また、図面データが付加情報を含んでいる場合、当該付加情報も併せて重畳表示するようにしてもよい。
The superimposed
図5に現実空間撮像の一例、図6に重畳画像の一例を示す。図5及び図6に示すように、現実空間画像900には構造物901,902が含まれている。重畳画像は、図6に示すように、図面データがワイヤーフレームとして現実空間画像900に重畳されている。図6では、ワイヤーフレームの一部が現実の構造物と一致していない例を示している。すなわち、図6では、図5に示す構造部901については図面データに基づくワイヤーフレーム161と一致している。一方、図5に示す構造物902については図面データに基づくワイヤーフレーム162と一致していない。これは、何らかの施工誤りにより、現実の構造物902が設計図面と異なっていることを意味する。
FIG. 5 shows an example of real space imaging, and FIG. 6 shows an example of a superimposed image. As shown in FIGS. 5 and 6, a
履歴記憶部140は、深度カメラ200から取得した現実空間画像、及び、重畳表示制御部130から出力された重畳画像の少なくとも一方又は双方を履歴情報として記録する。履歴記憶部140は、さらに、深度カメラ200から取得した深度データ、慣性情報を履歴情報として記録することができる。
The
入力装置150は利用者から各種情報を入力する周知の装置である。入力装置150としてはタッチパネル、マウス、トラックボール等のポインティングデバイスが挙げられる。表示装置160は、各種情報を表示する周知の表示手段であり、例えばLCDディスプレイや有機ELディスプレイなどにより構成される。通信インタフェイス部170は、深度カメラ200とのインタフェイス部であり、深度カメラ200の通信インタフェイス部240と同一の通信規格である。入力装置150、表示装置160、通信インタフェイス部170は、図面重畳装置本体100をタブレット端末などの高機能携帯通信端末により構成する場合、当該端末に備えられているものを用いることができる。
The
通信ケーブル300は、図面重畳装置本体100と深度カメラ200との間でデータの送受信を可能にするための通信媒体であり、図面重畳装置本体100の通信インタフェイス部170及び深度カメラ200の通信インタフェイス部240の通信規格に適合する。
The
支持具400は、先端部に深度カメラ200を着脱自在に付設可能に構成された長尺の棒状部材を備えている。本実施の形態では、深度カメラ200はスタビライザー450を介して支持具400に付設されている。スタビライザー450は、支持具400及び支持具400を介して深度カメラ200に印可される衝撃や振動を吸収して深度カメラ200の焦点位置や方向を安定させる機能を有する。スタビライザー450は、機械式であっても電動式であってもよい。スタビライザー450を介することにより、深度カメラ200による現実空間画像、深度データ、慣性情報のぶれや急峻な変化を防止できる。前述したように、図面重畳装置本体100の位置算出部120はSLAM技術を利用した位置算出を行っているが、当該SLAM技術を用いた位置算出では画像に含まれる特徴点を追跡する処理を行っている。このため、急峻なデータ変化があると正確な位置及び方向の算出に失敗する場合が考えられる。したがって、スタビライザー450は正確且つ安定的な計測に有効である。
The
また、支持具400は、スタビライザー450を設けることなく、例えば周知の雲台を用いて深度カメラ200を付設するように構成してもよい。さらに、支持具400は、モータ等の駆動手段により深度カメラ200の方向を変えるように構成してもよい。この場合、駆動手段はスタビライザー450の一部であってもよい。
Alternatively, the
支持具400の他端は、利用者が握りやすいよう把手401が設けられている。支持具400は、その長さを変えられるよう構成することができる。なお、図面重畳装置1を利用する際には、深度カメラ200を支持具400に取り付けていてもよいし、支持具400から深度カメラ200から取り外していてもよい。
A
本実施の形態に係る図面重畳装置1によれば、図面重畳装置本体100と深度カメラ200が分離されているので、深度カメラ200のみを検査対象の準近傍まで容易に移動させることができる。これにより、土木構造物の施工誤り検査を容易且つ確実に実施できる。
According to the
また、本実施の形態に係る図面重畳装置1によれば、深度カメラ200の焦点位置及び方向を算出する際に、深度カメラ200から取得した現実空間画像、深度データ、慣性情報だけでなく図面データも用いるので、図面データの重畳精度が向上する。
Further, according to the
また、本実施の形態に係る図面重畳装置1によれば、現実空間の撮像を撮像装置に含まれる一台の光学カメラ210で行っているので、重畳表示制御部130における図面データの重畳精度が向上する。
Further, according to the
(第2の実施の形態)
本発明の第2の実施の形態に係る図面重畳装置について図面を参照して説明する。図7は第2の実施の形態に係る図面重畳装置本体の機能ブロック図である。本実施の形態が第1の実施の形態と異なる点は、カメラのレンズ歪みに応じた補正処理を行う点にある。他の点については第1の実施の形態と同様なので、ここでは相違点のみを説明する。
(Second embodiment)
A drawing superimposing device according to a second embodiment of the present invention will be described with reference to the drawings. FIG. 7 is a functional block diagram of the drawing superimposing device body according to the second embodiment. This embodiment differs from the first embodiment in that correction processing is performed according to lens distortion of the camera. Since other points are the same as those of the first embodiment, only the points of difference will be described here.
一般的に、カメラで撮像して得られた画像データは、カメラレンズ固有の歪みにより歪みが生じる。典型的な例では、矩形の対象物を撮像すると、レンズの歪みにより画像データは対象物の稜線が樽型に歪む。そこで、本実施の形態に係る図面重畳装置本体100aは、図7に示すように、深度カメラ200の光学カメラ210の光学レンズ212の歪みにより生じる現実空間画像の歪みを補正する補正処理部180と、補正処理部180で用いる補正用データを生成する校正処理部190とを備えている。
In general, image data obtained by imaging with a camera is distorted due to distortion inherent in the camera lens. In a typical example, when an image of a rectangular object is imaged, the ridge lines of the object are distorted into a barrel shape in the image data due to lens distortion. Therefore, as shown in FIG. 7, the drawing superimposition apparatus
校正処理部190は、深度カメラ200の光学カメラ210を用いて、所定の撮像条件で、所定の校正用の撮像対象物が含まれる現実空間を撮像する。そして、校正処理部190は、撮像して得られた現実空間画像と、撮像対象物及び撮像条件に関する既知の各種情報とに基づき現実空間画像の補正用データを生成する。また、校正処理部190は、現実空間画像の補正用データと併せて、深度データの補正用データを生成する。この場合、校正処理部190は、現実空間画像の補正用データの生成処理と並行して、深度データ生成部220により校正用の撮像対象物が含まれる深度データを生成し、当該深度データと、撮像対象物及び撮像条件に関する既知の各種情報とに基づき深度データの補正用データを生成すればよい。校正処理部190により生成された補正用データは所定の記憶部(図示省略)に記憶する。
The
校正処理部190による校正作業は、少なくとも深度カメラ200の最初の使用時に実施すればよく、必要に応じて定期的に又は任意時に実施してもよい。
The calibration work by the
補正処理部180は、校正処理部190により生成された前記現実空間画像の補正用データを用いて、深度カメラ200の光学カメラ210で撮像された現実空間画像を補正する。同様に、補正処理部180は、校正処理部190により生成された前記深度データの補正用データを用いて、深度データ生成部220で生成された深度データを補正する。補正された現実空間画像は、位置算出部120及び重畳表示制御部130に送られる。また、補正された深度データは、位置算出部120に送られる。
The
本実施の形態に係る図面重畳装置によれば、深度カメラ200の光学カメラ210で撮像した現実空間画像に対してカメラレンズ固有の歪みに応じた補正を行っているので図面データの重畳精度が向上する。また、本実施の形態に係る図面重畳装置によれば、深度カメラ200の深度データ生成部220で生成された深度データに対してもカメラレンズ固有の歪みに応じた補正を行っているので、深度カメラ200の焦点位置及び方向の検出精度が向上する。これにより、図面データの重畳精度が更に向上する。他の作用効果については第1の実施の形態と同様である。
According to the drawing superimposing device according to the present embodiment, since the real space image captured by the
なお、本実施の形態では、図面重畳装置本体100aに校正処理部190を実装していたが、他のコンピュータに校正処理部190を実装し、本実施の形態に係る深度カメラ200を当該他のコンピュータに接続して校正処理を行ってもよい。この場合、補正用データは、所定の通信媒体又は記憶媒体を介して図面重畳装置本体100aの所定の記憶部(図示省略)に保存すればよい。
In this embodiment, the
(第3の実施の形態)
本発明の第3の実施の形態に係る図面重畳装置について図面を参照して説明する。図8は第3の実施の形態に係る図面重畳装置本体の機能ブロック図である。本実施の形態が第1の実施の形態と異なる点は、第2の実施の形態と同様に、カメラのレンズ歪みに応じた補正処理を行う点にある。ただし、第2の実施の形態とは補正の対象が異なる。他の点については第1及び第2の実施の形態と同様なので、ここでは相違点のみを説明する。
(Third Embodiment)
A drawing superimposing device according to a third embodiment of the present invention will be described with reference to the drawings. FIG. 8 is a functional block diagram of the drawing superimposing device body according to the third embodiment. This embodiment differs from the first embodiment in that, like the second embodiment, correction processing is performed according to lens distortion of the camera. However, the target of correction is different from that of the second embodiment. Since other points are the same as those of the first and second embodiments, only the points of difference will be described here.
本実施の形態に係る図面重畳装置本体100bは、図8に示すように、補正処理で用いる補正用データを生成する校正処理部190bを備えている。
As shown in FIG. 8, the drawing superimposition apparatus
校正処理部190bは、第2の実施の形態と同様に、深度カメラ200の光学カメラ210を用いて、所定の撮像条件で、所定の校正用の撮像対象物が含まれる現実空間を撮像する。そして、校正処理部190bは、撮像して得られた現実空間画像と、撮像対象物及び撮像条件に関する既知の各種情報とに補正用データを生成する。校正処理部190bにより生成された補正用データは所定の記憶部(図示省略)に記憶するとともに、位置算出部120b及び重畳表示制御部130bに送られる。
As in the second embodiment, the
位置算出部120bの主な機能は、第1の実施形態と同様である。ただし、本実施の形態に係る位置算出部120bは、図面データ記憶部110に記憶された図面データに基づき、現在位置及び方向での仮想空間画像、すなわち当該現在位置及び方向から見た図面データに係る構造物についての仮想的な画像を算出した際に、補正用データを用いて、仮想空間画像を現実空間画像の歪みと同じ様に歪ませるよう補正する処理機能を有する点で、第1の実施の形態と異なる。
The main functions of the
重畳表示制御部130bの主な機能は、第1の実施形態と同様である。ただし、本実施の形態に係る重畳表示制御部130bは、算出された現在の焦点位置及び方向を基準として図面データ記憶部110に記憶された図面データをレンダリングした際に、補正用データを用いて、レンダリング画像を現実空間画像の歪みと同じ様に歪ませるよう補正する処理機能を有する点で、第1の実施の形態と異なる。
The main functions of the superimposed
本実施の形態に係る図面重畳装置によれば、図面データのレンダリングの際にカメラレンズ固有の歪みに応じた補正を行っているので図面データの重畳精度が向上する。他の作用効果については第1の実施の形態と同様である。 According to the drawing superimposing device according to the present embodiment, since the drawing data is rendered in accordance with the distortion specific to the camera lens, the drawing data superimposing accuracy is improved. Other functions and effects are the same as those of the first embodiment.
なお、本実施の形態では、図面重畳装置本体100bに校正処理部190bを実装していたが、他のコンピュータに校正処理部190bを実装し、本実施の形態に係る深度カメラ200を当該他のコンピュータに接続して、校正処理を行ってもよい。この場合、補正用データは、所定の通信媒体又は記憶媒体を介して図面重畳装置本体100bの所定の記憶部(図示省略)に保存すればよい。
Note that in the present embodiment, the
以上、本発明の第1~第3の実施の形態に係る図面重畳装置ついて詳述したが、本発明は上記実施の形態に限定されるものではなく、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよい。 The drawing superimposing devices according to the first to third embodiments of the present invention have been described in detail above, but the present invention is not limited to the above embodiments, and within the scope of the present invention, Various improvements and modifications may be made.
例えば、上記実施の形態では、図面重畳装置本体100と深度カメラ200とを有線通信により接続していたが無線通信により接続するようにしてもよい。
For example, in the above-described embodiment, the drawing superimposition apparatus
1…図面重畳装置
100,100a,100b…図面重畳装置本体
110…図面データ記憶部
120,120b…位置算出部
130,130b…重畳表示制御部
140…履歴記憶部
150…入力装置
160…表示装置
170…通信インタフェイス部
180…補正処理部
190,190b…校正処理部
200…深度カメラ
210…光学カメラ
211…撮像素子
212…光学レンズ
220…深度データ生成部
221…撮像素子
222…光学レンズ
222…赤外線照射部
230…慣性計測部
240…通信インタフェイス部
300…通信ケーブル
400…支持具
401…把手
450…スタビライザー
Claims (7)
図面重畳装置本体と、有線又は無線により前記図面重畳装置本体に接続された撮像装置と、利用者により保持され且つ前記撮像装置を支持する長尺の支持部材とを備え、
前記撮像装置は、現実空間の二次元画像を撮像する一台の一眼のカメラと、前記カメラの焦点位置及び方向を検出するための位置算出用情報を取得する位置算出用情報取得手段を備え、
前記図面重畳装置本体は、
構造物の設計図である図面データを記憶する図面データ記憶部と、
前記位置算出用情報取得手段により取得された位置算出用情報に基づき前記カメラの焦点位置及び方向を算出する位置算出部と、
前記位置算出部により算出されたカメラの現在の焦点位置及び方向を基準として図面データ記憶部に記憶された図面データをレンダリングし、レンダリング画像を前記カメラで撮像された現実空間画像に重畳して表示装置に出力する重畳表示制御部とを備えた
ことを特徴とする図面重畳装置。 A drawing superimposition device for superimposing and displaying drawing data on a captured real space image,
A drawing superimposing device main body, an imaging device connected to the drawing superimposing device main body by wire or wirelessly, and a long support member held by a user and supporting the imaging device,
The imaging device includes a single-lens camera that captures a two-dimensional image of the real space, and position calculation information acquisition means that acquires position calculation information for detecting the focus position and direction of the camera,
The main body of the drawing superimposition device includes:
a drawing data storage unit that stores drawing data that is a design drawing of a structure;
a position calculation unit that calculates the focal position and direction of the camera based on the position calculation information acquired by the position calculation information acquisition means;
The drawing data stored in the drawing data storage unit is rendered based on the current focal position and direction of the camera calculated by the position calculation unit, and the rendered image is displayed superimposed on the real space image captured by the camera. A drawing superimposing device, comprising: a superimposing display control unit for outputting to the device.
ことを特徴とする請求項1記載の図面重畳装置。 2. The drawing superimposing device according to claim 1, wherein the imaging device is attached to the supporting member via a stabilizer.
図面重畳装置本体と、有線又は無線により前記図面重畳装置本体に接続された撮像装置と、前記撮像装置に印可される衝撃及び振動を吸収するスタビライザーとを備え、
前記撮像装置は、現実空間の二次元画像を撮像する一台の一眼のカメラと、前記カメラの焦点位置及び方向を検出するための位置算出用情報を取得する位置算出用情報取得手段を備え、
前記図面重畳装置本体は、
構造物の設計図である図面データを記憶する図面データ記憶部と、
前記位置算出用情報取得手段により取得された位置算出用情報に基づき前記カメラの焦点位置及び方向を算出する位置算出部と、
前記位置算出部により算出されたカメラの現在の焦点位置及び方向を基準として図面データ記憶部に記憶された図面データをレンダリングし、レンダリング画像を前記カメラで撮像された現実空間画像に重畳して表示装置に出力する重畳表示制御部とを備えた
ことを特徴とする図面重畳装置。 A drawing superimposition device for superimposing and displaying drawing data on a captured real space image,
A drawing superimposing device main body, an imaging device connected to the drawing superimposing device main body by wire or wirelessly, and a stabilizer that absorbs shock and vibration applied to the imaging device,
The imaging device includes a single-lens camera that captures a two-dimensional image of the real space, and position calculation information acquisition means that acquires position calculation information for detecting the focus position and direction of the camera,
The main body of the drawing superimposition device includes:
a drawing data storage unit that stores drawing data that is a design drawing of a structure;
a position calculation unit that calculates the focal position and direction of the camera based on the position calculation information acquired by the position calculation information acquisition means;
The drawing data stored in the drawing data storage unit is rendered based on the current focal position and direction of the camera calculated by the position calculation unit, and the rendered image is displayed superimposed on the real space image captured by the camera. A drawing superimposing device, comprising: a superimposing display control unit for outputting to the device.
ことを特徴とする請求項1乃至3記載の図面重畳装置。 4. The drawing superimposing device according to claim 1, wherein the drawing superimposing device body includes a correcting unit that corrects the real space image or the rendered image based on lens distortion information of a camera.
図面重畳装置本体と、有線又は無線により前記図面重畳装置本体に接続された撮像装置とを備え、
前記撮像装置は、現実空間の二次元画像を撮像する一台の一眼のカメラと、前記カメラの焦点位置及び方向を検出するための位置算出用情報を取得する位置算出用情報取得手段を備え、
前記図面重畳装置本体は、
構造物の設計図である図面データを記憶する図面データ記憶部と、
前記位置算出用情報取得手段により取得された位置算出用情報に基づき前記カメラの焦点位置及び方向を算出する位置算出部と、
前記位置算出部により算出されたカメラの現在の焦点位置及び方向を基準として図面データ記憶部に記憶された図面データをレンダリングし、レンダリング画像を前記カメラで撮像された現実空間画像に重畳して表示装置に出力する重畳表示制御部と、
カメラのレンズ歪み情報に基づき現実空間画像又はレンダリング画像を補正する補正部とを備えた
ことを特徴とする図面重畳装置。 A drawing superimposition device for superimposing and displaying drawing data on a captured real space image,
A drawing superimposing device main body and an imaging device connected to the drawing superimposing device main body by wire or wirelessly,
The imaging device includes a single-lens camera that captures a two-dimensional image of the real space, and position calculation information acquisition means that acquires position calculation information for detecting the focus position and direction of the camera,
The main body of the drawing superimposition device includes:
a drawing data storage unit that stores drawing data that is a design drawing of a structure;
a position calculation unit that calculates the focal position and direction of the camera based on the position calculation information acquired by the position calculation information acquisition means;
The drawing data stored in the drawing data storage unit is rendered based on the current focal position and direction of the camera calculated by the position calculation unit, and the rendered image is displayed superimposed on the real space image captured by the camera. a superimposed display control unit that outputs to the device;
A drawing superimposition device, comprising: a correction unit that corrects a real space image or a rendered image based on lens distortion information of a camera.
ことを特徴とする請求項1乃至5何れか1項記載の図面重畳装置。 The position calculation information acquisition means generates, as the position calculation information, depth data corresponding to the physical space image captured by the camera and having distance information between each pixel and an object existing in the physical space. 6. The drawing superimposing device according to any one of claims 1 to 5, further comprising: a depth data generation unit; and an inertia measurement unit that measures inertia information of an imaging device as the position calculation information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019107363A JP7169940B2 (en) | 2019-06-07 | 2019-06-07 | Drawing superimposing device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019107363A JP7169940B2 (en) | 2019-06-07 | 2019-06-07 | Drawing superimposing device and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020201667A JP2020201667A (en) | 2020-12-17 |
JP7169940B2 true JP7169940B2 (en) | 2022-11-11 |
Family
ID=73742124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019107363A Active JP7169940B2 (en) | 2019-06-07 | 2019-06-07 | Drawing superimposing device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7169940B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011192270A (en) | 2010-02-19 | 2011-09-29 | West Japan Railway Co | Structure administrative drawing preparing device and processing program |
JP2016038867A (en) | 2014-08-11 | 2016-03-22 | 株式会社大林組 | Arrangement plan support system, arrangement plan support method, and arrangement plan support program |
JP6438995B2 (en) | 2017-03-24 | 2018-12-19 | 株式会社インフォマティクス | Drawing projection system, drawing projection method and program |
-
2019
- 2019-06-07 JP JP2019107363A patent/JP7169940B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011192270A (en) | 2010-02-19 | 2011-09-29 | West Japan Railway Co | Structure administrative drawing preparing device and processing program |
JP2016038867A (en) | 2014-08-11 | 2016-03-22 | 株式会社大林組 | Arrangement plan support system, arrangement plan support method, and arrangement plan support program |
JP6438995B2 (en) | 2017-03-24 | 2018-12-19 | 株式会社インフォマティクス | Drawing projection system, drawing projection method and program |
Also Published As
Publication number | Publication date |
---|---|
JP2020201667A (en) | 2020-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11223820B2 (en) | Augmented reality displays with active alignment and corresponding methods | |
US10869024B2 (en) | Augmented reality displays with active alignment and corresponding methods | |
US10825198B2 (en) | 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images | |
CN106643699B (en) | Space positioning device and positioning method in virtual reality system | |
JP4667111B2 (en) | Image processing apparatus and image processing method | |
CN100489833C (en) | Position posture measuring method, position posture measuring device | |
CN108444449B (en) | Method for measuring target space attitude with parallel line characteristics | |
CN110230983B (en) | Vibration-resisting optical three-dimensional positioning method and device | |
CN107316319B (en) | Rigid body tracking method, device and system | |
TWI496108B (en) | AR image processing apparatus and method | |
IL308285B1 (en) | System and method for augmented and virtual reality | |
US20130314688A1 (en) | Indoor surveying apparatus | |
JP6516558B2 (en) | Position information processing method | |
KR20170095400A (en) | Part attachment work support system and part attachment method | |
JP2018036189A (en) | Calibration device and calibration method | |
US9558719B2 (en) | Information processing apparatus | |
JP2017034576A (en) | Imaging system, imaging device and image processing apparatus | |
US11288877B2 (en) | Method for matching a virtual scene of a remote scene with a real scene for augmented reality and mixed reality | |
WO2015068470A1 (en) | 3d-shape measurement device, 3d-shape measurement method, and 3d-shape measurement program | |
JP2008311690A (en) | Eyeball movement controller employing principle of vestibulo-ocular reflex | |
JP2016048221A (en) | Arithmetic unit, arithmetic method, and program | |
CN112816967A (en) | Image distance measuring method, device, distance measuring equipment and readable storage medium | |
JP2006170688A (en) | Stereo image formation method and three-dimensional data preparation device | |
KR20170111908A (en) | Aligning device of object position for X-ray photographing and X-ray photographing apparatus using the same | |
JP7169940B2 (en) | Drawing superimposing device and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221031 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7169940 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |