JP6652253B2 - 三次元被写体形状推定装置 - Google Patents
三次元被写体形状推定装置 Download PDFInfo
- Publication number
- JP6652253B2 JP6652253B2 JP2016008446A JP2016008446A JP6652253B2 JP 6652253 B2 JP6652253 B2 JP 6652253B2 JP 2016008446 A JP2016008446 A JP 2016008446A JP 2016008446 A JP2016008446 A JP 2016008446A JP 6652253 B2 JP6652253 B2 JP 6652253B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- data
- dimensional
- image file
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 41
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 22
- 230000010365 information processing Effects 0.000 description 22
- 230000006870 function Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 9
- 230000009467 reduction Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
一般的な測量はレーザースキャニングが利用されているが、機材が高価な上に取り扱いが難しいという短所がある。また、レーザースキャニングによって得られるデータは点データであるので、現場の全体像を把握する用途には不十分である。したがって、今日の現場では多くの場合、レーザースキャニングと写真撮影が併用されている。
なお、非特許文献1には、本発明において使用するフォトグラメトリー技術を実現するオープンソースソフトウェアが開示されている。
しかしながら、測量の現場では撮影対象の実世界中でのサイズこそが重要な情報である。そのため、一部の現場では、フォトグラメトリー技術を導入する際、撮影対象となる空間に、実世界中でのサイズが既知の基準物体を設置し、それと撮影対象を一緒に撮影することで、被写体の実世界中でのサイズを把握することが行われている。しかし、撮影対象となる空間が極めて広範囲な場合、基準物体の設置が困難となり、被写体の実世界中でのサイズを把握することが困難であった。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
図1は、本発明の実施形態の例である三次元被写体形状推定装置に供給するための画像ファイルを作成する手順の概要を示す概略図である。
撮影者101は、撮影対象の現場102を、最低2箇所以上の撮影ポイントからデジタルカメラにて撮影することで、現場102の画像ファイルを作成する。今日、撮像素子を内蔵するスマートフォン等の携帯型無線端末103が普及しているので、これを使用することもできる。但し、撮影の際、最低限、2箇所の撮影ポイント間の距離を取得する必要がある。望ましくは、2箇所の撮影ポイントの緯度、経度、高度が判っているとなおよい。
図1では、撮影者101は、第一撮影ポイントP104、第二撮影ポイントP105、そして第三撮影ポイントP106にて、現場102を撮影し、画像ファイルを取得している。その際、第一撮影ポイントP104と第二撮影ポイントP105の間の距離を取得するか、あるいは第一撮影ポイントP104と第二撮影ポイントP105の緯度、経度、高度を取得する。
図2Aにおいて、撮影者101は第一撮影ポイントP104で携帯型無線端末103を用いて撮影対象の現場102を撮影すると共に、携帯型無線端末103に内蔵されているGPS受信部410(図4A参照)を稼働させて、第一撮影ポイントP104の緯度、経度及び高度を取得する。
更に、撮影者101は第二撮影ポイントP105においても、第一撮影ポイントP104と同様に携帯型無線端末103を用いて撮影対象の現場102を撮影すると共に、携帯型無線端末103に内蔵されているGPS受信部410を稼働させて、第一撮影ポイントP104の緯度、経度及び高度を取得する。
撮影者101は、第三撮影ポイントP106においては、携帯型無線端末103を用いて撮影対象の現場102を撮影するが、その際、携帯型無線端末103に内蔵されているGPS受信部410を稼働させる必要はない。
周知のJPEGフォーマットである第一画像ファイル201には、第一撮影ポイントP104にて撮影した画像データと共に、周知のEXIF(Exchangeable image file format)に従って、GPS受信部410で取得した、第一撮影ポイントP104の緯度、経度、高度情報が記録されている。
第二画像ファイル202には、第二撮影ポイントP105にて撮影した画像データと共に、EXIFに従って、GPS受信部410で取得した、第二撮影ポイントP105の緯度、経度、高度情報が記録されている。
第三画像ファイル203には、第三撮影ポイントP106にて撮影した画像データが記録されている。
なお、緯度、経度、高度情報はEXIFの他、XMP(Extensible Metadata Platform)を用いたり、あるいは画像ファイルとは別にテキストファイル等で画像ファイルのファイル名と紐付けて記録してもよい。勿論、画像ファイルフォーマットもJPEGに限らない。
図3Aにおいて、撮影者101は第一撮影ポイントP104で携帯型無線端末103を用いて撮影対象の現場102を撮影する。
次に、撮影者101はロープ等の相対距離把握具305を用いて、第一撮影ポイントP104から一定の距離だけ離れた第二撮影ポイントP105を定める。そして、第二撮影ポイントP105においても第一撮影ポイントP104と同様に携帯型無線端末103を用いて撮影対象の現場102を撮影する。
撮影者101は、第三撮影ポイントP106においては、携帯型無線端末103を用いて撮影対象の現場102を撮影するが、その際、相対距離把握具305を用いて第三撮影ポイントP106を定める必要はない。任意の場所を第三撮影ポイントP106として定めて撮影してよい。
周知のJPEGフォーマットである第一画像ファイル301には、第一撮影ポイントP104にて撮影した画像データが記録されている。
同様に、第二画像ファイル302には、第二撮影ポイントP105にて撮影した画像データが、第三画像ファイル303には、第三撮影ポイントP106にて撮影した画像データが記録されている。
これら画像ファイルとは別に、テキストファイル304が別途設けられる。このテキストファイル304には、第一画像ファイル301のファイル名と、第二画像ファイル302のファイル名と、第一撮影ポイントP104と第二撮影ポイントP105との間の距離、すなわち相対距離把握具305の長さが記録されている。相対距離把握具305の長さは、例えば1mである。
図4Aは、携帯型無線端末103のハードウェア構成を示すブロック図である。
携帯型無線端末103は、CPU401、ROM402、RAM403、不揮発性ストレージ404、表示部405、そして操作部406が、バス407に接続されている。携帯型無線端末103は更に、撮像素子408、図示しないアクセスポイントを通じて図示しないインターネットに接続するための無線通信部409、衛星の電波を受信して測位情報を出力するGPS受信部410を備える。表示部405と操作部406は周知のタッチパネルディスプレイ411を構成する。
この情報処理装置420は、CPU421、ROM422、RAM423、不揮発性ストレージ424、表示部425、そして操作部426が、バス427に接続されている。また、携帯型無線端末103から画像ファイル等を受信するために、図示しないインターネットに接続するためのNIC428、USB等のシリアルインターフェース429が接続されている。
すなわち、三次元被写体形状推定装置は、計算機資源があれば、如何なる形態でもよいし、また何処で実行してもよい。
図5は、情報処理装置420のソフトウェア機能を示すブロック図である。
画像ファイル群502は、不揮発性ストレージ424に格納された画像ファイル201、202及び203、または画像ファイル301、302及び303である。
特徴点抽出部501は画像ファイル群502を読み込み、画像ファイル群502を構成する各々の画像ファイル中の画像データから特徴点を抽出し、画像ファイルにおける特徴点の二次元座標情報よりなる特徴点データを出力する。また、画像ファイル群502に含まれる画像ファイルをリスト化した画像リストを作成する。この特徴点データはSFM処理部503に読み込まれる。
SFM処理部503は、フォトグラメトリー処理部ともいえるものであり、例えば非特許文献1に開示されるプログラムで構成される複数の画像ファイルに紐付けられる特徴点データ同士の、一致するものを推定演算し、特徴点データを仮想三次元空間内に復元することにより、相対三次元特徴データ504を作成する。ここで、仮想三次元空間とは、特徴点データの相対的な位置関係を表現する仮想空間であり、絶対的な長さが存在しない(実世界中でのサイズを特定できない)仮想的な空間を意味する。この、画像ファイル群502から特徴点抽出部501とSFM処理部503によって相対三次元特徴データ504を得る処理までは、従来から知られている技術である。
相対三次元特徴データ504は、以下の要素よりなる。
<1>カメラ数k(画像ファイルの数に等しい。)
<2>特徴点数n
<3>0〜k−1番目の画像ファイルを生成(撮影)したカメラの、仮想三次元空間内における焦点距離、歪パラメータ、カメラの姿勢を表す回転行列、カメラの位置を表す並進ベクトル(行列)
<4>0〜n−1番目の特徴点の、仮想三次元空間内における位置、色、当該特徴点に対応する点が写っている画像ファイルの数、カメラ番号と当該カメラ画像内における二次元特徴点番号とX・Y座標
なお、kとnは自然数である。
一般に、画像ファイルを撮影したカメラについては、仮想三次元空間内における相対位置が判るものの、その絶対距離は判らないままである。したがって、あるカメラとカメラとの間の絶対距離が判れば、絶対距離の概念がない仮想三次元空間を、絶対距離を有する三次元空間に変換することが可能になる。この結果、特徴点で得られる被写体の大きさも判ることとなる。
一方、カメラ間距離付与部505は、画像ファイル群502または別途テキストファイル304等から、二つの画像ファイルを撮影した地点間の距離を算出して、カメラを示す画像ファイル名と共に、データ変換処理部506に与える。
画像ファイル群502が第一の手順で撮影したものである場合は、カメラ間距離付与部505は、画像ファイル群502からEXIFまたはXMPが記録されている最低2個の画像ファイルを抽出し、この抽出した2個の画像ファイルから、それぞれの緯度、経度、高度を取得する。そして、その2地点間の距離を算出するとともに、画像ファイルのファイル名と距離をデータ変換処理部506に与える。EXIFやXMP以外に、テキストファイル304等で画像ファイルのファイル名と緯度、経度、高度が記録されていても同様の処理内容になる。
画像ファイル群502が第二の手順で撮影したものである場合は、カメラ間距離付与部505は、画像ファイル群502とは別に、最低2個の画像ファイルのファイル名と相対距離が記録されているテキストファイル304を読み込み、そのままその画像ファイルのファイル名と距離をデータ変換処理部506に与える。
具体的には、距離が判明している2個のカメラの仮想三次元空間内における座標情報から、仮想三次元空間内における仮想距離を算出する。次に、カメラ間距離付与部505が出力するカメラ間距離と、仮想距離との比率を算出する。この比率を用いて、相対三次元特徴データ504内における全ての特徴点とカメラの位置データに、拡大または縮小演算処理を施す。この拡大または縮小演算処理は、位置データに拡大または縮小の比率を乗算することによってなされる。データ変換処理部506によって算出された絶対三次元特徴データ507は、絶対距離にて定められる三次元空間における特徴点とカメラのデータの集合体である。
三次元表示処理部510は、絶対三次元復元データ509を読み込み、表示部425に撮影対象の現場102を復元したオブジェクトを表示する。また、マウス等のポインティングデバイスを含む操作部426の操作に基づき、表示部425に表示されるオブジェクトに、拡大、縮小、回転等、様々な表示効果を与えることができる。
ところで、データ変換処理部506は、SFM処理部503の後かつ形状復元処理部508の前に配置され、相対三次元特徴データ504に演算処理を施すに限られない。
図6に示す情報処理装置601の、図5の情報処理装置420との相違点は、データ変換処理部506が形状復元処理部508の後かつ三次元表示処理部510の前に配置されている点である。このため、形状復元処理部508は図5の形状復元処理部508とは異なり、画像ファイル群502と相対三次元特徴データ504に基づいて作成される、絶対距離の概念がない相対三次元復元データ602を出力する。そして、データ変換処理部506は相対三次元復元データ602に対して演算処理を施すことで、絶対三次元復元データ509を生成する。
図5の情報処理装置420は形状復元処理部508が絶対三次元復元データ509を生成していたが、図6の情報処理装置601はデータ変換処理部506が絶対三次元復元データ509を生成する。
図7に示す情報処理装置701の、図5の情報処理装置420との相違点は、データ変換処理部506が三次元表示処理部510の中に配置され、相対三次元復元データ602に対して表示処理と共に演算処理を施すことで、表示部425に対しリアルタイムに絶対三次元復元データ509を表示する点である。
図7の場合、カメラ間距離付与部505からデータ変換処理部506へ絶対距離を与えた瞬間、表示部425に表示中のオブジェクトに対し、長さと大きさを明示するスケールが表示される、という視覚的効果を与えることが可能になる。
図8Aは、絶対距離が与えられる前の、オブジェクトが表示部425に表示されている例を示す概略図である。図8Aに示す、オブジェクトとして表示される現場102は、石切り場や崖等を想定している。
図8Bは、第一の手順または第二の手順で、絶対位置が与えられた状態の、オブジェクトが表示部425に表示されている例を示す概略図である。カメラ間距離が与えられることで、オブジェクトとして表示される現場102の大きさが判明する。そこで、表示部425にスケール801や仮想的な人間モデル802を表示させることで、直感的にオブジェクトの大きさを把握できる。
本実施形態によれば、本来、オブジェクトの実世界中でのサイズを考慮していないSFMが生成する三次元特徴データや三次元復元データに、カメラ間距離を与えて、比率を計算することで、極めて容易にオブジェクトの大きさを表現することができる。
また、携帯型無線端末103がGPS受信部410を内蔵していれば、2箇所以上、撮影対象の現場102を写真撮影するだけで、三次元復元したオブジェクトの大きさのみならず、方位も再現することができる。
GPS受信部410を内蔵していないデジタルカメラであっても、2箇所以上、撮影対象の現場102を写真撮影し、その際のカメラ間距離を測定するだけで、三次元復元したオブジェクトの大きさが再現可能である。
また、本実施形態の三次元被写体形状推定装置は、レーザースキャニングを一切使用しないので、極めて簡易であり、また直感的にオブジェクトを把握することができる。
例えば、上記した実施形態は本発明をわかりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、更にはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
Claims (3)
- 所定の撮影対象を第一の撮影ポイントにて撮影した画像データを含む第一画像ファイルと、前記撮影対象を前記第一の撮影ポイントとは異なる第二の撮影ポイントにて撮影した画像データを含む第二画像ファイルとを含む画像ファイル群を読み込み、前記画像ファイル群における画像データからそれぞれ特徴点を抽出し、前記画像ファイル群における前記特徴点の二次元座標情報よりなる特徴点データを出力する特徴点抽出部と、
前記特徴点データを読み込み、前記画像ファイル群を構成する画像ファイルの数に一致するカメラの数と、前記特徴点データに存在する全ての特徴点の数と、仮想三次元空間内における前記カメラの位置を表す情報と、前記仮想三次元空間内における前記特徴点の位置を表す情報とを有する相対三次元特徴データを出力するフォトグラメトリー処理部と、
前記相対三次元特徴データに含まれる、前記第一画像ファイル及び前記第二画像ファイルに紐付けられる前記カメラの位置を表す情報に対し、前記第一の撮影ポイントと前記第二の撮影ポイントとの間の距離を与えて演算処理を行うことで、前記仮想三次元空間を絶対距離にて定められる三次元空間に変換するデータ変換処理部と
を具備する三次元被写体形状推定装置。 - 前記データ変換処理部に与えられる、前記第一の撮影ポイントと前記第二の撮影ポイントとの間の距離は、前記第一の撮影ポイントにおける緯度及び経度と、前記第二の撮影ポイントにおける緯度及び経度から導き出される、
請求項1に記載の三次元被写体形状推定装置。 - 前記データ変換処理部に与えられる、前記第一の撮影ポイントと前記第二の撮影ポイントとの間の距離は、前記第一の撮影ポイントと前記第二の撮影ポイントとの間の距離を実測した結果である、
請求項1に記載の三次元被写体形状推定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016008446A JP6652253B2 (ja) | 2016-01-20 | 2016-01-20 | 三次元被写体形状推定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016008446A JP6652253B2 (ja) | 2016-01-20 | 2016-01-20 | 三次元被写体形状推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017130008A JP2017130008A (ja) | 2017-07-27 |
JP6652253B2 true JP6652253B2 (ja) | 2020-02-19 |
Family
ID=59396241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016008446A Active JP6652253B2 (ja) | 2016-01-20 | 2016-01-20 | 三次元被写体形状推定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6652253B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6837694B1 (ja) * | 2020-08-07 | 2021-03-03 | 株式会社大島商事 | 足形状特定データ生成方法、製靴方法、既製靴検索方法、オーダー靴製造支援システム、既製靴検索システム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006119005A (ja) * | 2004-10-22 | 2006-05-11 | Ryonichi Engineering Co Ltd | 大規模構造物計測装置及び大規模構造物計測方法 |
JP4977339B2 (ja) * | 2005-07-11 | 2012-07-18 | 株式会社トプコン | 地理データ収集装置 |
JP2015059754A (ja) * | 2013-09-17 | 2015-03-30 | 株式会社日立製作所 | 気球型遠隔計測システム |
-
2016
- 2016-01-20 JP JP2016008446A patent/JP6652253B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017130008A (ja) | 2017-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Falkingham | Acquisition of high resolution three-dimensional models using free, open-source, photogrammetric software | |
JP6915716B2 (ja) | サーバ、端末、画像送信方法、記憶媒体 | |
JP7058277B2 (ja) | 再構成方法および再構成装置 | |
JP2010109783A (ja) | 電子カメラ | |
US20150154806A1 (en) | Aligning Digital 3D Models Using Synthetic Images | |
JP6088260B2 (ja) | 処理装置、処理システム、処理方法及びプログラム | |
KR20100124748A (ko) | 매끄러운 정사영 이미지 생성 플랫폼 | |
JP6374754B2 (ja) | 画像合成装置及びそのプログラム | |
WO2018078986A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
Barazzetti et al. | Automation in multi-image spherical photogrammetry for 3D architectural reconstructions | |
CN113436318A (zh) | 场景重建方法、装置、电子设备和计算机存储介质 | |
JP6652253B2 (ja) | 三次元被写体形状推定装置 | |
JP2016194783A (ja) | 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム | |
JP2016194784A (ja) | 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム | |
CN116824688A (zh) | 小腿动作捕捉方法、系统及存储介质 | |
US10521957B2 (en) | Methods and systems for reconstructing GIS scenes | |
Wulf et al. | 3D reconstruction of archaeological trenches from photographs | |
JP2013214158A (ja) | 表示画像検索装置、表示制御システム、表示制御方法、およびプログラム | |
Mat et al. | An effective visualization and comparison of online terrain draped with multi-sensor satellite images | |
JP2006059165A (ja) | 3次元モデリング装置、幾何学パターン、3次元モデリングデータの生成方法、3次元モデリングプログラム、記録媒体 | |
JP5396971B2 (ja) | 位置検索システム及び位置検索方法 | |
Chen et al. | The power of indoor crowd: Indoor 3D maps from the crowd | |
JP2007286909A (ja) | 写真アーカイブ生成装置、及び写真アーカイブ生成プログラム | |
WO2023053485A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
Shunli et al. | A 3d reconstruction and visualization app using monocular vision service |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6652253 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |