JP5920807B2 - 光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラム - Google Patents
光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラム Download PDFInfo
- Publication number
- JP5920807B2 JP5920807B2 JP2011163709A JP2011163709A JP5920807B2 JP 5920807 B2 JP5920807 B2 JP 5920807B2 JP 2011163709 A JP2011163709 A JP 2011163709A JP 2011163709 A JP2011163709 A JP 2011163709A JP 5920807 B2 JP5920807 B2 JP 5920807B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- optical axis
- imaging
- axis direction
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims description 107
- 238000000034 method Methods 0.000 title claims description 26
- 238000003384 imaging method Methods 0.000 claims description 156
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 18
- 230000005389 magnetism Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000012876 topography Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
Description
(1)撮影位置や撮像方向(光軸方向)が特定できるので、同じような風景の写真(撮影画像)が撮影されたとしても、既存の地形データを併用することでそれぞれ撮影した場所を容易に特定することができる。
(2)撮像方向(光軸方向)を計測するための計器(電子コンパスや方位センサなど)を必要とせず、経済性に優れ、しかも装置が小型化するため手軽に持ち運びできる。
(3)電子コンパスを用いないので、航空機内など局所的に強く帯磁された磁場が存在しても、これに影響されることなく、精度よく撮像方向(光軸方向)を特定することができる。
(4)静止して撮影した場合に限らず、移動中に撮影した画像の撮像方向(光軸方向)も特定することができるので、極めて汎用的である。
(5)レーザ距離計と併用した場合、併せてレーザの照射方向も把握できるので、高価なIMUを搭載する必要がなく、経済性に優れる。
図1は、本願発明の光軸方向特定装置1によって崩壊地Aを撮像する状況を示した説明図である。光軸方向特定装置1の構成要素である撮像用カメラ2によって画像を取得すると同時に参照用カメラ3でも画像を取得し、これらの画像を照合した結果と予め取得された参照用カメラ3の位置及び撮像方向に基づいて、撮像用カメラ2の撮像方向(光軸方向)を求めるものである。以下便宜上、撮像用カメラ2によって取得された画像を「主画像」、参照用カメラ3によって取得された画像を「参照画像」という。なお、図1では光軸方向特定装置1の構成要素のうち撮像用カメラ2と参照用カメラ3を図示しており、他の構成要素である位置計測手段、方位計測手段、画像照合手段、光軸方向特定手段はその図示を省略している。
図2は、本願発明の光軸方向特定装置1の構成を示したモデル図である。この図に示すように光軸方向特定装置1は、撮像用カメラ2、参照用カメラ3、位置計測手段5、方位計測手段6、制御手段7を構成要素として備えている。
図3は、参照画像と主画像の照合方法を説明するためのモデル図であり、(a)は参照用カメラ3で撮像した参照画像のモデル図、(b)は撮像用カメラ2で撮像した主画像のモデル図である。
feature transform)特徴値によるマッチングを採用することもできる。SIFT特徴量とは、スケール(大きさ、移動、回転)に依存しない特徴量のことであり、そのため主画像G2のダウンサンプリングを行う必要がなく、主画像G2で直接照合させることができるので好適である。
図3に示す参照画像G1の中から主画像G2に相当する「照合部分」を抽出すると、さらにこの照合部分の中から主画像G2の中心点に相当する点を求める。具体的には、主画像G2の画素のうち中心点が存在する画素(以下、「中心画素」という。)を選出し、この中心画素の相当する画素(以下、「中心相当画素」という。)を照合部分の中から抽出する。
なおここでいう「中心点」とは、撮像用カメラ2の光軸が通過する点であり、主画像G2内に設定される点のことである。
撮像用カメラ2の光軸方向を特定できることを利用して、レーザ距離計を併用することができる。すなわち、レーザ距離計の照射方向が、撮像用カメラ2の光軸方向と略平行(平行含む)となるように、レーザ距離計で計測すればその照射方向は容易に特定できるわけである。従って、通常は必要となる、レーザ距離計のための姿勢計測装置(IMUなど)を使用する必要がない。特に、光軸方向特定装置1のプラットフォーム8が自動車のようにある程度水平姿勢にあることを前提できる場合には、前記したように方位計測手段6としてIMUを用いる必要がないので、IMUを設置することなくレーザ距離計測が可能となり、経済的に極めて有利な効果を奏する。
図1及び図2に基づいて、本願発明の第1の実施例について説明する。
(1)航空機4の所定位置に、参照用カメラ3、GPS(位置計測手段5)のアンテナ部5aとレシーバ部5b、IMU(方位計測手段6)をそれぞれ固定する。このとき、参照用カメラ3とアンテナ部5aはできるだけ近い(平面的に近い)位置に固定する。また、参照用カメラ3の撮像方向と、航空機4の飛行方向との関係を把握しておく。
(2)さらに航空機4内に、外部出力装置9が接続された制御手段7を設置し、撮像用カメラ2を手持ちにした撮像者が乗り込む。
(3)航空機4による飛行中に、撮像用カメラ2で崩壊地Aを含む主画像を取得する。同時に、自動的かつ定期的に参照用カメラ3でも崩壊地Aを含む参照画像を取得する。
(4)また飛行中は、自動的かつ定期的にGPSで位置座標が計測されるとともに、IMUでも航空機4の姿勢が計測されている。
(5)崩壊地Aを含む参照画像を取得した時刻(あるいは最も近い時刻)に計測された位置座標と航空機4の姿勢結果に基づいて、参照用カメラ3の位置と撮像方向を特定する。
(6)参照画像の中から主画像と照合する照合部分を抽出し、照合部分の中から中心相当画素とこれに対応する視線方向を抽出し、これをもって撮像用カメラ2の光軸方向とする。
(7)このように特定された撮像用カメラ2の光軸方向や、主画像、参照画像が、航空機4の飛行中、外部出力装置9に出力される。
次に、本願発明の第2の実施例について説明する。
(1)自動車の所定位置に、参照用カメラ3、GPS(位置計測手段5)のアンテナ部5aとレシーバ部5b、これとは異なる位置に他のGPS(方位計測手段6)をそれぞれ固定する。このとき、参照用カメラ3とアンテナ部5aはできるだけ近い(平面的に近い)位置に固定する。また、上記2点のGPSレシーバは自動車の前進方向に並ぶように設置するとともに、参照用カメラ3の撮像方向と自動車の前進方向との関係を把握しておく。
(2)さらに自動車内に、外部出力装置9が接続された制御手段7を設置し、撮像用カメラ2を手持ちにした撮像者が乗り込む。
(3)自動車を停止させ、撮像用カメラ2で崩壊地Aを含む主画像を取得する。同時に、自動的かつ定期的に参照用カメラ3でも崩壊地Aを含む参照画像を取得する。
(4)また参照用カメラ3での撮像中は、自動的かつ定期的にGPSで位置座標(2点分)が計測される。2点のGPSを計測することによって、自動車の前進方向を特定することができる。
(5)計測された位置座標(2点分)に基づいて、参照用カメラ3の位置と撮像方向を特定する。
(6)参照画像の中から主画像と照合する照合部分を抽出し、照合部分の中から中心相当画素とこれに対応する視線方向を抽出し、これをもって撮像用カメラ2の光軸方向とする。
(7)このように特定された撮像用カメラ2の光軸方向や、主画像、参照画像が、外部出力装置9に出力される。
2 撮像用カメラ
3 参照用カメラ
4 航空機
5 位置計測手段
5a (GPSの)アンテナ部
5b (GPSの)レシーバ部
6 方位計測手段
7 制御手段
8 プラットフォーム
9 外部出力装置
A 崩壊地
C1 (参照用カメラの)ccdイメージセンサ
C2 (撮像用カメラの)ccdイメージセンサ
G1 参照用画像
G2 主画像
G2’(ダウンサンプリングを行った結果の)主画像
L1 (参照用カメラの)撮像方向
L2 (撮像用カメラの)光軸方向
O1 (参照用カメラの)レンズ位置
O2 (撮像用カメラの)レンズ位置
Claims (5)
- 移動体上で撮像用カメラによって取得した主画像と、該移動体に固定された参照用カメラで取得した参照画像と、を照合することで撮像用カメラの光軸方向を特定する方法であって、
前記撮像用カメラは前記参照用カメラに比して高い解像度を具備し、前記参照用カメラは前記撮像用カメラに比して広角な撮像が可能であって、
前記移動体の移動中に、前記撮像用カメラによって前記主画像を取得する主画像取得工程と、
前記移動体の移動中に、前記参照用カメラによって前記参照画像を取得する参照画像取得工程と、
前記移動体の移動中に、前記参照用カメラの位置と参照用カメラの撮像方向とを取得する空間情報取得工程と、
前記参照画像の中から前記主画像と照合する照合部分を抽出するとともに、この照合部分の中から主画像の中心点を求める画像照合工程と、
前記画像照合工程によって求められた主画像の中心点と、前記空間情報取得工程によって取得された該中心点に係る参照画像取得時における参照用カメラの位置及び撮像方向と、に基づいて撮像用カメラの光軸方向を特定する光軸方向特定工程と、
を備えたことを特徴とする光軸方向特定方法。 - レーザ距離計の照射方向と、前記撮像用カメラの光軸方向と、を平行又は略平行としたうえで、該レーザ距離計によって距離計測を行うレーザ測距工程を備えたことを特徴とする請求項1記載の光軸方向特定方法。
- 移動体上で撮像用カメラによって取得した主画像と、該移動体に固定された参照用カメラで取得した参照画像と、を照合することで撮像用カメラの光軸方向を特定する装置であって、
前記参照用カメラに比して高い解像度を具備する前記撮像用カメラと、
前記撮像用カメラに比して広角な撮像が可能である前記参照用カメラと、
前記参照用カメラの位置を取得する位置計測手段と、
前記参照用カメラの撮像方向を特定可能な姿勢情報を取得する方位計測手段と、
前記参照用カメラによって取得された前記参照画像の中から、前記撮像用カメラによって取得された前記主画像と照合する照合部分を抽出するとともに、この照合部分の中から主画像の中心点を求める画像照合手段と、
前記画像照合手段によって求められた主画像の中心点と、前記位置計測手段によって取得された参照用カメラの位置と、前記方位計測手段によって取得された姿勢情報と、に基づいて撮像用カメラの光軸方向を特定する光軸方向特定手段と、を備え、
前記撮像用カメラ及び前記参照用カメラは、前記移動体の移動中に撮像可能であり、
前記位置計測手段は前記移動体の移動中に前記参照用カメラの位置を取得可能であるとともに、前記方位計測手段は前記移動体の移動中に前記姿勢情報を取得可能であり、
前記光軸方向特定手段は、前記画像照合手段によって求められた前記主画像の中心点と、該中心点に係る参照画像取得時における参照用カメラの前記位置及び前記姿勢情報と、に基づいて撮像用カメラの光軸方向を特定する、ことを特徴とする光軸方向特定装置。 - レーザ距離計を備え、
前記レーザ距離計は、前記撮像用カメラの光軸方向と平行又は略平行に、レーザを照射して、距離計測可能であることを特徴とする請求項3記載の光軸方向特定装置。 - 移動体上で撮像用カメラによって取得した主画像と、該移動体に固定された参照用カメラで取得した参照画像と、を照合することで撮像用カメラの光軸方向を特定するプログラムであって、
前記参照用カメラに比して高い解像度を具備する前記撮像用カメラで取得された前記主画像を読み込む機能と、
前記撮像用カメラに比して広角な撮像が可能である前記参照用カメラで取得された前記参照画像を読み込む機能と、
前記参照用カメラの位置情報を読み込む機能と、
前記参照用カメラの撮像方向を特定可能な姿勢情報を読み込む機能と、
前記参照画像の中から、前記主画像と照合する照合部分を抽出するとともに、この照合部分の中から主画像の中心点を求める画像照合機能と、
前記画像照合機能によって求められた主画像の中心点と、該中心点に係る参照画像取得時における参照用カメラの前記位置情報及び前記姿勢情報と、に基づいて撮像用カメラの光軸方向を特定する光軸方向特定機能と、をコンピュータに実現させるプログラムであって、
前記撮像用カメラ及び前記参照用カメラは、前記移動体の移動中に撮像可能であり、
前記位置情報は前記移動体の移動中に位置計測手段によって取得されるとともに、前記姿勢情報は前記移動体の移動中に方位計測手段によって取得され、
前記光軸方向特定機能は、前記参照画像の中に求められた前記主画像の中心点と、該中心点に係る参照画像取得時における参照用カメラの前記位置及び前記姿勢情報と、に基づいて撮像用カメラの光軸方向を特定する、ことを特徴とする光軸方向特定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011163709A JP5920807B2 (ja) | 2011-07-26 | 2011-07-26 | 光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011163709A JP5920807B2 (ja) | 2011-07-26 | 2011-07-26 | 光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013030851A JP2013030851A (ja) | 2013-02-07 |
JP5920807B2 true JP5920807B2 (ja) | 2016-05-18 |
Family
ID=47787510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011163709A Active JP5920807B2 (ja) | 2011-07-26 | 2011-07-26 | 光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5920807B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105278541B (zh) * | 2015-09-02 | 2018-08-17 | 盐城智博科技有限公司 | 一种飞行器辅助降落控制方法及系统 |
CN109477716A (zh) * | 2016-06-02 | 2019-03-15 | 三菱电机株式会社 | 姿态估计装置、姿态估计方法和观测系统 |
JP6656605B2 (ja) * | 2019-02-05 | 2020-03-04 | リコーイメージング株式会社 | 撮影システム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002296010A (ja) * | 2001-03-29 | 2002-10-09 | Fujitsu Ltd | 画像を用いた自己位置同定方法 |
JP4984650B2 (ja) * | 2006-05-30 | 2012-07-25 | トヨタ自動車株式会社 | 移動装置及び移動装置の自己位置推定方法 |
-
2011
- 2011-07-26 JP JP2011163709A patent/JP5920807B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013030851A (ja) | 2013-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5227110B2 (ja) | Gps付全方位カメラ及び空間データ収集装置 | |
EP3008489B1 (en) | Mobile imaging platform calibration | |
US20110050903A1 (en) | Method for determining position and orientation of vehicle trailers | |
US11042997B2 (en) | Panoramic photographing method for unmanned aerial vehicle and unmanned aerial vehicle using the same | |
JP2009188980A (ja) | 360度の視野をもつステレオカメラ | |
CA2603329C (en) | Method and system for producing an image from a vehicle | |
US20180293450A1 (en) | Object detection apparatus | |
CN107560603B (zh) | 一种无人机倾斜摄影测量系统及测量方法 | |
JP2016048172A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
KR101575954B1 (ko) | 3차원 정합을 이용한 증강현실 장치 및 그 방법 | |
JP6479296B2 (ja) | 位置姿勢推定装置および位置姿勢推定方法 | |
KR101883188B1 (ko) | 선박 위치 결정 방법 및 시스템 | |
JP4077385B2 (ja) | 画像処理を用いたグローバル座標取得装置 | |
JP5716273B2 (ja) | 捜索目標位置特定装置、捜索目標位置特定方法及びプログラム | |
JP5920807B2 (ja) | 光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラム | |
US20140105458A1 (en) | Method for remotely determining an absolute azimuth of a target point | |
JP4752319B2 (ja) | 画像認識装置及び画像認識方法 | |
JP5769149B2 (ja) | モバイルマッピングシステム、及びこれを用いた沿道対象物の計測方法と、位置特定プログラム | |
CN108195359B (zh) | 空间数据的采集方法及系统 | |
US7839490B2 (en) | Single-aperture passive rangefinder and method of determining a range | |
JP6799635B2 (ja) | 空撮画像位置特定システムおよび空撮画像位置特定方法。 | |
JP2007255955A (ja) | 姿勢角検出装置、カメラ | |
US11415990B2 (en) | Optical object tracking on focal plane with dynamic focal length | |
JP2016176751A (ja) | 目標情報取得装置及び目標情報取得方法 | |
Wu et al. | Geo-registration and mosaic of UAV video for quick-response to forest fire disaster |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140723 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160323 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160405 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5920807 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |