JP5227251B2 - カメラ校正装置およびカメラ校正プログラム - Google Patents
カメラ校正装置およびカメラ校正プログラム Download PDFInfo
- Publication number
- JP5227251B2 JP5227251B2 JP2009112172A JP2009112172A JP5227251B2 JP 5227251 B2 JP5227251 B2 JP 5227251B2 JP 2009112172 A JP2009112172 A JP 2009112172A JP 2009112172 A JP2009112172 A JP 2009112172A JP 5227251 B2 JP5227251 B2 JP 5227251B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- control point
- feature
- landmark
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
かかる構成により、カメラ校正装置は、制御点推定手段によって、合計値が最も大きい部分領域に係る仮の制御点画像座標推定値から、ランドマークに対応する制御点の画像座標を推定することができる。
かかる構成により、カメラ校正装置は、制御点推定手段によって、類似度を考慮して平均を算出する部分領域を決定しているので、類似度を考慮した制御点の画像座標を推定することができる。
本実施形態では、実空間内における位置を表すための座標系を世界座標系と称し、世界座標系内の座標を世界座標と称する。ここでは、世界座標系をデカルト座標系で表し、その各軸をX軸、Y軸およびZ軸とおくこととする。
また、入力画像内の位置を表すための座標系を画像座標系と称し、画像座標系内の座標を画像座標と称する。ここでは、画素並びの水平方向右向きにx軸を、また画素並びの垂直方向下向きにy軸をとることとする。
以下では、図1を参照して、本発明の実施形態に係るカメラ校正装置1の構成について説明する。
具体的には、カメラ校正装置1は、入力された入力画像において指定された画像領域から、特徴点に関する特徴点配置情報および画像特徴を抽出し、画像領域と関連付けられた制御点の世界座標とともにランドマークとして記憶しておき、新たに入力された入力画像において、抽出した特徴点に関する配置情報および画像特徴と、読み出したランドマークに関する情報とから、制御点の画像座標を推定し、当該制御点の画像座標と制御点の世界座標とからカメラパラメータを推定し出力するものである。
[[ランドマーク指定機能部の構成]]
ランドマーク指定手段12は、ランドマークに対応する画像領域等を指定するものである。
具体的には、ランドマーク指定手段12は、入力された入力画像I(x,y)において、特徴点を抽出するための画像領域(以下、パターン画像領域という。)と、世界座標の既知な点である制御点の画像座標(以下、制御点画像座標という。)とを指定し、指定された結果を特徴抽出手段14へ出力するものである。
具体的には、特徴抽出手段14は、ランドマーク指定手段12で指定された入力画像I(x,y)のパターン画像領域内から、視覚的に特徴的な点である特徴点を抽出し、その特徴点の配置に関する特徴点配置情報と、その特徴点の視覚的な特徴を定量化した画像特徴とを抽出して、ランドマーク記憶手段18へ出力するものである。
特徴抽出手段14が、n番目のランドマークL(n)に対応するパターン画像領域D(n)内から抽出した特徴点の数をM(n)個(M(n)は自然数)とし、抽出したm番目(1≦m≦M(n))の特徴点をEm (n)とする。
具体的には、世界座標入力手段16は、ランドマーク指定手段12において画像座標を指定した各制御点について、世界座標を入力し、ランドマーク記憶手段18へ出力するインタフェースである。
世界座標入力手段16で入力された、第nのランドマークL(n)に対応する制御点C(n)の世界座標をw(n)=[wx (n),wy (n),wz (n)]Tと記す。
具体的には、ランドマーク記憶手段18は、特徴抽出手段14から入力した特徴点配置情報および画像特徴と、世界座標入力手段16から入力した制御点世界座標との組を、ランドマークごとに(制御点ごとに)複数組記憶する記憶手段である。また、ランドマーク記憶手段18は、後述するカメラパラメータ推定機能部20の照合手段24、制御点推定手段26、およびカメラパラメータ推定手段28から読み出し要求があった場合に、記憶しているデータを出力するものである。ランドマーク記憶手段18は、半導体メモリ、ハードディスク等の一般的な記憶媒体であればよく、その種類は問わない。
[[カメラパラメータ推定機能部の構成]]
特徴抽出手段(第2の特徴抽出手段)22は、新たな入力画像から特徴点の情報を抽出するものである。
具体的には、特徴抽出手段22は、新たに入力された入力画像(以下、新たな入力画像という。)I(x,y)内から、視覚的に特徴的な点である特徴点を抽出し、その特徴点の配置に関する配置情報と、その特徴点の視覚的な特徴を定量化した画像特徴とを抽出して、画像特徴を照合手段24へ、配置情報を制御点推定手段26へ、それぞれ出力するものである。
この特徴抽出手段22は、ランドマーク指定機能部10の特徴抽出手段14と、特徴点等を抽出する領域が異なるのみで、ほぼ同様の処理を行うものである。
具体的には、照合手段24は、ランドマーク記憶手段18から読み出した各ランドマークL(n)の画像特徴F(n)を構成する各画像特徴fm (n)に対して、特徴抽出手段22から入力した画像特徴Φを構成する画像特徴φkの中から、最も類似度の高い画像特徴φkを探索し、その番号kを照合結果hm (n)として、制御点推定手段26へ出力するものである(1≦n≦N、1≦m≦M(n)、1≦k≦K)。
具体的には、制御点推定手段26は、ランドマーク記憶手段18から読み出した各ランドマークの特徴点配置情報(G(1),…,G(N))と、特徴抽出手段22から入力された特徴点の配置情報Γと、照合手段24から入力された照合結果情報(H(1),…,H(N))とに基づき、新たな入力画像I(x,y)内のどこに各ランドマーク(L(1),…,L(N))の制御点(C(1),…,C(N))があるかを推定し、推定した制御点推定画像座標(κ(1),…,κ(N))を、カメラパラメータ推定手段28へ出力する。
具体的には、カメラパラメータ推定手段28は、ランドマーク記憶手段18から読み出したN個の制御点世界座標(w(1),…,w(N))と、制御点推定手段26から入力されたN個の制御点推定画像座標(κ(1),…,κ(N))とに基づき、カメラパラメータθを算出し、カメラパラメータ推定機能部20の結果として出力するものである。
次に、本発明の実施形態におけるカメラ校正装置1の動作について説明する。前述したように、カメラ校正装置1は、その機能により、ランドマーク指定機能部10と、カメラパラメータ推定機能部20とに大別される。以下では、それぞれについて、動作を説明する。
まず、図6を参照して(構成については、適宜図1を参照)、本発明の実施形態に係るカメラ校正装置1のランドマーク指定機能部10の動作について説明する。
次に、図7を参照して(構成については、適宜図1を参照)、本発明の実施形態に係るカメラ校正装置1のカメラパラメータ推定機能部20の動作について説明する。
10 ランドマーク指定機能部
12 ランドマーク指定手段
14 特徴抽出手段(第1の特徴抽出手段)
16 世界座標入力手段
18 ランドマーク記憶手段
20 カメラパラメータ推定機能部
22 特徴抽出手段(第2の特徴抽出手段)
24 照合手段
26 制御点推定手段
28 カメラパラメータ推定手段
Claims (5)
- 入力画像において指定した世界座標の既知な制御点の画像座標と抽出した特徴点とを用いて、新たな入力画像において抽出した特徴点から前記制御点の画像座標を推定して、カメラパラメータを算出するカメラ校正装置であって、
前記入力画像において、世界座標が既知な点である前記制御点の画像座標と、当該制御点と関連付けるべき画像領域とを指定するランドマーク指定手段と、
前記ランドマーク指定手段により指定された画像領域から、視覚的に特徴的な点である特徴点を1つ以上抽出し、当該特徴点の配置に関する第1の配置情報と当該特徴点の視覚的な特徴を定量化した第1の画像特徴とを抽出する第1の特徴抽出手段と、
前記ランドマーク指定手段により指定した前記制御点の世界座標を入力する世界座標入力手段と、
前記制御点に関連づけられた前記画像領域から前記特徴抽出手段が抽出した第1の配置情報および第1の画像特徴と、前記世界座標入力手段から入力された当該制御点の世界座標との組を、1つのランドマークとして、このランドマークを複数記憶するランドマーク記憶手段と、
前記新たな入力画像から、視覚的に特徴的な点である特徴点を1つ以上抽出し、当該特徴点の配置に関する第2の配置情報と当該特徴点の視覚的な特徴を定量化した第2の画像特徴とを抽出する第2の特徴抽出手段と、
前記ランドマーク記憶手段から読み出したランドマークの各第1の画像特徴に対して、前記第2の特徴抽出手段が抽出した第2の画像特徴の中から、最も類似度の高い前記第2の画像特徴を探索し、その照合結果をランドマークごとに照合結果情報として出力する照合手段と、
前記ランドマーク記憶手段から読み出したランドマークの各第1の配置情報と、前記第2の特徴抽出手段から入力した第2の配置情報と、前記照合手段から入力した照合結果情報とに基づき、前記新たな入力画像における当該ランドマークに対応する前記制御点の画像座標を推定し、制御点推定画像座標として出力する制御点推定手段と、
前記ランドマーク記憶手段から読み出した制御点の世界座標と、前記制御点推定手段から入力した制御点推定画像座標とに基づき、カメラパラメータを推定するカメラパラメータ推定手段と、
を備えることを特徴とするカメラ校正装置。 - 前記第1の配置情報は、前記入力画像における前記制御点から前記特徴点への位置ベクトルと、当該特徴点近傍における回転情報およびスケール情報とを含み、
前記第2の配置情報は、前記新たな入力画像における前記特徴点の画像座標と、当該特徴点近傍における回転情報およびスケール情報とを含み、
前記制御点推定手段は、
前記ランドマークの各第1の配置情報に含まれる前記位置ベクトルに対して、当該第1の配置情報に含まれる前記回転情報およびスケール情報と、当該第1の配置情報とともに抽出された前記第1の画像特徴と前記照合結果を介して対応する前記第2の画像特徴とともに抽出された前記第2の配置情報に含まれる前記回転情報およびスケール情報とを用いて、新たな入力画像における位置ベクトルに変換し、当該第2の配置情報に含まれる前記特徴点の画像座標から当該変換した位置ベクトルを減算することによって、仮の制御点画像座標推定値を求め、
前記ランドマークの各第1の配置情報から求めた前記仮の制御点画像座標推定値を、所定の方法により平均することによって、前記新たな入力画像における当該ランドマークに対応する前記制御点の制御点推定画像座標とする
ことを特徴とする請求項1に記載のカメラ校正装置。 - 前記制御点推定手段は、
前記新たな入力画像の全体を複数の部分領域に分割し、前記仮の制御点画像座標推定値がどの部分領域に属するかに応じて、当該部分領域に係る値を1ずつ累積し、その合計値が最も大きい前記部分領域に係る仮の制御点画像座標推定値のみに関して平均を求める
ことを特徴とする請求項2に記載のカメラ校正装置。 - 前記照合手段は、
前記照合結果とともにその類似度を、ランドマークごとに照合結果情報として出力し、
前記制御点推定手段は、
前記新たな入力画像の全体を複数の部分領域に分割し、前記仮の制御点画像座標推定値がどの部分領域に属するかに応じて、当該仮の制御点画像座標推定値の算出に係る前記照合結果に対応する前記類似度に応じた値を、当該部分領域に係る値に累積し、その合計値が最も大きい前記部分領域に係る仮の制御点画像座標推定値のみに関して平均を求める
ことを特徴とする請求項2に記載のカメラ校正装置。 - 入力画像において指定した世界座標の既知な制御点の画像座標と抽出した特徴点とを用いて、新たな入力画像において抽出した特徴点から前記制御点の画像座標を推定して、カメラパラメータを算出するために、コンピュータを、
前記入力画像において、世界座標が既知な点である前記制御点の画像座標と、当該制御点と関連付けるべき画像領域とを指定するランドマーク指定手段、
前記ランドマーク指定手段により指定された画像領域から、視覚的に特徴的な点である特徴点を1つ以上抽出し、当該特徴点の配置に関する第1の配置情報と当該特徴点の視覚的な特徴を定量化した第1の画像特徴とを抽出し、当該画像領域に係る前記制御点で関連付けられたランドマークの構成要素としてランドマーク記憶手段に記憶する第1の特徴抽出手段、
前記ランドマーク指定手段により指定した前記制御点の世界座標を入力し、当該制御点で関連付けられた前記ランドマークの構成要素として前記ランドマーク記憶手段に記憶する世界座標入力手段、
前記新たな入力画像から、視覚的に特徴的な点である特徴点を1つ以上抽出し、当該特徴点の配置に関する第2の配置情報と当該特徴点の視覚的な特徴を定量化した第2の画像特徴とを抽出する第2の特徴抽出手段、
前記ランドマーク記憶手段から読み出したランドマークの各第1の画像特徴に対して、前記第2の特徴抽出手段が抽出した第2の画像特徴の中から、最も類似度の高い前記第2の画像特徴を探索し、その照合結果をランドマークごとに照合結果情報として出力する照合手段、
前記ランドマーク記憶手段から読み出したランドマークの各第1の配置情報と、前記第2の特徴抽出手段から入力した第2の配置情報と、前記照合手段から入力した照合結果情報とに基づき、前記新たな入力画像における当該ランドマークに対応する前記制御点の画像座標を推定し、制御点推定画像座標として出力する制御点推定手段、
前記ランドマーク記憶手段から読み出した制御点の世界座標と、前記制御点推定手段から入力した制御点推定画像座標とに基づき、カメラパラメータを推定するカメラパラメータ推定手段、
として機能させることを特徴とするカメラ校正プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009112172A JP5227251B2 (ja) | 2009-05-01 | 2009-05-01 | カメラ校正装置およびカメラ校正プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009112172A JP5227251B2 (ja) | 2009-05-01 | 2009-05-01 | カメラ校正装置およびカメラ校正プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010261785A JP2010261785A (ja) | 2010-11-18 |
JP5227251B2 true JP5227251B2 (ja) | 2013-07-03 |
Family
ID=43359985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009112172A Expired - Fee Related JP5227251B2 (ja) | 2009-05-01 | 2009-05-01 | カメラ校正装置およびカメラ校正プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5227251B2 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10116359A (ja) * | 1996-10-09 | 1998-05-06 | Sony Corp | カメラパラメータ演算装置及び画像合成装置 |
JP2000275013A (ja) * | 1999-03-24 | 2000-10-06 | Mr System Kenkyusho:Kk | 視点位置姿勢の決定方法、コンピュータ装置および記憶媒体 |
KR100776215B1 (ko) * | 2005-01-25 | 2007-11-16 | 삼성전자주식회사 | 상향 영상을 이용한 이동체의 위치 추정 및 지도 생성장치 및 방법과 그 장치를 제어하는 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체 |
JP4977436B2 (ja) * | 2006-10-23 | 2012-07-18 | 日本放送協会 | 光源位置推定装置 |
JP4886661B2 (ja) * | 2007-11-12 | 2012-02-29 | 日本放送協会 | カメラパラメータ推定装置およびカメラパラメータ推定プログラム |
JP4906683B2 (ja) * | 2007-11-12 | 2012-03-28 | 日本放送協会 | カメラパラメータ推定装置およびカメラパラメータ推定プログラム |
-
2009
- 2009-05-01 JP JP2009112172A patent/JP5227251B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010261785A (ja) | 2010-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6512857B1 (en) | Method and apparatus for performing geo-spatial registration | |
US9177381B2 (en) | Depth estimate determination, systems and methods | |
US6587601B1 (en) | Method and apparatus for performing geo-spatial registration using a Euclidean representation | |
Mellado et al. | Relative scale estimation and 3D registration of multi-modal geometry using Growing Least Squares | |
US20150310617A1 (en) | Display control device and display control method | |
JP6842039B2 (ja) | カメラ位置姿勢推定装置、方法およびプログラム | |
JP5261501B2 (ja) | 不変の視覚場面及び物体の認識 | |
JP2022542204A (ja) | 画像座標系の変換方法並びにその、装置、機器およびコンピュータプログラム | |
Läbe et al. | Automatic relative orientation of images | |
Taketomi et al. | Real-time and accurate extrinsic camera parameter estimation using feature landmark database for augmented reality | |
CN107194959A (zh) | 基于切片进行图像配准的方法和装置 | |
CN107170001A (zh) | 用于对图像进行配准的方法和装置 | |
JP5468824B2 (ja) | 3次元における形状の一致を判定する方法および装置 | |
JP4906683B2 (ja) | カメラパラメータ推定装置およびカメラパラメータ推定プログラム | |
JP5210241B2 (ja) | 画像検索装置及びその制御方法並びにプログラム | |
Ghannam et al. | Cross correlation versus mutual information for image mosaicing | |
CN108960267A (zh) | 用于模型调整的系统和方法 | |
JP4694624B2 (ja) | 画像補正装置及び方法、並びにコンピュータプログラム | |
WO2012133371A1 (ja) | 撮像位置および撮像方向推定装置、撮像装置、撮像位置および撮像方向推定方法ならびにプログラム | |
JP5227251B2 (ja) | カメラ校正装置およびカメラ校正プログラム | |
KR101373397B1 (ko) | 증강현실의 호모그래피 정확도 향상을 위한 csp 기반의 ransac 샘플링 방법 | |
CN113570535A (zh) | 视觉定位方法及相关装置、设备 | |
Gonzalez et al. | A C-embedded algorithm for real-time monocular SLAM | |
Wang et al. | Automatic registration of large-scale multi-sensor datasets | |
Yao et al. | Robust range image registration using 3D lines |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130315 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160322 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |