JP6384961B2 - カメラキャリブレーション装置、カメラキャリブレーション方法、カメラキャリブレーションプログラム及び記録媒体 - Google Patents
カメラキャリブレーション装置、カメラキャリブレーション方法、カメラキャリブレーションプログラム及び記録媒体 Download PDFInfo
- Publication number
- JP6384961B2 JP6384961B2 JP2015098252A JP2015098252A JP6384961B2 JP 6384961 B2 JP6384961 B2 JP 6384961B2 JP 2015098252 A JP2015098252 A JP 2015098252A JP 2015098252 A JP2015098252 A JP 2015098252A JP 6384961 B2 JP6384961 B2 JP 6384961B2
- Authority
- JP
- Japan
- Prior art keywords
- calibration
- camera
- posture
- calibration object
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000036544 posture Effects 0.000 claims description 101
- 239000013598 vector Substances 0.000 claims description 34
- 238000011156 evaluation Methods 0.000 claims description 16
- 230000010365 information processing Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 15
- 238000013519 translation Methods 0.000 description 15
- 238000013507 mapping Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
例えば、非特許文献2に記載の手法は、カメラとの間に屈折層を含んだ撮影対象とする空間中に、チェッカーボードなどの較正物体を設置し、画素からその較正物体平面上の点へのマッピングを表す近似関数を求めることでキャリブレーションを実現している。
(第1の実施形態)
まず、第1の実施形態として、1つのカメラにおけるキャリブレーションとして、撮影空間中の光線とカメラで撮影された画像の画素とのマッピングの処理(内部キャリブレーション)について説明する。図1は、第1の実施形態におけるカメラキャリブレーションが行われる撮影空間を示す図である。図1に示す通り、カメラ1と撮影空間との間に未知の屈折層2が存在し、撮影空間中に較正物体3、3’が設置されている。ここで、較正物体3’は、較正物体3と同一物体であって、較正物体3の姿勢が変更された後の状態を示すものである。なお、較正物体3として、どのような物体を用いても構わないが、後述する画素と較正物体3上の位置との対応関係が得られるものを使う必要がある。本実施形態においては、較正物体3として、グレイコードを表示する平面ディスプレイなどが用いられる。
まず、画像入力部11は、較正物体3の姿勢を変化させながら撮影した画像群{In,m|n=0,…,N−1,m=0,…Mn−1}を入力する(ステップS101)。ここで、入力された画像群中に含まれる較正物体3の姿勢の数をNとし、較正物体3がn番目の姿勢である場合の画像の枚数をMnとする。ここで、Nは3以上とし、Mnは画素とn番目の姿勢の較正物体3上の位置を対応付けるのに必要な画像の枚数とする。Mnは較正物体3の種類や撮影空間の大きさなどに依存する。
次に、第2の実施形態として、複数のカメラ間の関係を求めるキャリブレーションについて説明する。具体的には、2つのカメラ間の相対的な位置関係を推定し、各画素にマッピングされた光線に対して、カメラ間で共通の座標系を用いた記述を求めるキャリブレーション(外部キャリブレーション)について説明する。
光線情報入力部21は、カメラの画素ごとに対応付けられた光線の情報(以下、光線情報とする。)を入力する。光線情報記憶部22は、入力されたカメラの画素ごとに対応付けられた光線情報を記憶する。カメラ位置情報推定部23は、光線情報を用いてカメラの位置関係を推定する。光線記述変換部24は、得られたカメラの位置関係に基づいて、光線に対して共通の座標系で表現した記述を求める。
まず、光線情報入力部21は、カメラ対(カメラ1aとカメラ1b又はカメラ1bとカメラ1c)に対して、カメラの画素ごとに対応付けられた光線情報を入力し、光線情報記憶部22に記憶する(ステップS201)。ここで、カメラ対ごとに入力される光線情報は、共通の座標系で記述されている。
図7は、第1の実施形態における第1キャリブレーション装置10又は第2の実施形態における第2キャリブレーション装置20のハードウェアの構成例を示す図である。
図7に示すように、第1キャリブレーション装置10又は第2キャリブレーション装置20を、コンピュータによって構成する場合のハードウェア構成を示すブロック図である。第1キャリブレーション装置10又は第2キャリブレーション装置20は、プログラムを実行するCPU(Central Processing Unit)100と、CPU100がアクセスするプログラムやデータが格納されるRAM等のメモリ101と、カメラ等からの処理対象の画像信号を入力する画像入力部102と、カメラキャリブレーション処理をCPU100に実行させるソフトウェアプログラムであるカメラキャリブレーションプログラム105が格納されたプログラム記憶装置103と、CPU100がメモリ101にロードされたカメラキャリブレーションプログラム105を実行することにより生成された画素と光線の対応関係を出力する光線情報出力部104とが、バスで接続された構成になっている。
Claims (8)
- 屈折層を介して被写体を撮影することによって得られる画像の各画素と、前記被写体からの光線との対応付けを行うカメラキャリブレーション装置であって、
前記被写体として姿勢の異なる較正物体を撮影した画像群から、前記較正物体の姿勢ごとに、前記画素と前記較正物体上の位置との対応関係に関する情報を取得する対応関係取得部と、
前記対応関係取得部で取得された前記対応関係に関する情報を用いて、前記較正物体の姿勢を推定して姿勢情報を出力する姿勢推定部と、
前記対応関係取得部で取得された前記対応関係に関する情報と、前記姿勢推定部で推定された前記姿勢情報とを用いて、画素と光線との対応関係を示す光線情報を取得する光線情報取得部とを備え、
前記姿勢推定部は、複数の画像間における同一画素でサンプリングされた前記較正物体上の位置が、撮影空間において一直線上に存在することを用いて前記較正物体の姿勢を推定するカメラキャリブレーション装置。 - 前記姿勢推定部は、同一画素でサンプリングされた前記較正物体上の位置から、1つの画素に対して2本以上の線分を求め、当該線分に対応する方向ベクトル間の外積を最小化するように前記較正物体の姿勢を推定する請求項1に記載のカメラキャリブレーション装置。
- 前記対応関係に関する情報と、前記姿勢情報とを用いて、同一画素でサンプリングされた前記較正物体上の位置から、1つの画素に対して2本以上の線分を求め、当該線分に対応する方向ベクトル間の外積に基づくキャリブレーション評価値を求めるキャリブレーション評価部を更に備える請求項1または請求項2に記載のカメラキャリブレーション装置。
- カメラに対する姿勢の異なる前記較正物体を撮影した画像群から、前記カメラからの距離の違いが少なく、カメラに対する姿勢が異なる較正物体を撮影した3枚以上の画像群を選択する対象画像選択部を更に備え、
前記対応関係取得部は、前記対象画像選択部が選択した画像群から較正物体の姿勢ごとに、画素と較正物体上の位置との対応関係に関する情報を取得する請求項1から請求項3のいずれか一項に記載のカメラキャリブレーション装置。 - 前記較正物体を撮影した画像に対して、前記較正物体が撮影されている領域の割合にしたがって、前記カメラから前記較正物体までの距離を推定する距離推定部と、
前記較正物体を撮影した画像群に対して、前記較正物体の撮影されている領域の形状の違いにしたがって、前記カメラに対する前記較正物体の姿勢の類似度を推定する類似度推定部とを更に備え、
前記対象画像選択部は、前記距離推定部で推定された距離と、前記類似度推定部で推定された類似度とに基づいて、前記カメラからの距離の違いが少なく、カメラに対する姿勢が異なる較正物体を撮影した3枚以上の画像群を選択する請求項4に記載のカメラキャリブレーション装置。 - 屈折層を介して被写体を撮影することによって得られる画像の各画素と、前記被写体からの光線との対応付けを行うカメラキャリブレーション方法であって、
前記被写体として姿勢の異なる較正物体を撮影した画像群から、前記較正物体の姿勢ごとに、前記画素と前記較正物体上の位置との対応関係に関する情報を取得する対応関係取得ステップと、
前記対応関係取得ステップで取得された前記対応関係に関する情報を用いて、前記較正物体の姿勢を推定して姿勢情報を出力する姿勢推定ステップと、
前記対応関係取得ステップで取得された前記対応関係に関する情報と、前記姿勢推定ステップで推定された前記姿勢情報と用いて、画素と光線との対応関係を示す光線情報を取得する光線情報取得ステップとを備え、
前記姿勢推定ステップは、複数の画像間における同一画素でサンプリングされた前記較正物体上の位置が、撮影空間において一直線上に存在することを用いて前記較正物体の姿勢を推定するカメラキャリブレーション方法。 - 請求項6に記載のカメラキャリブレーション方法をコンピュータに実行させるためのカメラキャリブレーションプログラム。
- 請求項7に記載のカメラキャリブレーションプログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015098252A JP6384961B2 (ja) | 2015-05-13 | 2015-05-13 | カメラキャリブレーション装置、カメラキャリブレーション方法、カメラキャリブレーションプログラム及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015098252A JP6384961B2 (ja) | 2015-05-13 | 2015-05-13 | カメラキャリブレーション装置、カメラキャリブレーション方法、カメラキャリブレーションプログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016213783A JP2016213783A (ja) | 2016-12-15 |
JP6384961B2 true JP6384961B2 (ja) | 2018-09-05 |
Family
ID=57550193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015098252A Active JP6384961B2 (ja) | 2015-05-13 | 2015-05-13 | カメラキャリブレーション装置、カメラキャリブレーション方法、カメラキャリブレーションプログラム及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6384961B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3533901A4 (en) | 2016-10-31 | 2020-06-17 | Nippon Steel Corporation | ORIENTED ELECTROMAGNETIC STEEL SHEET |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4916280B2 (ja) * | 2006-08-17 | 2012-04-11 | 国立大学法人 宮崎大学 | 自動キャリブレーション装置、及びキャリブレーション方法 |
-
2015
- 2015-05-13 JP JP2015098252A patent/JP6384961B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016213783A (ja) | 2016-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101893047B1 (ko) | 이미지 처리 방법 및 이미지 처리 장치 | |
JP7058277B2 (ja) | 再構成方法および再構成装置 | |
JPWO2018147329A1 (ja) | 自由視点映像生成方法及び自由視点映像生成システム | |
JP5110138B2 (ja) | Ar処理装置、ar処理方法及びプログラム | |
JP7123736B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
CN112561978B (zh) | 深度估计网络的训练方法、图像的深度估计方法、设备 | |
JP2019190974A (ja) | キャリブレーション装置、キャリブレーション方法、及びプログラム | |
CN110462685B (zh) | 三维模型重建方法和系统 | |
JP6902881B2 (ja) | 情報処理装置及び三次元モデルの生成方法 | |
KR20210056149A (ko) | 깊이 영상 생성 방법 및 깊이 영상 생성 장치 | |
JP6573196B2 (ja) | 距離情報補正装置、距離情報補正方法及び距離情報補正プログラム | |
JP7498404B2 (ja) | 被写体の3次元姿勢推定装置、3次元姿勢推定方法、及びプログラム | |
JP2009186287A (ja) | 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム | |
WO2017187935A1 (en) | Information processing apparatus, information processing method, and program | |
JP6384961B2 (ja) | カメラキャリブレーション装置、カメラキャリブレーション方法、カメラキャリブレーションプログラム及び記録媒体 | |
JP6355206B2 (ja) | カメラキャリブレーション方法、カメラキャリブレーション装置及びカメラキャリブレーションプログラム | |
JP7067479B2 (ja) | 変位計測装置、変位計測システム、変位計測方法及びプログラム | |
CN115700611A (zh) | 学习方法、存储介质以及图像处理装置 | |
US9092840B2 (en) | Image processing apparatus, control method of the same and non-transitory computer-readable storage medium | |
JP2017215706A (ja) | 映像合成方法、映像取得装置、映像合成装置、映像合成システム及びコンピュータプログラム。 | |
JP2005063012A (ja) | 全方位カメラ運動と3次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体 | |
JP6297965B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6071142B2 (ja) | 画像変換装置 | |
JP2015005200A (ja) | 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体 | |
JP2012248206A (ja) | Ar処理装置、ar処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170714 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180605 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180718 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180731 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180803 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6384961 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |