JP4825971B2 - 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 - Google Patents
距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 Download PDFInfo
- Publication number
- JP4825971B2 JP4825971B2 JP2005206034A JP2005206034A JP4825971B2 JP 4825971 B2 JP4825971 B2 JP 4825971B2 JP 2005206034 A JP2005206034 A JP 2005206034A JP 2005206034 A JP2005206034 A JP 2005206034A JP 4825971 B2 JP4825971 B2 JP 4825971B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- spherical
- distance
- camera
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
R. Yang and M.Pollefeys , "Multi-Resolution Real-Time Stereo on Commodity Graphics Hardware,"2003 Conference on Computer Vision and Pattern Recognition (CVPR ’03) ,Volume1, pp211-217, ,2003
を備えることを特徴とする。
によって算出する距離算出工程と、を備えることを特徴とする。
によって算出し、距離ρl及び距離ρrを、
によって算出することが好ましい。
図1は、本発明に係る構造解析装置の一実施形態を適用したナビゲーションシステムのの構成を示すブロック図である。ナビゲーションシステム1は、車両や移動ロボットなどの移動体に適用される。ナビゲーションシステム1は、移動体周囲の情景(シーン)を被写体として撮影し、撮影によって取得された被写体の画像を利用して被写体の3次元構造を抽出する構造解析装置100を備える。また、ナビゲーションシステム1は、構造解析装置100で抽出された被写体の3次元構造を表示する表示部200と、操作者が各種指示を入力するための入力部300とを有する。
とすると、実空間上の点Pの投影点pの位置ベクトルmは、
と表される。ここで、スケールパラメータρを、
とし、λを(f/ρ)とすると、式(6)と式(7)とから、
が成り立つ。これはスケールパラメータρを除けば、mとMcとは等しいことを意味する。更に、f=1としたときの球面画像を正規球面画像とも称す。以下では、特に断らない限り、球面画像3は、正規球面画像で表されるものとする。
と表される。ここで、天頂角θは、魚眼レンズに入射する入射光線と魚眼レンズの光軸とのなす角度である。なお、魚眼レンズに入射する入射光線は、図1における投影線R1に相当する。
が成り立つ。そして、式(9)より
となる。ただし、
である。
が成り立つ。式(15)では、校正パターン4Bを含む平面をXwYw平面とし、校正パターン4Bに直交する方向をZw軸方向とする世界座標系(所定の世界座標系)Swを設定している。
式(13)及び式(19)より、点Pの球面画像3l,3rへの投影点pl,prは、それらの位置ベクトルをml,mrとすると、
となる。
と表される。この回転行列Raは次のようにして決定される。回転行列Raを
とする。校正後のXl軸及びXr軸は2つの原点Ol,Orを通る直線R2と平行であることから、次式が成り立つ。
また、Yl(Yr)軸がXl(Xr)軸と直交することから、校正前のカメラ座標系SlのZl軸の単位ベクトルをkとしたとき、次式が成り立つ、
更に、ra1〜ra3の間には次式が成り立つ。
式(23)〜式(25)によってra1〜ra3が算出され、回転行列Raが決定される。
となる。また、点Pと点ploとを通る直線の方程式及び点Pと点plnを通る直線の方程式は、次のように表される。
校正前後において原点位置及び半径は変わらないことから、λoとλnは等しい。ここでは、球面画像3lについて説明しているが、球面画像3rについても同様であり、
が成り立つ。式(27)及び式(28)より、
が成り立つ。
式(30)では、説明の便宜のため、経緯度画像6l又は経緯度画像6rに含まれる点をまとめて点Lで表している。以下では、各経緯度画像6lに含まれる点Lに対応する点pの各座標には「l」を付し、各経緯度画像6rに含まれる点Lに対応する点pの各座標には「r」を付して表す。
で対応づけられており、第2のテーブルには点qの座標と点Lの座標との対応関係が示されている。これによって、経緯度画像形成部25では、校正部24で校正された球面画像3l(3r)を展開した経緯度画像6l(6r)が形成されることになる。従って、経緯度画像6lに含まれるエピポーラ線7lと経緯度画像6rに含まれるエピポーラ線7rとが平行になっている。
に基づいて視差dを算出する。
に基づいて算出する。ここで、bsは、カメラ部間距離であり、校正されたカメラ座標系Sl,Srの原点Ol,Or間の距離である。
次に、パラメータ算出部23が、カメラ11l,11rが有する他のパラメータを更に校正する場合の実施形態について説明する。カメラ11lの校正方法とカメラ11rの校正方法とは同じであるので、カメラ11l,11rを区別する符合「l」、「r」は付さずに説明する。
で示される射影方式がある。魚眼レンズ12の製造誤差などを考慮すると、式(10)、及び、式(36)〜式(38)は、
として表されるが、パラメータ算出部23では、近似式として
を利用する。k1、k3、k5は、焦点距離fに依存しており、画像平面の原点である画像中心に対する結像点の径方向の歪みを表す放射歪み(radial distortion)パラメータである。
によって算出され、校正後の画像座標系での点qと原点Cとの距離rq、及び、x軸からの方位角φqは、
となる。
となる(例えば、A. Conrady, “Decenteringlens system”, Monthly Notices of the Royal Astronomical Soc. Vol. 79,pp.384-390, 1919、R. Swaminathan,et. al., “Nonmetric calibration of wide-angle lenses and polycameras”, IEEE.PAMI, vol.22, No.10, 2000参照)。式(43)及び式(44)を極座標で表示すると、
となる。
であり、校正すべきカメラ11の内部パラメータは(x0,y0,α,k1,k3,k5,J1,J2)である。
この場合、実空間上の点Pに対応する球面画像3上の対応点pの座標は、前述したカメラ11の内部パラメータを利用して表されることになる。
で表されるので、フィッティングによって得られた楕円の中心を画像中心(x0,y0)の初期値とし、
で表される被写体像のアスペクト比をαの初期値とする。
が得られる。1つの格子点Pから式(54)及び式(55)に示すように2つの式が得られることからN点を観測すると、2N個の方程式が得ることができる。内部パラメータを既知とすると、式(54)及び式(55)を利用してカメラ11の外部パラメータ(R,T)を算出できる。パラメータ算出部23は、6点以上の格子点Pを抽出し、式(54)及び式(55)を利用して線形推定でR,Tを算出する。
実際にCCDカメラ13で得られた被写体像2上の点qiの位置ベクトルniと、格子点の世界座標Swの座標から算出された点qiの位置ベクトルnqiとの間の二乗距離d(ni,nqi)2の合計を最小化し、内部パラメータ及び外部パラメータを調整する。すなわち、目的関数η3として、
を設定し、その最小化を実施することで、内部パラメータ及び外部パラメータを調整する。
が成り立つ。これは立体射影を用いたときの式(53)に対応する。従って、放射歪みの初期値値を次式から決定すればよい。
が成り立つので、距離算出手段27は、視差dを算出せずに、第1及び第2の角度θl,θr及び距離bsから式(61)及び式(62)を利用して距離ρl,ρrを算出してもよい。
Claims (9)
- 魚眼レンズ特性を有する第1のカメラ部と、
魚眼レンズ特性を有しており前記第1のカメラ部とステレオカメラ部を構成する第2のカメラ部と、
前記第1のカメラ部から出力される第1の被写体像に対応する第1の球面画像内の一対のエピポールを両極として展開される平面画像としての第1の経緯度画像を前記第1の被写体像から形成すると共に、前記第2のカメラ部から出力される第2の被写体像に対応する第2の球面画像内の一対のエピポールを両極として展開される平面画像としての第2の経緯度画像を前記第2の被写体像から形成する経緯度画像形成部と、
前記第1及び第2のカメラ部の視野内に含まれる実空間上の点に対応する前記第1及び第2の経緯度画像内の対応点を特定する対応点探索部と、
前記第1の球面画像での前記対応点である第1の対応点及び前記第1の球面画像の中心を通る直線と前記第1及び第2の球面画像の中心を通る直線とのなす第1の角度、前記第2の球面画像での前記対応点である第2の対応点及び前記第2の球面画像の中心を通る直線と前記第1及び第2の球面画像の中心を通る直線とのなす第2の角度、及び、前記第1のカメラ部と前記第2のカメラ部との間のカメラ部間距離に基づいて前記実空間上の点から前記第1及び第2のカメラ部までの距離を算出する距離算出手段と、
を備え、
前記第1の経緯度画像における前記一対のエピポールの間の幅をM 01 とし、当該一対のエピポールのうち前記第1の球面画像の中心からみて前記第2の球面画像と反対側に位置するエピポールから前記第1の経緯度画像内の前記対応点までの距離をi 1 とし、前記第1の角度をθ l としたとき、前記θ l は、π×(M 01 −i 1 )/M 01 であり、
前記第2の経緯度画像における前記一対のエピポールの間の幅をM 02 とし、当該一対のエピポールのうち前記第2の球面画像の中心からみて前記第1及び第2の球面画像の間に位置するエピポールから前記第2の経緯度画像内の前記対応点までの距離をi 2 とし、前記第2の角度をθ r としたとき、前記θ r は、π×i 2 /M 02 である、
ことを特徴とする距離算出装置。 - 前記距離算出手段は、
前記第1のカメラ部の焦点距離、前記第2のカメラ部の焦点距離、前記第1の角度及び前記第2の角度を利用して前記第1及び第2の対応点間の視差を算出する視差算出部と、
前記第1の角度、前記第2の角度、前記カメラ部間距離、及び、前記視差に基づいて前記実空間上の点から前記第1及び第2のカメラ部までの距離を算出する距離算出部と、
を有し、
前記視差算出部は、
前記第1及び第2のカメラ部の焦点距離をfとしたとき、前記第1及び第2の対応点間の視差dを、d=f(π−θ l −θ r )によって算出し、
前記距離算出部は、
前記第1のカメラ部と前記第2のカメラ部との間のカメラ部間距離をb s とし、前記実空間上の点から前記第1及び第2のカメラ部までの距離をそれぞれ距離ρ l 及び距離ρ r としたとき、
前記距離ρ l を、ρ l =b s ×sin(θ r )/sin(d/f)によって算出し、
前記距離ρ r を、ρ r =b s ×sin(θ l )/sin(d/f)によって算出する、
ことを特徴とする請求項1に記載の距離算出装置。 - 前記第1の被写体像から前記第1の球面画像を形成すると共に、前記第2の被写体像から前記第2の球面画像を形成する球面画像形成部と、
前記球面画像形成部で形成される第1及び第2の球面画像を校正する校正部と、
を更に備え、
前記校正部は、前記第1の球面画像を表示する第1のカメラ座標系と前記第2の球面画像を表示する第2のカメラ座標系とを、互いのZ軸が平行であり且つ互いのY軸が平行であって互いのX軸が同一直線上に位置するように変換することによって前記第1及び第2の球面画像を校正し、
前記経緯度画像形成部は、前記校正部によって校正された前記第1及び第2の球面画像に対応する前記第1及び第2の経緯度画像を形成することを特徴とする請求項1又は2に記載の距離算出装置。 - 請求項1〜3の何れか一項に記載の距離算出装置と、
前記距離算出装置で算出された前記距離と、前記第1及び第2の被写体像とから前記ステレオカメラ部の周囲の3次元構造を抽出する構造解析部と、
を備える構造解析装置。 - 前記構造解析部で抽出された前記ステレオカメラ部の周囲の3次元構造を表示する表示部を更に備えることを特徴とする請求項4に記載の構造解析装置。
- ステレオカメラ部を構成しており魚眼レンズ特性を有する第1及び第2のカメラ部によって被写体像を取得する像取得工程と、
前記第1のカメラ部から出力される第1の被写体像に対応する第1の球面画像内の一対のエピポールを両極として展開される平面画像としての第1の経緯度画像を前記第1の被写体像から形成すると共に、前記第2のカメラ部から出力される第2の被写体像に対応する第2の球面画像内の一対のエピポールを両極として展開される平面画像としての第2の経緯度画像を前記第2の被写体像から形成する経緯度画像形成工程と、
前記第1及び第2のカメラ部の視野内に位置する実空間上の点に対応する前記第1及び第2の経緯度画像内の対応点を特定する対応点探索工程と、
前記第1の球面画像での前記対応点である第1の対応点及び前記第1の球面画像の中心を通る直線と前記第1及び第2の球面画像の中心を通る直線とのなす第1の角度をθl、前記第2の球面画像での前記対応点である第2の対応点及び前記第2の球面画像の中心を通る直線と前記第1及び第2の球面画像の中心を通る直線とのなす第2の角度をθr、前記第1のカメラ部と前記第2のカメラ部との間のカメラ部間距離をbsとしたとき、
前記実空間上の点から前記第1のカメラ部までの距離ρl及び前記第2のカメラ部までの距離ρrを、
を備え、
前記第1の経緯度画像における前記一対のエピポールの間の幅をM 01 とし、当該一対のエピポールのうち前記第1の球面画像の中心からみて前記第2の球面画像と反対側に位置するエピポールから前記第1の経緯度画像内の対応点までの距離をi 1 としたとき、前記θ l は、π×(M 01 −i 1 )/M 01 であり、
前記第2の経緯度画像における前記一対のエピポールの間の幅をM 02 とし、当該一対のエピポールのうち前記第2の球面画像の中心からみて前記第1及び第2の球面画像の間に位置するエピポールから前記第2の経緯度画像内の前記対応点までの距離をi 2 としたとき、前記θ r は、π×i 2 /M 02 である、
ることを特徴とする距離算出方法。 - 前記第1の被写体像から前記第1の球面画像を形成すると共に、前記第2の被写体像から前記第2の球面画像を形成する球面画像形成工程と、
前記球面画像形成工程で形成される前記第1及び第2の球面画像を校正する校正工程と、
を更に有し、
前記校正工程では、前記第1の球面画像を表示する第1のカメラ座標系と前記第2の球面画像を表示する第2のカメラ座標系とを、互いのZ軸が平行であり且つ互いのY軸が平行であって互いのX軸が同一直線上になるように変換することよって前記第1及び第2の球面画像を校正し、
前記経緯度画像形成工程では、前記校正工程によって校正された前記第1及び第2の球面画像に対応する前記第1及び第2の経緯度画像を形成することを特徴とする請求項6又は7に記載の距離算出方法。 - 請求項6〜8の何れか一項に記載の距離算出方法によって算出された前記距離ρlと、前記距離ρrと、前記第1及び第2の被写体像とから前記ステレオカメラ部の周囲の3次元構造を抽出する構造解析工程を備えることを特徴とする構造解析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005206034A JP4825971B2 (ja) | 2005-07-14 | 2005-07-14 | 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005206034A JP4825971B2 (ja) | 2005-07-14 | 2005-07-14 | 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007056228A Division JP4825980B2 (ja) | 2007-03-06 | 2007-03-06 | 魚眼カメラの校正方法。 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007024647A JP2007024647A (ja) | 2007-02-01 |
JP4825971B2 true JP4825971B2 (ja) | 2011-11-30 |
Family
ID=37785612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005206034A Active JP4825971B2 (ja) | 2005-07-14 | 2005-07-14 | 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4825971B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103925919A (zh) * | 2014-01-10 | 2014-07-16 | 北京航天飞行控制中心 | 一种基于鱼眼相机的行星车探测点定位方法 |
US10872432B2 (en) | 2018-01-05 | 2020-12-22 | Panasonic Intellectual Property Management Co., Ltd. | Disparity estimation device, disparity estimation method, and program |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009300138A (ja) * | 2008-06-11 | 2009-12-24 | Meidensha Corp | 画像処理によるラインセンサ焦点距離測定装置 |
JP5310130B2 (ja) * | 2009-03-11 | 2013-10-09 | オムロン株式会社 | 3次元視覚センサによる認識結果の表示方法および3次元視覚センサ |
KR101236475B1 (ko) | 2009-04-14 | 2013-02-22 | 한국전자통신연구원 | 얼굴 검출 장치 및 이를 이용한 거리 측정 방법 |
JP5366264B2 (ja) * | 2010-08-03 | 2013-12-11 | アルプス電気株式会社 | ステレオカメラシステム及び該システムを備える車両 |
JP5872818B2 (ja) * | 2010-08-20 | 2016-03-01 | パナソニック株式会社 | 測位処理装置、測位処理方法、および画像処理装置 |
JP2012247364A (ja) * | 2011-05-30 | 2012-12-13 | Panasonic Corp | ステレオカメラ装置、ステレオカメラシステム、プログラム |
WO2013154085A1 (ja) * | 2012-04-09 | 2013-10-17 | クラリオン株式会社 | キャリブレーション方法および装置 |
EP2884460B1 (en) | 2013-12-13 | 2020-01-01 | Panasonic Intellectual Property Management Co., Ltd. | Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium |
WO2017199352A1 (ja) * | 2016-05-17 | 2017-11-23 | 株式会社オプティム | 全天球カメラ撮像画像表示システム、全天球カメラ撮像画像表示方法及びプログラム |
CN107809610B (zh) | 2016-09-08 | 2021-06-11 | 松下知识产权经营株式会社 | 摄像头参数集算出装置、摄像头参数集算出方法以及记录介质 |
US10909708B2 (en) * | 2016-12-09 | 2021-02-02 | Hand Held Products, Inc. | Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements |
JP7038345B2 (ja) | 2017-04-20 | 2022-03-18 | パナソニックIpマネジメント株式会社 | カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置 |
JP7016058B2 (ja) | 2017-04-28 | 2022-02-04 | パナソニックIpマネジメント株式会社 | カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2697917B2 (ja) * | 1989-09-28 | 1998-01-19 | 日本電信電話株式会社 | 三次元座標計測装置 |
US5990941A (en) * | 1991-05-13 | 1999-11-23 | Interactive Pictures Corporation | Method and apparatus for the interactive display of any portion of a spherical image |
JPH05300424A (ja) * | 1992-04-17 | 1993-11-12 | Canon Inc | 距離情報表示手段を有した撮像装置 |
JP2611173B2 (ja) * | 1992-06-11 | 1997-05-21 | 運輸省船舶技術研究所長 | 魚眼レンズを用いた測位方法およびその装置 |
JPH08329222A (ja) * | 1995-06-02 | 1996-12-13 | Takenaka Komuten Co Ltd | 3次元位置認識装置 |
JP3907891B2 (ja) * | 1999-11-11 | 2007-04-18 | 富士フイルム株式会社 | 画像撮像装置及び画像処理装置 |
JP2002101408A (ja) * | 2000-09-22 | 2002-04-05 | Asahi Precision Co Ltd | 監視カメラシステム |
-
2005
- 2005-07-14 JP JP2005206034A patent/JP4825971B2/ja active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103925919A (zh) * | 2014-01-10 | 2014-07-16 | 北京航天飞行控制中心 | 一种基于鱼眼相机的行星车探测点定位方法 |
US10872432B2 (en) | 2018-01-05 | 2020-12-22 | Panasonic Intellectual Property Management Co., Ltd. | Disparity estimation device, disparity estimation method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2007024647A (ja) | 2007-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4825980B2 (ja) | 魚眼カメラの校正方法。 | |
JP4825971B2 (ja) | 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 | |
CN111062873B (zh) | 一种基于多对双目相机的视差图像拼接与可视化方法 | |
KR101666959B1 (ko) | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 | |
JP5739584B2 (ja) | 車両周辺視角化のための3次元映像合成装置およびその方法 | |
JP5011528B2 (ja) | 3次元距離計測センサおよび3次元距離計測方法 | |
JP5872818B2 (ja) | 測位処理装置、測位処理方法、および画像処理装置 | |
US20170127045A1 (en) | Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof | |
JP2874710B2 (ja) | 三次元位置計測装置 | |
US20090041379A1 (en) | Method for providing output image in either cylindrical mode or perspective mode | |
CN110572630B (zh) | 三维图像拍摄系统、方法、装置、设备以及存储介质 | |
WO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
CN113841384B (zh) | 校准装置,用于校准的图表和校准方法 | |
Gao et al. | Dual-fisheye omnidirectional stereo | |
CN109618108B (zh) | 电子设备和移动平台 | |
EP3765815B1 (en) | Imaging device, image processing apparatus, and image processing method | |
US20200294269A1 (en) | Calibrating cameras and computing point projections using non-central camera model involving axial viewpoint shift | |
JP4132068B2 (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
CN110419208B (zh) | 成像系统、成像控制方法、图像处理设备和计算机可读介质 | |
Li et al. | Spherical stereo for the construction of immersive VR environment | |
JP2010276433A (ja) | 撮像装置、画像処理装置及び距離計測装置 | |
Sahin | Comparison and calibration of mobile phone fisheye lens and regular fisheye lens via equidistant model | |
JP4631048B2 (ja) | 撮像装置及び撮像系パラメータの校正方法 | |
JP2005275789A (ja) | 三次元構造抽出方法 | |
Schönbein | omnidirectional Stereo Vision for autonomous Vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080711 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110315 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110816 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |