JP2967078B1 - ３次元復元方法 - Google Patents
３次元復元方法Info
- Publication number
- JP2967078B1 JP2967078B1 JP10145866A JP14586698A JP2967078B1 JP 2967078 B1 JP2967078 B1 JP 2967078B1 JP 10145866 A JP10145866 A JP 10145866A JP 14586698 A JP14586698 A JP 14586698A JP 2967078 B1 JP2967078 B1 JP 2967078B1
- Authority
- JP
- Japan
- Prior art keywords
- camera model
- camera
- perspective
- point
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【要約】
【課題】 ノイズなどに強く近似精度も良好で３次元復
元に適した擬似透視カメラモデルを生成する。 【解決手段】 カメラの中心Ｏと３次元空間中の点Ｘと
を結ぶ直線と画像面との交点ｘP にＸの画像を投影する
透視変換カメラモデルと、この透視変換カメラモデルの
線形近似モデルである弱透視変換カメラモデルとの間の
中間的性質を用いて擬似透視カメラモデルを生成する。
元に適した擬似透視カメラモデルを生成する。 【解決手段】 カメラの中心Ｏと３次元空間中の点Ｘと
を結ぶ直線と画像面との交点ｘP にＸの画像を投影する
透視変換カメラモデルと、この透視変換カメラモデルの
線形近似モデルである弱透視変換カメラモデルとの間の
中間的性質を用いて擬似透視カメラモデルを生成する。
Description
【０００１】
【発明の属する技術分野】この発明は３次元復元方法に
関し、特に、擬似透視カメラモデルを用いて３次元形状
を復元するような３次元復元方法に関する。
関し、特に、擬似透視カメラモデルを用いて３次元形状
を復元するような３次元復元方法に関する。
【０００２】
【従来の技術】カメラは３次元空間を画像という２次元
平面に投影できる唯一の装置である。３次元空間と画像
の間の投影の関係を記述するモデルはカメラモデルと呼
ばれる。カメラモデルは、射影幾何学に基づいて透視変
換カメラモデル，アフィンカメラモデル，弱透視変換カ
メラモデル，正射変換カメラモデルなどに分類される。
平面に投影できる唯一の装置である。３次元空間と画像
の間の投影の関係を記述するモデルはカメラモデルと呼
ばれる。カメラモデルは、射影幾何学に基づいて透視変
換カメラモデル，アフィンカメラモデル，弱透視変換カ
メラモデル，正射変換カメラモデルなどに分類される。
【０００３】図６は透視変換モデルを説明するための図
である。図６において、３次元空間中の点Ｘは点ｘp に
投影される。これはカメラ中心Ｏと３次元空間中の点Ｘ
を結ぶ直線と画像面（Ｚ＝ｆ）との交点である。正射変
換カメラモデルでは、３次元空間中の点Ｘは画像面の点
ｘo に投影される。点ｘo は、３次元空間中の点Ｘから
光軸（カメラ座標系でＺ軸）と平行に直線を延ばしたと
きの画像面との交点である。これらの中間的な投影モデ
ルとして弱透視変換カメラモデルがある。これは、３次
元空間中の点Ｘを一旦光軸に垂直な平面（Ｚ＝ＺC ）に
平行投影した後、画像面に透視変換カメラモデルで投影
するものである。弱透視変換カメラモデルや正射変換カ
メラモデルでは、すべての点の奥行き情報がＺC になっ
たのと等価である。弱透視変換カメラモデルより少し複
雑なカメラモデルとして平行透視（パラ・パースペクテ
ィブ）変換カメラモデルがある。これはＺC 平面に光軸
に平行に投影するのではなく、ある参照点の投影線と平
行に投影するものである。
である。図６において、３次元空間中の点Ｘは点ｘp に
投影される。これはカメラ中心Ｏと３次元空間中の点Ｘ
を結ぶ直線と画像面（Ｚ＝ｆ）との交点である。正射変
換カメラモデルでは、３次元空間中の点Ｘは画像面の点
ｘo に投影される。点ｘo は、３次元空間中の点Ｘから
光軸（カメラ座標系でＺ軸）と平行に直線を延ばしたと
きの画像面との交点である。これらの中間的な投影モデ
ルとして弱透視変換カメラモデルがある。これは、３次
元空間中の点Ｘを一旦光軸に垂直な平面（Ｚ＝ＺC ）に
平行投影した後、画像面に透視変換カメラモデルで投影
するものである。弱透視変換カメラモデルや正射変換カ
メラモデルでは、すべての点の奥行き情報がＺC になっ
たのと等価である。弱透視変換カメラモデルより少し複
雑なカメラモデルとして平行透視（パラ・パースペクテ
ィブ）変換カメラモデルがある。これはＺC 平面に光軸
に平行に投影するのではなく、ある参照点の投影線と平
行に投影するものである。
【０００４】３次元空間中の点とその画像面への投影像
をそれぞれ斉次座標ｘ# ，Ｘ# で表わすと、今まで挙げ
たカメラモデルの投影の関係はすべて次のような簡潔な
表現となる。
をそれぞれ斉次座標ｘ# ，Ｘ# で表わすと、今まで挙げ
たカメラモデルの投影の関係はすべて次のような簡潔な
表現となる。
【０００５】
【数１】
【０００６】上述の式においてＰは投影行列と呼ばれ、
３×４の行列である。最も一般的な投影行列は射影変換
カメラモデルの場合である。行列の各要素は、定数倍の
不定性を残して任意に設定できる。しかし、透視変換カ
メラモデルでは、次式のように分解できなくてはならな
い。
３×４の行列である。最も一般的な投影行列は射影変換
カメラモデルの場合である。行列の各要素は、定数倍の
不定性を残して任意に設定できる。しかし、透視変換カ
メラモデルでは、次式のように分解できなくてはならな
い。
【０００７】
【数２】
【０００８】ここで、Ａはカメラの内部パラメータを示
し、ＰP は透視変換の投影行列を示し、Ｄはカメラの位
置ｔと姿勢Ｒを表わしている。また、ｆu ，ｆv は焦点
距離を示し、ｕ0 ，ｖ0 は光軸と画像面との交点（画像
中心）の座標を示している。
し、ＰP は透視変換の投影行列を示し、Ｄはカメラの位
置ｔと姿勢Ｒを表わしている。また、ｆu ，ｆv は焦点
距離を示し、ｕ0 ，ｖ0 は光軸と画像面との交点（画像
中心）の座標を示している。
【０００９】これに対して、正射変換カメラおよび弱透
視変換カメラモデルを含むアフィンカメラモデルでは、
上述の式のＰの第３行、第１列から第３列までが０にな
り、それゆえに３次元空間から画像面への投影がユーク
リッド座標系で線形な関係で結ばれる。
視変換カメラモデルを含むアフィンカメラモデルでは、
上述の式のＰの第３行、第１列から第３列までが０にな
り、それゆえに３次元空間から画像面への投影がユーク
リッド座標系で線形な関係で結ばれる。
【００１０】
【数３】
【００１１】これは、奥行き情報Ｚが点ＸのＸ，Ｙ，Ｚ
成分に依存しないということである。逆にいうと、すべ
ての点のＺ成分が一定とみなすようなカメラモデルであ
る。一般に、アフィンカメラモデルを用いたアプリケー
ション（３次元復元，画像生成など）では、第３行が第
１列から第３列まで０になるという性質を有効に使うた
め、この部分を予め消去し、次元を落とした関係式を使
うことが多い。すると、透視変換カメラモデルとアフィ
ンカメラモデルでは、モデルの「形」が変わってしまう
ことになる。
成分に依存しないということである。逆にいうと、すべ
ての点のＺ成分が一定とみなすようなカメラモデルであ
る。一般に、アフィンカメラモデルを用いたアプリケー
ション（３次元復元，画像生成など）では、第３行が第
１列から第３列まで０になるという性質を有効に使うた
め、この部分を予め消去し、次元を落とした関係式を使
うことが多い。すると、透視変換カメラモデルとアフィ
ンカメラモデルでは、モデルの「形」が変わってしまう
ことになる。
【００１２】
【発明が解決しようとする課題】現実のカメラを考える
と、広角レンズ（短い焦点距離）で撮影しているとき
は、透視変換カメラでモデル化するのが適切であるとい
える。広い範囲を撮影するので、対象の形状の奥行き方
向の変化が、対象までの距離に比べて大きくなり、透視
変換による影響が大きくなるからである。この場合、３
次元空間中の平行線は、画像上では平行にならず、消失
点で交わることになる。ところが、望遠レンズ（長い焦
点距離）で撮影すると、視野が狭くなり、対象の奥行き
方向の変化は、対象までの距離に比べて十分に小さいと
仮定できる。それゆえに、アフインカメラモデルの一種
である弱透視変換カメラモデルを採用する方が適切であ
る。
と、広角レンズ（短い焦点距離）で撮影しているとき
は、透視変換カメラでモデル化するのが適切であるとい
える。広い範囲を撮影するので、対象の形状の奥行き方
向の変化が、対象までの距離に比べて大きくなり、透視
変換による影響が大きくなるからである。この場合、３
次元空間中の平行線は、画像上では平行にならず、消失
点で交わることになる。ところが、望遠レンズ（長い焦
点距離）で撮影すると、視野が狭くなり、対象の奥行き
方向の変化は、対象までの距離に比べて十分に小さいと
仮定できる。それゆえに、アフインカメラモデルの一種
である弱透視変換カメラモデルを採用する方が適切であ
る。
【００１３】注意しなくてはいけないのは、３次元空間
の特定の点に注目するならば、焦点距離を変えるだけで
はカメラモデルの変化は必要ないということである。カ
メラと対象の間の距離を変化させて、初めてカメラモデ
ルの変化が意味を持つ。しかし、対象の形状が局所的に
滑らかであるという、一般的な仮定の下では焦点距離が
長くなると、視野が小さくなり、視野内の対象の３次元
形状の奥行き方向の変位が対象までの距離に比較して小
さくなるので、焦点距離を変えるだけでもカメラモデル
を変化させることに意味が出てくる。
の特定の点に注目するならば、焦点距離を変えるだけで
はカメラモデルの変化は必要ないということである。カ
メラと対象の間の距離を変化させて、初めてカメラモデ
ルの変化が意味を持つ。しかし、対象の形状が局所的に
滑らかであるという、一般的な仮定の下では焦点距離が
長くなると、視野が小さくなり、視野内の対象の３次元
形状の奥行き方向の変位が対象までの距離に比較して小
さくなるので、焦点距離を変えるだけでもカメラモデル
を変化させることに意味が出てくる。
【００１４】それゆえに、この発明の主たる目的は、透
視変換カメラモデルと弱透視変換カメラモデルの中間的
な性質を持つ擬似透視カメラモデルを用いて３次元形状
を復元するような３次元復元方法を提供することであ
る。
視変換カメラモデルと弱透視変換カメラモデルの中間的
な性質を持つ擬似透視カメラモデルを用いて３次元形状
を復元するような３次元復元方法を提供することであ
る。
【００１５】
【課題を解決するための手段】請求項１に係る発明は３
次元空間の対象をカメラで撮影する場合の擬似透視カメ
ラモデルの生成方法であって、カメラの中心Ｏと３次元
空間中の点Ｘとを結ぶ直線と画像面との交点ｘp に３次
元空間中の点Ｘの画像を投影する透視変換カメラモデル
と、透視変換カメラモデルの線形近似モデルであり、３
次元空間中の点Ｘを光軸に垂直な平面に平行投影した
後、画像面に透視変換により投影する弱透視変換カメラ
モデルとの間の中間的性質を用いて擬似透視カメラモデ
ルを生成し、ステレオカメラで撮影された画像データに
対して、擬似透視カメラモデルを用いて３次元復元を行
なう。
次元空間の対象をカメラで撮影する場合の擬似透視カメ
ラモデルの生成方法であって、カメラの中心Ｏと３次元
空間中の点Ｘとを結ぶ直線と画像面との交点ｘp に３次
元空間中の点Ｘの画像を投影する透視変換カメラモデル
と、透視変換カメラモデルの線形近似モデルであり、３
次元空間中の点Ｘを光軸に垂直な平面に平行投影した
後、画像面に透視変換により投影する弱透視変換カメラ
モデルとの間の中間的性質を用いて擬似透視カメラモデ
ルを生成し、ステレオカメラで撮影された画像データに
対して、擬似透視カメラモデルを用いて３次元復元を行
なう。
【００１６】請求項２に係る発明では、請求項１の擬似
透視カメラモデルは、弱透視変換カメラモデルの光軸に
垂直な平面に平行投影した点と、透視変換カメラモデル
の３次元空間中の点Ｘとの間をα：１−αで内分する点
ＸQ を透視変換で投影して生成する。
透視カメラモデルは、弱透視変換カメラモデルの光軸に
垂直な平面に平行投影した点と、透視変換カメラモデル
の３次元空間中の点Ｘとの間をα：１−αで内分する点
ＸQ を透視変換で投影して生成する。
【００１７】
【発明の実施の形態】図１はこの発明の一実施形態にお
ける擬似透視カメラモデルを示す図である。
ける擬似透視カメラモデルを示す図である。
【００１８】図１において、前述の図６と同様にして、
３次元空間中の点Ｘは透視変換カメラモデルでは画像面
（Ｚ＝ｆ）の点ｘp に投影され、弱透視変換カメラモデ
ルでは点Ｘが、一旦平面（Ｚ＝ＺC ）に光軸と平行に点
ＸC に投影され、その後、画像面上の点ｘw に投影され
る。この発明の一実施形態においては、透視変換カメラ
モデルと弱透視変換カメラモデルの中間的な性質を持つ
擬似透視変換カメラモデルを提案する。擬似透視カメラ
モデルによる投影点ｘQ は、点ＸC と点Ｘの間をα：１
−αで内分する点ＸQ を透視変換カメラモデルで投影し
たものである。３次元射影空間Ｐ3 の点をＸとする。提
案する擬似透視カメラモデルとは、点Ｘ C とＸを内分す
る点を透視変換するモデルである。つまり、直線ＸC Ｘ
上の点を画像に透視変換したものであり、ｓをパラメー
タとして次式で示される。
３次元空間中の点Ｘは透視変換カメラモデルでは画像面
（Ｚ＝ｆ）の点ｘp に投影され、弱透視変換カメラモデ
ルでは点Ｘが、一旦平面（Ｚ＝ＺC ）に光軸と平行に点
ＸC に投影され、その後、画像面上の点ｘw に投影され
る。この発明の一実施形態においては、透視変換カメラ
モデルと弱透視変換カメラモデルの中間的な性質を持つ
擬似透視変換カメラモデルを提案する。擬似透視カメラ
モデルによる投影点ｘQ は、点ＸC と点Ｘの間をα：１
−αで内分する点ＸQ を透視変換カメラモデルで投影し
たものである。３次元射影空間Ｐ3 の点をＸとする。提
案する擬似透視カメラモデルとは、点Ｘ C とＸを内分す
る点を透視変換するモデルである。つまり、直線ＸC Ｘ
上の点を画像に透視変換したものであり、ｓをパラメー
タとして次式で示される。
【００１９】
【数４】
【００２０】その投影点をｘQ とすると、次式で示され
る。
る。
【００２１】
【数５】
【００２２】図１に示すように、ｘW は弱透視変換カメ
ラモデルの投影像であり、ｘp は透視変換カメラモデル
の投影像である。明らかに、ｘQ は画像上で直線ｘW ｘ
P 上にあり、ｓを０から∞まで変化させることでｘQ は
ｘW からｘP まで連続的に移動する。
ラモデルの投影像であり、ｘp は透視変換カメラモデル
の投影像である。明らかに、ｘQ は画像上で直線ｘW ｘ
P 上にあり、ｓを０から∞まで変化させることでｘQ は
ｘW からｘP まで連続的に移動する。
【００２３】ここで、ユークリッド座標系を付与する。
カメラ座標系で、点Ｘの座標をＸ#〜（Ｘ，Ｙ，Ｚ，
１）とすると、Ｘ# C 〜（Ｘ，Ｙ，ＺC ，１）である。
ゆえに、Ｘ# Q は次式で示される。
カメラ座標系で、点Ｘの座標をＸ#〜（Ｘ，Ｙ，Ｚ，
１）とすると、Ｘ# C 〜（Ｘ，Ｙ，ＺC ，１）である。
ゆえに、Ｘ# Q は次式で示される。
【００２４】
【数６】
【００２５】今、α≡ｓ／（１＋ｓ）とするならば、ｘ
# Q は次式で示される。
# Q は次式で示される。
【００２６】
【数７】
【００２７】ｓ→０，ｓ→∞に対して、α→０，α→１
が対応している。ＸQ のＺ座標に注目すると、Ｚ＝αＺ
＋（１−α）ＺC となっており、この点はユークリッド
空間で点ＸC とＸをα：１−αに内分する点であること
がわかる。また、ＸQ がＸCとＸを内分するのと同じ比
率でｘQ はｘW とｘP を内分している。αはカメラモデ
ルの近似の度合いを表わしているとも言えるし、カメラ
モデルの非線形性を表わす１つの指標にもなっている。
α＝０のときは、弱透視変換カメラモデル、つまり線形
なカメラモデルを表わし、α＝１のときは透視変換カメ
ラモデル、つまり正確なカメラモデルを表わしているか
らである。
が対応している。ＸQ のＺ座標に注目すると、Ｚ＝αＺ
＋（１−α）ＺC となっており、この点はユークリッド
空間で点ＸC とＸをα：１−αに内分する点であること
がわかる。また、ＸQ がＸCとＸを内分するのと同じ比
率でｘQ はｘW とｘP を内分している。αはカメラモデ
ルの近似の度合いを表わしているとも言えるし、カメラ
モデルの非線形性を表わす１つの指標にもなっている。
α＝０のときは、弱透視変換カメラモデル、つまり線形
なカメラモデルを表わし、α＝１のときは透視変換カメ
ラモデル、つまり正確なカメラモデルを表わしているか
らである。
【００２８】このように、２つのパラメータαとＺC で
カメラモデルを弱透視変換カメラモデルから透視変換カ
メラモデルまで連続的に調整できる。また、その性質は
両者の中間的なものになるはずである。
カメラモデルを弱透視変換カメラモデルから透視変換カ
メラモデルまで連続的に調整できる。また、その性質は
両者の中間的なものになるはずである。
【００２９】図２は擬似透視カメラモデルと既存のカメ
ラモデルの間の包含関係を示す図である。
ラモデルの間の包含関係を示す図である。
【００３０】前述の式で表わされたカメラモデルは、α
を０あるいは１にすることで透視変換カメラモデルも弱
透視変換カメラモデルも両方表現することができる。ア
フィンカメラモデルとの関係では、ＰQ の最下位行が必
ずしも（０，０，０，＊）とならないので、アフィンカ
メラより複雑なカメラモデルを表現できる。しかし、必
ずしもアフィンカメラを包含しているとは言えない。ゆ
えに、カメラモデル間の包含関係は図２に示すようにな
る。
を０あるいは１にすることで透視変換カメラモデルも弱
透視変換カメラモデルも両方表現することができる。ア
フィンカメラモデルとの関係では、ＰQ の最下位行が必
ずしも（０，０，０，＊）とならないので、アフィンカ
メラより複雑なカメラモデルを表現できる。しかし、必
ずしもアフィンカメラを包含しているとは言えない。ゆ
えに、カメラモデル間の包含関係は図２に示すようにな
る。
【００３１】次に、カメラが２台あった場合のそれぞれ
の画像の間の関係について説明する。ここで１台目のカ
メラをＣ，２台目をＣ′と呼ぶことにする。カメラＣの
座標系に対するカメラＣ′の外部パラメータをＤとする
と、Ｄは回転と並進を表わし、次式で示される。
の画像の間の関係について説明する。ここで１台目のカ
メラをＣ，２台目をＣ′と呼ぶことにする。カメラＣの
座標系に対するカメラＣ′の外部パラメータをＤとする
と、Ｄは回転と並進を表わし、次式で示される。
【００３２】
【数８】
【００３３】擬似透視カメラモデルの投影式は次の数９
で示される。
で示される。
【００３４】
【数９】
【００３５】ただし、ここでは、ａ≡α，ｂ≡（１−
α）ＺC とおいて、ＰQ は次式で表わす。
α）ＺC とおいて、ＰQ は次式で表わす。
【００３６】
【数１０】
【００３７】ＰQ ｐ＝０を生み出すのは、ＰV Q ＝
（０，０，ｂ，ａ）T であり、また、ＰQの擬似逆行列
は次式となることは容易にわかる。
（０，０，ｂ，ａ）T であり、また、ＰQの擬似逆行列
は次式となることは容易にわかる。
【００３８】
【数１１】
【００３９】カメラＣ′で数９に対応するのは、次式で
ある。
ある。
【００４０】
【数１２】
【００４１】この場合、エピポールｅ′と基礎行列ＦQ
をそれぞれ計算すると次の数１３および数１４となる。
をそれぞれ計算すると次の数１３および数１４となる。
【００４２】
【数１３】
【００４３】
【数１４】
【００４４】もちろん、エピポールと基礎行列は、
（ａ，ｂ，ａ′，ｂ′）＝（１，＊，１，＊）の場合
は、透視変換カメラモデルの場合と一致し、（ａ，ｂ，
ａ′，ｂ′）＝（０，ＺC ，０，Ｚ′C ）の場合は、弱
透視変換カメラモデルと一致する。
（ａ，ｂ，ａ′，ｂ′）＝（１，＊，１，＊）の場合
は、透視変換カメラモデルの場合と一致し、（ａ，ｂ，
ａ′，ｂ′）＝（０，ＺC ，０，Ｚ′C ）の場合は、弱
透視変換カメラモデルと一致する。
【００４５】図３は擬似透視カメラモデルによる３次元
復元方法を説明するための図であり、点Ｘの投影点
ｘP ，ｘ′P から点ＸQQを復元する状態を示す。ここ
で、擬似透視カメラモデルを使い、ステレオカメラから
の３次元復元方法について説明する。基礎行列，エピポ
ールがそれぞれ前述の数１３および数１４のように導出
される擬似透視カメラモデルは、射影変換カメラモデル
の枠組みに包含される存在であるので、従来からの射影
変換カメラモデルによる３次元復元方法をそのまま適用
することもできる。しかし、ここでは、幾何学的な意味
を考えながら、３次元復元方法を導出する。
復元方法を説明するための図であり、点Ｘの投影点
ｘP ，ｘ′P から点ＸQQを復元する状態を示す。ここ
で、擬似透視カメラモデルを使い、ステレオカメラから
の３次元復元方法について説明する。基礎行列，エピポ
ールがそれぞれ前述の数１３および数１４のように導出
される擬似透視カメラモデルは、射影変換カメラモデル
の枠組みに包含される存在であるので、従来からの射影
変換カメラモデルによる３次元復元方法をそのまま適用
することもできる。しかし、ここでは、幾何学的な意味
を考えながら、３次元復元方法を導出する。
【００４６】実際のカメラでは図３に示すように、点Ｘ
は透視変換カメラモデルで画像上点ｘP ，ｘ′P に投影
される。擬似透視カメラモデルを使って、このｘP ，
ｘ′Pから元の３次元位置を推定する。
は透視変換カメラモデルで画像上点ｘP ，ｘ′P に投影
される。擬似透視カメラモデルを使って、このｘP ，
ｘ′Pから元の３次元位置を推定する。
【００４７】まず、カメラＣを考え、ｘP を３次元空間
に逆投影する。もし、カメラＣを透視変換カメラモデル
でモデル化したならば、ｘP はＣ，ｘP ，ＸC を通る半
直線ＣＸP に逆投影される。もちろん、元の点Ｘはこの
直線上に乗る。カメラＣを弱透視変換カメラモデルでモ
デル化した場合、ｘP はＸC を通り、光軸に平行な直線
ＸC ＸW に逆投影される。擬似透視カメラモデルでモデ
ル化した場合は、ＸCを通る直線ＸC ＸQ に逆投影され
る。ＸC ＸQ 上の点からＺ＝ＺC 平面に垂線をおろす
と、この直線は直線ＣＸP によってα：１−αに内分さ
れる。カメラＣのカメラモデルを変化させることで、Ｘ
C ＸP ，ＸC ＸQ ，ＸC ＸW という異なる直線上の点に
逆投影される。カメラＣ′についても同様のことがいえ
る。
に逆投影する。もし、カメラＣを透視変換カメラモデル
でモデル化したならば、ｘP はＣ，ｘP ，ＸC を通る半
直線ＣＸP に逆投影される。もちろん、元の点Ｘはこの
直線上に乗る。カメラＣを弱透視変換カメラモデルでモ
デル化した場合、ｘP はＸC を通り、光軸に平行な直線
ＸC ＸW に逆投影される。擬似透視カメラモデルでモデ
ル化した場合は、ＸCを通る直線ＸC ＸQ に逆投影され
る。ＸC ＸQ 上の点からＺ＝ＺC 平面に垂線をおろす
と、この直線は直線ＣＸP によってα：１−αに内分さ
れる。カメラＣのカメラモデルを変化させることで、Ｘ
C ＸP ，ＸC ＸQ ，ＸC ＸW という異なる直線上の点に
逆投影される。カメラＣ′についても同様のことがいえ
る。
【００４８】点Ｘの３次元復元とは、これらの直線の交
点を求めることである。Ｃ，Ｃ′に透視変換カメラモデ
ルを採用すると、元の位置Ｘが復元される。弱透視変換
カメラモデルであると仮定したならば、元の位置Ｘとは
異なるＸWWの位置が復元される。また、擬似透視カメラ
モデルでは、ＸQQの位置が復元されることになる。Ｘ QQ
は、透視変換カメラモデルと弱透視変換カメラモデルに
よる３次元復元位置の中間の領域である図３の網かけの
部分に存在する。この領域内のどこに復元されるかは、
α，Ｚc ，α′，Ｚ′c という各カメラごとに２つのパ
ラメータで指定できる。逆に、各パラメータを調整する
ことで、領域内の任意の位置を復元できる。
点を求めることである。Ｃ，Ｃ′に透視変換カメラモデ
ルを採用すると、元の位置Ｘが復元される。弱透視変換
カメラモデルであると仮定したならば、元の位置Ｘとは
異なるＸWWの位置が復元される。また、擬似透視カメラ
モデルでは、ＸQQの位置が復元されることになる。Ｘ QQ
は、透視変換カメラモデルと弱透視変換カメラモデルに
よる３次元復元位置の中間の領域である図３の網かけの
部分に存在する。この領域内のどこに復元されるかは、
α，Ｚc ，α′，Ｚ′c という各カメラごとに２つのパ
ラメータで指定できる。逆に、各パラメータを調整する
ことで、領域内の任意の位置を復元できる。
【００４９】擬似透視カメラモデルによる逆投影線ＸC
ＸQ ，Ｘ′C Ｘ′Q の方向ベクトルを、それぞれｗ，
ｗ′とする。カメラＣでの逆投影は次の数１５で表わさ
れる。
ＸQ ，Ｘ′C Ｘ′Q の方向ベクトルを、それぞれｗ，
ｗ′とする。カメラＣでの逆投影は次の数１５で表わさ
れる。
【００５０】
【数１５】
【００５１】ただし、ＸQ ，ＸC は点ＸC ，ＸQ のユー
クリッド座標であり、それぞれ次式で表わされる。
クリッド座標であり、それぞれ次式で表わされる。
【００５２】
【数１６】
【００５３】また、ｓは奥行きに対応するパラメータで
ある。カメラＣ′では、カメラＣ′の座標系で次の数１
７となる。
ある。カメラＣ′では、カメラＣ′の座標系で次の数１
７となる。
【００５４】
【数１７】
【００５５】もし、カメラ同士の相対位置Ｄが得られて
いるならば、 Ｘ′Q ＝ＲＸQ ＋ｔ に数１５および数１７を代入して、ｓ，ｓ′に関して解
けば、ＸQQの位置を決定できる。未知数はｓ，ｓ′の２
つであり、拘束条件は３つあるので解くことができる。
いるならば、 Ｘ′Q ＝ＲＸQ ＋ｔ に数１５および数１７を代入して、ｓ，ｓ′に関して解
けば、ＸQQの位置を決定できる。未知数はｓ，ｓ′の２
つであり、拘束条件は３つあるので解くことができる。
【００５６】図４はαを変化させた場合の点ＸQQの位置
を示す図である。上述のカメラモデルによって３次元復
元を行なうと、図４に示すように、連続的にＸWWからＸ
までαというパラメータに従って移動する。別の見方を
すると、このカメラモデルは、カメラをＺ＝ＺC 平面上
の点ＸC の位置まで前方に移動させ、焦点距離を１／
（１−α）倍した透視変換カメラモデルで対象を撮影し
ていることと等価であることがわかる。したがって、透
視変換カメラモデルによりノイズの影響を受けにくく、
対象の形状をより正確に復元できる。
を示す図である。上述のカメラモデルによって３次元復
元を行なうと、図４に示すように、連続的にＸWWからＸ
までαというパラメータに従って移動する。別の見方を
すると、このカメラモデルは、カメラをＺ＝ＺC 平面上
の点ＸC の位置まで前方に移動させ、焦点距離を１／
（１−α）倍した透視変換カメラモデルで対象を撮影し
ていることと等価であることがわかる。したがって、透
視変換カメラモデルによりノイズの影響を受けにくく、
対象の形状をより正確に復元できる。
【００５７】ここで提案しているカメラモデルは、α，
ＺC というパラメータで弱透視変換から透視変換カメラ
モデルまで連続的に変化させることができる。しかも、
物理的，幾何学的な関係が明白であり、容易に意味づけ
できる点が特徴である。
ＺC というパラメータで弱透視変換から透視変換カメラ
モデルまで連続的に変化させることができる。しかも、
物理的，幾何学的な関係が明白であり、容易に意味づけ
できる点が特徴である。
【００５８】図５は実画像を使用して３次元復元実験を
行なった結果を示す図である。擬似透視カメラモデルが
透視変換カメラと弱透視変換カメラとの間の中間的な性
質をもっていることを確かめるために、透視変換カメラ
と弱透視変換カメラと擬似透視カメラの３種類のカメラ
モデルにより３次元形状の復元を行なって結果を比較す
る。ステレオカメラは前もって校正済みのものを使用し
た。すなわち、Ａ，Ａ′，Ｒ，ｔは既知である。このス
テレオカメラによって得られた画像を図５（ａ），
（ｂ）に示す。この２枚の画像により、まず透視変換カ
メラを仮定して３次元復元を行なった結果が図５（ｃ）
の破線である。元々平行であった線同士がほぼ平行に復
元されていることがわかる。次に、アフィンカメラを仮
定して復元を行なった結果を図５（ｃ）の一点鎖線によ
り示す。平行な線同士が平行には復元されず、元の３次
元形状が正確には復元されていない。
行なった結果を示す図である。擬似透視カメラモデルが
透視変換カメラと弱透視変換カメラとの間の中間的な性
質をもっていることを確かめるために、透視変換カメラ
と弱透視変換カメラと擬似透視カメラの３種類のカメラ
モデルにより３次元形状の復元を行なって結果を比較す
る。ステレオカメラは前もって校正済みのものを使用し
た。すなわち、Ａ，Ａ′，Ｒ，ｔは既知である。このス
テレオカメラによって得られた画像を図５（ａ），
（ｂ）に示す。この２枚の画像により、まず透視変換カ
メラを仮定して３次元復元を行なった結果が図５（ｃ）
の破線である。元々平行であった線同士がほぼ平行に復
元されていることがわかる。次に、アフィンカメラを仮
定して復元を行なった結果を図５（ｃ）の一点鎖線によ
り示す。平行な線同士が平行には復元されず、元の３次
元形状が正確には復元されていない。
【００５９】これらに対して、提案した擬似透視カメラ
を仮定して復元を行なった結果を図５（ｃ）の実線によ
り示す。この実験では、２つのカメラともα＝０．５と
した。また、ＺC およびＺ′C はそれぞれのカメラから
画像中のモニタの左下角までの距離とした。擬似透視カ
メラによる復元結果が透視変換カメラによるものと弱透
視変換カメラによるものとの間の中間的なものとなって
いることがわかる。また、これらの復元結果をそれぞれ
のカメラモデルにより画像に再投影した結果を図５
（ａ）の破線，一点鎖線，実線により示す。再投影した
結果においても擬似透視カメラによるものが他の２つの
カメラの中間的となっていることがわかる。すなわち、
擬似透視カメラモデルは弱透視カメラモデルよりも透視
変換カメラに近い正確な復元を行なうことができる。ま
た、先に述べたとおり、擬似透視カメラモデルによる復
元は透視変換カメラによる復元と比較してノイズの影響
を受けにくいという特徴もある。
を仮定して復元を行なった結果を図５（ｃ）の実線によ
り示す。この実験では、２つのカメラともα＝０．５と
した。また、ＺC およびＺ′C はそれぞれのカメラから
画像中のモニタの左下角までの距離とした。擬似透視カ
メラによる復元結果が透視変換カメラによるものと弱透
視変換カメラによるものとの間の中間的なものとなって
いることがわかる。また、これらの復元結果をそれぞれ
のカメラモデルにより画像に再投影した結果を図５
（ａ）の破線，一点鎖線，実線により示す。再投影した
結果においても擬似透視カメラによるものが他の２つの
カメラの中間的となっていることがわかる。すなわち、
擬似透視カメラモデルは弱透視カメラモデルよりも透視
変換カメラに近い正確な復元を行なうことができる。ま
た、先に述べたとおり、擬似透視カメラモデルによる復
元は透視変換カメラによる復元と比較してノイズの影響
を受けにくいという特徴もある。
【００６０】
【発明の効果】以上のように、この発明によれば、透視
変換カメラモデルとその線形近似モデルである弱透視変
換カメラモデルとの間の中間的性質を用いて擬似透視カ
メラモデルを生成するようにしたので、透視変換カメラ
モデルで問題になるノイズの影響を小さくでき、弱透視
変換カメラモデルで問題になるモデルの近似誤差を小さ
くできる。さらに、より好ましくは、透視変換カメラモ
デルの３次元空間中の点と弱透視変換カメラモデルの光
軸に垂直な平面に平行投影した点との間のパラメータを
調整することにより、最も適したカメラモデルを得るこ
とができる。そして、提案した擬似透視カメラモデルを
用いることで、より安定したノイズに影響されにくい３
次元復元方法を得ることができる。
変換カメラモデルとその線形近似モデルである弱透視変
換カメラモデルとの間の中間的性質を用いて擬似透視カ
メラモデルを生成するようにしたので、透視変換カメラ
モデルで問題になるノイズの影響を小さくでき、弱透視
変換カメラモデルで問題になるモデルの近似誤差を小さ
くできる。さらに、より好ましくは、透視変換カメラモ
デルの３次元空間中の点と弱透視変換カメラモデルの光
軸に垂直な平面に平行投影した点との間のパラメータを
調整することにより、最も適したカメラモデルを得るこ
とができる。そして、提案した擬似透視カメラモデルを
用いることで、より安定したノイズに影響されにくい３
次元復元方法を得ることができる。
【図１】この発明の一実施形態の擬似透視カメラモデル
を説明するための図である。
を説明するための図である。
【図２】擬似透視カメラモデルと既存のカメラモデルの
間の包含関係を示す図である。
間の包含関係を示す図である。
【図３】擬似透視カメラモデルによる３次元復元を説明
するための図である。
するための図である。
【図４】αを変化させた場合の点ＸQQの位置を示す図で
ある。
ある。
【図５】実画像を使用して３次元復元実験を行なった結
果を示す図である。
果を示す図である。
【図６】既存のカメラモデルの画像への投影方法を説明
するための図である。
するための図である。
Ｏ，Ｃ カメラの中心 Ｘ ３次元空間中の点 ｆ 焦点距離 ＺC 光軸に垂直な仮想的な平面のＺ座標
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平９−231373（ＪＰ，Ａ) (58)調査した分野(Int.Cl.6，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60
Claims (2)
- 【請求項１】 ３次元空間の対象をカメラで撮影する場
合の擬似透視カメラモデルの生成方法であって、 前記カメラの中心Ｏと前記３次元空間中の点Ｘとを結ぶ
直線と画像面との交点ｘp に前記３次元空間中の点Ｘの
画像を投影する透視変換カメラモデルと、前記透視変換
カメラモデルの線形近似モデルであり、前記３次元空間
中の点Ｘを光軸に垂直な平面に平行投影した後、前記画
像面に透視変換により投影して生成する弱透視変換カメ
ラモデルとの間の中間的性質を用いて擬似透視カメラモ
デルを生成し、ステレオカメラで撮影された画像データ
に対して、前記擬似透視カメラモデルを用いて３次元復
元を行なうことを特徴とする、３次元復元方法。 - 【請求項２】 前記擬似透視カメラモデルは、前記弱透
視変換カメラモデルの前記光軸に垂直な平面に平行投影
した点と、前記透視変換カメラモデルの前記３次元空間
中の点Ｘとの間をα：１−αで内分する点ＸQ を透視変
換で投影して生成されることを特徴とする、請求項１に
記載の３次元復元方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10145866A JP2967078B1 (ja) | 1998-05-27 | 1998-05-27 | ３次元復元方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10145866A JP2967078B1 (ja) | 1998-05-27 | 1998-05-27 | ３次元復元方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2967078B1 true JP2967078B1 (ja) | 1999-10-25 |
| JPH11339039A JPH11339039A (ja) | 1999-12-10 |
Family
ID=15394879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10145866A Expired - Lifetime JP2967078B1 (ja) | 1998-05-27 | 1998-05-27 | ３次元復元方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2967078B1 (ja) |
-
1998
- 1998-05-27 JP JP10145866A patent/JP2967078B1/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11339039A (ja) | 1999-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Newcombe et al. | Live dense reconstruction with a single moving camera | |
| US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
| JP4679033B2 (ja) | 深度マップのメジアン値融合のためのシステムおよび方法 | |
| Liebowitz et al. | Combining scene and auto-calibration constraints | |
| US7737967B2 (en) | Method and apparatus for correction of perspective distortion | |
| US8269766B2 (en) | Method for generating three-dimensional shape data, apparatus for generating three-dimensional shape data, and three-dimensional shape data generating program | |
| JP2874710B2 (ja) | 三次元位置計測装置 | |
| US20040021664A1 (en) | Information processing device and method | |
| JP7502440B2 (ja) | 環境のトポグラフィを測定するための方法 | |
| JP2000268179A (ja) | 三次元形状情報取得方法及び装置，二次元画像取得方法及び装置並びに記録媒体 | |
| GB2567245A (en) | Methods and apparatuses for depth rectification processing | |
| JP4149732B2 (ja) | ステレオマッチング方法、３次元計測方法及び３次元計測装置並びにステレオマッチング方法のプログラム及び３次元計測のプログラム | |
| WO2023062994A1 (ja) | 学習装置、学習方法、学習プログラム、カメラパラメータ算出装置、カメラパラメータ算出方法及びカメラパラメータ算出プログラム | |
| JP2967078B1 (ja) | ３次元復元方法 | |
| Willick et al. | Experimental evaluation of motion constraint equations | |
| JP3277105B2 (ja) | 部分立体モデルの作成方法及び装置 | |
| Cornelis et al. | Lens distortion recovery for accurate sequential structure and motion recovery | |
| CN111753644A (zh) | 在三维人脸扫描上检测关键点的方法及装置 | |
| US10825135B2 (en) | Method and device for determining a transition between two display images, and vehicle | |
| JPH1139506A (ja) | 任意視点画像生成装置 | |
| Collins | Projective reconstruction of approximately planar scenes | |
| JP2002092597A (ja) | 画像処理方法及び装置 | |
| Weinshall et al. | From ordinal to euclidean reconstruction with partial scene calibration | |
| Martins et al. | Camera calibration using reflections in planar mirrors and object reconstruction using volume carving method | |
| JPH0771940A (ja) | ３次元情報入力方法及びそれを使った３次元情報入力装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990803 |