JPH10267616A - キャリブレーション方法およびキャリブレーション装置、並びに補正方法および補正装置 - Google Patents

Abstract

(57)【要約】 【課題】 物体を、ステレオカメラで撮像して得られる
２次元画像から、その物体の３次元空間における、正確
な位置情報を求めることができるようにする。 【解決手段】 ステレオカメラのキャリブレーションが
歪んだ座標系（歪み座標系）で行われた場合において、
長さが√２などの既知の定規を、ステレオカメラで撮影
して、その結果得られる２次元画像から、定規の長さを
求める。そして、この２次元画像から求められた定規の
長さと、その定規の実際の長さとから、歪んだ座標系に
おけるｘ軸、ｙ軸の、本来の方向に対する傾きα，βを
求める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、キャリブレーショ
ン方法およびキャリブレーション装置、並びに補正方法
および補正装置に関し、特に、例えば、ＣＣＤ（Charge
Coupled Device）カメラなどを複数台利用した、いわ
ゆるステレオカメラシステムなどに用いて好適なキャリ
ブレーション方法およびキャリブレーション装置、並び
に補正方法および補正装置に関する。

【０００２】

【従来の技術】例えば、ビデオカメラ（以下、適宜、単
にカメラという）を２台などの複数台用いて、いわゆる
ステレオカメラを構成し、各カメラにより、３次元空間
内の物体を撮像して、その撮像の結果得られる２次元画
像から、物体の３次元空間における位置情報（３次元デ
ータ）を得るステレオカメラシステムが、従来より知ら
れている。

【０００３】ここで、ステレオカメラシステムについて
は、例えば、奥富正敏、金出武雄、「複数の基線長を利
用したステレオマッチング」、電子情報通信学会論文誌
Ｄ−ＩＩ Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ Ｎｏ．８ ｐ
ｐ．１３１７−１３２７ １９９２年８月などに、その
詳細が開示されている。

【０００４】ステレオカメラシステムでは、３次元空間
の位置情報を得ようとする対象の物体（対象物体）を、
複数のカメラで撮影（撮像）したときに、各カメラにお
ける、例えばＣＣＤなどの光電変換素子の受光面（以
下、適宜、スクリーンという）上に投射される対象物体
の位置情報から、その対象物体の３次元空間における位
置情報が特定される。従って、３次元空間内のある位置
に存在する物体の位置情報と、その位置に対象物体があ
るときに、その対象物体が各カメラのスクリーン上に投
影される位置の位置情報との対応関係（位置情報対応関
係）を、あらかじめ求めておく必要があるが、これは、
キャリブレーションと呼ばれる。

【０００５】図７は、ステレオカメラシステムの構成例
を示している。

【０００６】パイプ１０１および１０２は、３次元空間
において、同一平面に含まれ、かつ平行になるように配
置されており、台車１０３は、このパイプ１０１および
１０２に沿って滑らかに移動することができるように設
置されている。そして、台車１０３には、ステレオカメ
ラとしてのカメラ１０４および１０５が取り付けられて
いる。

【０００７】以上のように構成されるステレオカメラシ
ステムにおいて、そのキャリブレーションを行う場合に
は、台車１０３、ひいてはカメラ１０４および１０５の
スライドした量を測定することができるように、パイプ
１０１および１０２に目盛りが付される。さらに、カメ
ラ１０４および１０５をスライドさせる方向と垂直な平
面内に、例えば、正方格子などが描かれた平板１０６が
設置される（カメラ１０４および１０５との距離を変え
る方向に対して垂直な平面内に、平板１０６が設置され
る）。

【０００８】ここで、図７に示すように、例えば、平板
１０６に描かれた正方格子の左下隅を原点（０，０，
０）とし、その正方格子の横軸と平行な方向をｘ軸と、
その縦軸と平行な方向をｙ軸と、カメラ１０４および１
０５がスライドする方向をｚ軸と、それぞれする３次元
の座標系（以下、適宜、ワールド座標系という）を定義
する。なお、図７において、正方格子よりも、カメラ１
０４および１０５側が、ｚ＞０の範囲とする。

【０００９】キャリブレーションを行う場合、まず、台
車１０３をスライドさせることにより、平板１０６が、
カメラ１０４および１０５との距離を変えて撮影され
る。

【００１０】即ち、図８は、図７のステレオカメラシス
テムを上から見た場合の模式図を表しているが、同図に
示すように、カメラ１０４および１０５を、ある位置ｐ
₁に固定して、平板１０６を、その正方格子が映るよう
に撮影し、その後、カメラ１０４および１０５をスライ
ドさせ、他の位置ｐ₂において、再度、平板１０６を撮
影する。なお、図８では、カメラ１０４および１０５
を、長さＬだけスライドさせて、そのスライド前後の位
置ｐ１，ｐ２から平板１０６を撮影している。また、同
図においては、カメラ１０４および１０５を、平板１０
６から遠ざかる方向にスライドさせているが、カメラ１
０４および１０５をスライドさせる方向は、その逆であ
っても良い。

【００１１】以上のように、カメラ１０４および１０５
をスライドして平板１０６を撮影することにより得られ
る２次元画像は、図９に示すように、カメラ１０４およ
び１０５を固定して、平板１０６をスライドしても得る
ことができる。

【００１２】即ち、同図に示すように、カメラ１０４お
よび１０５を、ある位置ｐ₁に固定して、平板１０６
を、その正方格子が映るように撮影し、その後、平板１
０６を、ｚ軸に沿って、カメラ１０４および１０５から
遠ざかる方向に、長さＬだけスライドさせ、その位置
で、再度、平板１０６を撮影することによっても、図８
における場合と同様の２次元画像を得ることができる。

【００１３】図９における場合において、いま、平板１
０６上に、そこに描かれた正方格子の左下隅を原点
（０，０）とし、その正方格子の水平方向または垂直方
向を、それぞれｘ軸またはｙ軸とする２次元座標系を考
えると、平板１０６をスライドさせる前では、その２次
元座標系における座標点（ｉ，ｊ）は、ワールド座標系
において、（ｉ，ｊ，０）と表すことができる。また、
平板１０６をスライドさせた後では、２次元座標系にお
ける座標点（ｉ，ｊ）は、ワールド座標系において、
（ｉ，ｊ，−Ｌ）と表すことができる。

【００１４】いま、図９に示したように、平板１０６を
長さＬだけスライドさせて正方格子を撮影したと考えた
場合に、図１０に示すように、カメラ１０４の光学中心
Ｏ₁、カメラ１０４のＣＣＤ１１１上の２次元座標系に
おいて座標（ｈ，ｋ）で表される点、スライドさせる前
の平板１０６上の２次元座標系において座標（ｐ，ｑ）
で表される点、およびスライドさせた後の平板１０６上
の２次元座標系において座標（ｒ，ｓ）で表される点
が、一直線上にのったとする。即ち、スライドさせる前
の平板１０６上の２次元座標系において座標（ｐ，ｑ）
で表される点、およびスライドさせた後の平板１０６上
の２次元座標系において座標（ｒ，ｓ）で表される点の
いずれも、ＣＣＤ１１１上の２次元座標において座標
（ｈ，ｋ）で表される点に投射されたとする。

【００１５】この場合、点（ｐ，ｑ）および（ｒ，ｓ）
を通る直線ｌ上にある点は、すべて、ＣＣＤ１１１上の
２次元座標系における点（ｈ，ｋ）に投射される。そこ
で、いま直線ｌを、ワールド座標系において表すと、次
のようになる。即ち、点（ｐ，ｑ）または（ｒ，ｓ）
は、上述したように、ワールド座標系において、点
（ｐ，ｑ，０）または（ｒ，ｓ，−Ｌ）と表すことがで
きる。従って、ワールド座標系において、直線ｌは、式 （ｘ−ｒ）／（ｐ−ｒ）＝（ｙ−ｓ）／（ｑ−ｓ）＝（ｚ＋Ｌ）／Ｌ ・・・（１） で表される。

【００１６】ここで、点（ｐ，ｑ，０）や（ｒ，ｓ，−
Ｌ）の他、直線ｌ上にある点は、すべて、ＣＣＤ１１１
上の２次元座標系における点（ｈ，ｋ）に投射される。
従って、直線ｌは、３次元空間における物体の位置情報
（ここでは、ワールド座標系における座標）と、その物
体を撮像して得られる２次元画像の位置情報（ここで
は、ＣＣＤ１１１上の２次元座標系における座標）との
対応関係（位置情報対応関係）を表す。

【００１７】直線ｌを求めるのと同様にして、ＣＣＤ１
１１上の２次元座標系における他の点についても、そこ
に投射される３次元空間上の点の集合としての直線を求
め、さらに、同様のことを、カメラ１０５についても行
う。

【００１８】以上のようにして、カメラ１０４および１
０５についての直線すべてを求めることで、ステレオカ
メラシステムのキャリブレーション（初期設定）は終了
する。

【００１９】なお、平板１０６の正方格子模様を構成す
る横線および縦線以外の点の座標は、例えば、補間によ
り求められる。

【００２０】キャリブレーションが行われたステレオカ
メラシステムでは、次のようにして、３次元空間にある
物体の位置情報が求められる。即ち、図１１に示すよう
に、カメラ１０４および１０５によって、位置情報を求
めようとする対象物体１１９を撮影し、この場合に、カ
メラ１０４では、そのＣＣＤ１１１上の２次元座標系に
おける点（ａ，ｂ）に対象物体１１９が投射され、カメ
ラ１０５では、そのＣＣＤ１１２上の２次元座標系にお
ける点（ｃ，ｄ）に対象物体１１９が投射されたとす
る。

【００２１】点（ａ，ｂ）または（ｃ，ｄ）に投射され
る直線は、キャリブレーションにより分かっているの
で、いま、その直線をｌ₁またはｌ₂とそれぞれすると、
これらの直線ｌ₁およびｌ₂の交点を求めれば、それが、
対象物体１１９の３次元空間における位置情報として
の、ワールド座標系における座標となる。

【００２２】即ち、カメラ１０４または１０５が出力す
る対象物体の２次元画像から、その対象物体が投射され
たＣＣＤ１１１または１１２上の位置を測定し、その位
置に投射される直線どうしの交点を求めれば、それが、
ワールド座標系において、対象物体が位置する座標とな
る。

【００２３】

【発明が解決しようとする課題】ところで、ステレオカ
メラシステムのキャリブレーションを行う場合において
は、図５に示したように、カメラ１０４および１０５を
スライドさせる方向と垂直な平面内に、平板１０６を設
置する必要がある。しかしながら、平板１０６を、カメ
ラ１０４および１０５をスライドさせる方向と垂直な平
面内に、正確に設置することは困難で、通常は、そのよ
うな平面に完全に含まれるようには設置されない。

【００２４】即ち、いま、カメラ１０４および１０５を
スライドさせる方向であるｚ軸を基準に考えると、図１
２に示すように、通常、平板１０６の正方格子の横軸や
縦軸とｚ軸とが形成する角度は、正確には９０度になら
ない。

【００２５】ここで、平板１０６の正方格子の横軸また
は縦軸とｚ軸とが形成する角度を、９０−α度または９
０−β度と表す。

【００２６】平板１０６が、カメラ１０４および１０５
をスライドさせる方向と垂直な平面内に、正確に設置さ
れている状態においては、α＝β＝０であるが、通常
は、そうはならず、α≠０，β≠０となる。

【００２７】いま、α≠０，β≠０として、キャリブレ
ーションが行われる様子について上から見た場合の図
を、図１３に示す。図１３は、カメラ１０４および１０
５をスライドさせる場合を示しているが、図９に示した
ように、平板１０６をスライドさせると考えれば、図１
３に示すキャリブレーションは、図１４に示すように置
き換えて考えることができる。なお、図１４（Ａ）また
は図１４（Ｂ）は、キャリブレーションの様子を上から
見た場合、または横（平板１０６に向かって右）から見
た場合を、それぞれ示している。

【００２８】図１４において、原点を、平板１０６をス
ライドさせる前の正方格子の左下隅とし、かつ、カメラ
１０４および１０５のスライド方向をｚ軸と、ｚ軸の垂
直な平面内に含まれ、平板１０６の横軸と平行な方向を
ｘ軸と（従って、ｘｚ平面と正方格子の横軸とは平
行）、ｚ軸およびｘ軸と直交する方向をｙ軸と、それぞ
れしたワールド座標系（以下、適宜、正規直交ワールド
座標系という）を考えると、正方格子の横軸または縦軸
は、ｘ軸またはｙ軸に対して、それぞれαまたはβ度だ
け傾いている。

【００２９】このように傾いている正方格子の横軸およ
び縦軸を、ｚ軸に対して垂直であるとしてキャリブレー
ションを行うと誤差が生じる。即ち、この場合、図１５
（Ａ）に示すように、ｚ軸とｘ軸またはｙ軸の形成する
角度が、それぞれ９０−α度または９０−β度であるよ
うな歪んだワールド座標系（以下、適宜、歪みワールド
座標系という）においてキャリブレーションが行われる
ことになるため、そのようなキャリブレーションの結果
に基づいて求められる対象物体の３次元空間における位
置情報としても、歪みワールド座標系における座標が求
められることになり、正規直交ワールド座標系における
座標は得られない。

【００３０】ここで、図１５（Ａ）の歪みワールド座標
系を、ｙ軸またはｘ軸の方向から見た場合を、同図
（Ｂ）または（Ｃ）にそれぞれ示す。

【００３１】また、上述のキャリブレーションでは、カ
メラ１０４または１０５のＣＣＤ１１１または１１２上
にそれぞれ投影される直線を求めるようにしたが、その
他、視差を求めるキャリブレーションが行われる場合も
ある。即ち、カメラ１０４または１０５のＣＣＤ１１１
または１１２上に、平板１０６上の所定の点が投射され
る位置をそれぞれ測定し、それらの位置の違いを、視差
として求めるキャリブレーションがあり、この場合、対
象物体がＣＣＤ１１１または１１２上にそれぞれ形成す
る投影像の位置の差から、その対象物体の３次元空間に
おける位置情報を求めることができる。

【００３２】このような視差を求めるキャリブレーショ
ンを行う場合であっても、平板１０６が、カメラ１０４
および１０５のスライド方向に垂直な平面内に設置され
ていなければ、やはり、歪みワールド座標系における座
標が求められることになる。

【００３３】本発明は、このような状況に鑑みてなされ
たものであり、物体を撮像する撮像装置から得られる２
次元画像から、その物体の３次元空間における、正確な
位置情報を求めることができるようにするものである。

【００３４】

【課題を解決するための手段】請求項１に記載のキャリ
ブレーション方法は、長さが既知の第２の物体を撮像し
て得られる撮像装置の出力を、位置情報対応関係に基づ
いて変換し、その第２の物体の３次元空間における位置
情報を求め、第２の物体の３次元空間における位置情報
と、第２の物体の長さとに基づいて、撮像装置の出力を
位置情報対応関係に基づいて変換して得られる３次元空
間における位置情報を補正するためのパラメータを求め
ることを特徴とする。

【００３５】請求項５に記載のキャリブレーション装置
は、長さが既知の第２の物体を撮像して得られる撮像装
置の出力を、位置情報対応関係に基づいて変換し、その
第２の物体の３次元空間における位置情報を求める変換
手段と、第２の物体の３次元空間における位置情報と、
第２の物体の長さとに基づいて、撮像装置の出力を位置
情報対応関係に基づいて変換して得られる３次元空間に
おける位置情報を補正するためのパラメータを求めるパ
ラメータ算出手段とを備えることを特徴とする。

【００３６】請求項６に記載の補正方法は、長さが既知
の第２の物体を撮像して得られる撮像装置の出力を、位
置情報対応関係に基づいて変換し、その第２の物体の３
次元空間における位置情報を求め、第２の物体の３次元
空間における位置情報と、第２の物体の長さとに基づい
て、撮像装置の出力を位置情報対応関係に基づいて変換
して得られる３次元空間における位置情報を補正するた
めのパラメータを求めることにより得られた、そのパラ
メータに基づいて、撮像装置の出力を位置情報対応関係
に基づいて変換して得られる３次元空間における位置情
報を補正することを特徴とする。

【００３７】請求項７に記載の補正装置は、長さが既知
の第２の物体を撮像して得られる撮像装置の出力を、位
置情報対応関係に基づいて変換し、その第２の物体の３
次元空間における位置情報を求め、第２の物体の３次元
空間における位置情報と、第２の物体の長さとに基づい
て、撮像装置の出力を位置情報対応関係に基づいて変換
して得られる３次元空間における位置情報を補正するた
めのパラメータを求めることにより得られた、そのパラ
メータに基づいて、撮像装置の出力を位置情報対応関係
に基づいて変換して得られる３次元空間における位置情
報を補正する補正手段を備えることを特徴とする。

【００３８】請求項１に記載のキャリブレーション方法
においては、長さが既知の第２の物体を撮像して得られ
る撮像装置の出力を、位置情報対応関係に基づいて変換
し、その第２の物体の３次元空間における位置情報を求
め、第２の物体の３次元空間における位置情報と、第２
の物体の長さとに基づいて、撮像装置の出力を位置情報
対応関係に基づいて変換して得られる３次元空間におけ
る位置情報を補正するためのパラメータを求めるように
なされている。

【００３９】請求項５に記載のキャリブレーション装置
においては、変換手段が、長さが既知の第２の物体を撮
像して得られる撮像装置の出力を、位置情報対応関係に
基づいて変換し、その第２の物体の３次元空間における
位置情報を求め、パラメータ算出手段が、第２の物体の
３次元空間における位置情報と、第２の物体の長さとに
基づいて、撮像装置の出力を位置情報対応関係に基づい
て変換して得られる３次元空間における位置情報を補正
するためのパラメータを求めるようになされている。

【００４０】請求項６に記載の補正方法においては、長
さが既知の第２の物体を撮像して得られる撮像装置の出
力を、位置情報対応関係に基づいて変換し、その第２の
物体の３次元空間における位置情報を求め、第２の物体
の３次元空間における位置情報と、第２の物体の長さと
に基づいて、撮像装置の出力を位置情報対応関係に基づ
いて変換して得られる３次元空間における位置情報を補
正するためのパラメータを求めることにより得られた、
そのパラメータに基づいて、撮像装置の出力を位置情報
対応関係に基づいて変換して得られる３次元空間におけ
る位置情報を補正するようになされている。

【００４１】請求項７に記載の補正装置においては、補
正手段が、長さが既知の第２の物体を撮像して得られる
撮像装置の出力を、位置情報対応関係に基づいて変換
し、その第２の物体の３次元空間における位置情報を求
め、第２の物体の３次元空間における位置情報と、第２
の物体の長さとに基づいて、撮像装置の出力を位置情報
対応関係に基づいて変換して得られる３次元空間におけ
る位置情報を補正するためのパラメータを求めることに
より得られた、そのパラメータに基づいて、撮像装置の
出力を位置情報対応関係に基づいて変換して得られる３
次元空間における位置情報を補正するようになされてい
る。

【００４２】

【発明の実施の形態】以下に、本発明の実施の形態を説
明するが、その前に、特許請求の範囲に記載の発明の各
手段と以下の実施の形態との対応関係を明らかにするた
めに、各手段の後の括弧内に、対応する実施の形態（但
し、一例）を付加して、本発明の特徴を記述すると、次
のようになる。

【００４３】即ち、請求項５に記載のキャリブレーショ
ン装置は、物体を撮像する撮像装置から得られる２次元
画像から、物体の３次元空間における位置情報を求める
ための撮像装置のキャリブレーションを行うキャリブレ
ーション装置であって、第１の物体を、その第１の物体
との距離を変えて撮像したときの撮像装置の出力に基づ
いて、物体の３次元空間における位置情報と、その物体
を撮像して得られる２次元画像の位置情報との対応関係
である位置情報対応関係を求める位置情報対応関係算出
手段（例えば、図４に示す信号処理装置１および図５に
示すプログラムの処理ステップＳ１など）と、長さが既
知の第２の物体を撮像して得られる撮像装置の出力を、
位置情報対応関係に基づいて変換し、その第２の物体の
３次元空間における位置情報を求める変換手段（例え
ば、図４に示す信号処理装置１および図５に示すプログ
ラムの処理ステップＳ２など）と、第２の物体の３次元
空間における位置情報と、第２の物体の長さとに基づい
て、撮像装置の出力を位置情報対応関係に基づいて変換
して得られる３次元空間における位置情報を補正するた
めのパラメータを求めるパラメータ算出手段（例えば、
図４に示す信号処理装置１および図５に示すプログラム
の処理ステップＳ３など）とを備えることを特徴とす
る。

【００４４】請求項７に記載の補正装置は、物体を撮像
する撮像装置から得られる２次元画像から求められる物
体の３次元空間における位置情報を補正する補正装置で
あって、第１の物体を、その第１の物体との距離を変え
て撮像したときの撮像装置の出力に基づいて、物体の３
次元空間における位置情報と、その物体を撮像して得ら
れる２次元画像の位置情報との対応関係である位置情報
対応関係を求め、長さが既知の第２の物体を撮像して得
られる撮像装置の出力を、位置情報対応関係に基づいて
変換し、その第２の物体の３次元空間における位置情報
を求め、第２の物体の３次元空間における位置情報と、
第２の物体の長さとに基づいて、撮像装置の出力を位置
情報対応関係に基づいて変換して得られる３次元空間に
おける位置情報を補正するためのパラメータを求めるこ
とにより得られた、そのパラメータに基づいて、撮像装
置の出力を位置情報対応関係に基づいて変換して得られ
る３次元空間における位置情報を補正する補正手段（例
えば、図４に示す信号処理装置１および図６に示すプロ
グラムの処理ステップＳ１２など）を備えることを特徴
とする。

【００４５】なお、勿論この記載は、各手段を上記した
ものに限定することを意味するものではない。

【００４６】次に、本発明の原理について説明する。

【００４７】図１（Ａ）は、図１５（Ａ）に示したのと
同一の歪みワールド座標系を示している。いま、歪みワ
ールド座標系において、例えば、長さが√２の定規を、
原点から点（１，０，−１）の方向に、その一端が原点
に一致するようにして設置したとする。この様子を、図
１（Ｂ）に示す。

【００４８】この場合、α＝０で（ｚ軸とｘ軸との角度
が正確に９０度となるようにして）、キャリブレーショ
ンが行われていれば、ワールド座標系における定規の両
端の座標は、原点（０，０，０）と点（１，０，−１）
とに観測される。一方、α≠０でキャリブレーションが
行われている場合、本来、点（１，０，−１）に一致す
べき、一端が原点と一致するように配置されている定規
の他端は、点（１，０，−１）から、原点（０，０，
０）と点（１，０，−１）を通る直線の方向にずれた位
置に観測される。

【００４９】即ち、本来、点（１，０，−１）に一致す
べき定規の他端の座標（ｘ₁，０，ｚ₁）は、α＞０の場
合には、図１（Ｂ）に示すように、ｘ₁＞１，ｚ₁＜−１
となり、α＜０の場合には、逆に、ｘ₁＜１，ｚ₁＞−１
となる。

【００５０】また、歪みワールド座標系において、例え
ば、長さが√２の定規を、原点から点（０，１，−１）
の方向に、その一端が原点に一致するようにして設置し
た様子を、図１（Ｃ）に示す。

【００５１】この場合も、β＝０で（ｚ軸とｙ軸との角
度が正確に９０度となるようにして）、キャリブレーシ
ョンが行われていれば、ワールド座標系における定規の
両端の座標は、原点（０，０，０）と点（０，１，−
１）とに観測される。一方、β≠０でキャリブレーショ
ンが行われている場合、本来、点（０，１，−１）に一
致すべき、一端が原点と一致するように配置されている
定規の他端は、点（０，１，−１）から、原点（０，
０，０）と点（０，１，−１）を通る直線の方向にずれ
た位置に観測される。

【００５２】即ち、本来、点（０，１，−１）に一致す
べき定規の他端の座標（０，ｙ₁，ｚ₁）は、β＞０の場
合には、図１（Ｂ）に示すように、ｙ₁＞１，ｚ₁＜−１
となり、β＜０の場合には、逆に、ｙ₁＜１，ｚ₁＞−１
となる。

【００５３】従って、歪みワールド座標系において、長
さが既知の物体の長さを観測することにより、その観測
された長さと、その物体の実際の長さとを比較すること
で、歪み座標系の歪み具合、即ち、αとβとを求めるこ
とができる。そして、歪みワールド座標系のｘ軸または
ｙ軸は、正規直交ワールド座標系のｘ軸またはｙ軸に対
して、角度αまたはβだけ傾いているから、αおよびβ
に基づいて、歪みワールド座標系において求められた座
標を補正することにより、正規直交ワールド座標系にお
ける座標が求められる。

【００５４】そこで、まず、αとβを求めることを考え
る。いま、前述したような歪みワールド座標系における
座標が得られるようなキャリブレーション（以下、適
宜、不完全なキャリブレーションという）を行い、その
ようなキャリブレーション結果に基づき、３次元空間に
おける物体の座標として、（ｅ，ｆ，ｇ）が得られたと
する。この点（ｅ，ｆ，ｇ）は、歪みワールド座標系に
おける座標であるから、これを、正規直交ワールド座標
系における座標に変換することを考える。

【００５５】いま、説明を簡単にするために、歪みワー
ルド座標系においいて、ｘ，ｙ，ｚ方向それぞれのみ０
でない３点（ｘ，０，０），（０，ｙ，０），（０，
０，ｚ）を考えると、これらの３点それぞれは、正規直
交ワールド座標系においては、点（ｘ，０，αｘ），
（０，ｙ，βｙ），（０，０，ｚ）となる。但し、ここ
では、α，βは充分に小さいものとし（平板１０６が、
カメラ１０４および１０５のスライド方向に対して略９
０度の角度を形成するように配置されるものとし）、ｓ
ｉｎ（α）＝α，ｓｉｎ（β）＝βと近似している。

【００５６】従って、歪みワールド座標系における座標
（ｅ，ｆ，ｇ）は、正規直交ワールド座標系では、次式
で表される座標（ｘ，ｙ，ｚ）となる。

【００５７】

【数１】 ・・・（２）

【００５８】ここで、式（２）は、歪みワールド座標系
と正規直交ワールド座標系との関係も表している。

【００５９】また、いま、例えば、歪みワールド座標系
における２点（ｐ，ｑ，０）と（ｒ，ｓ，−Ｌ）とが、
いずれも、カメラのスクリーン上の同一の位置に投射さ
れるとすると、その２つの点を通る直線、即ち、前述の
式（１）で表される直線上の点は、すべて、その位置に
投射される。歪みワールド座標系における２点（ｐ，
ｑ，０）と（ｒ，ｓ，−Ｌ）は、正規直交ワールド座標
系では、式（２）から、

【数２】 と表されるから、これらを通る直線、即ち、式 （ｘ−ｒ）／（ｐ−ｒ）＝（ｙ−ｓ）／（ｑ−ｓ） ＝（ｚ−αｒ−βｓ＋Ｌ）／（αｐ＋βｑ−αｒ−βｓ＋Ｌ） ・・・（３） で表される直線上の点も同一位置に投射される。

【００６０】ここで、式（３）からも、歪みワールド座
標系と正規直交ワールド座標系との関係が、式（２）で
表されることがわかる。

【００６１】次に、長さが既知の物体としての、例えば
定規を、その長さが分かっている方向が、歪みワールド
座標系のｘｙ平面と４５度（これも、正確に４５度とす
るのは困難であり、略４５度であれば良い）の角度を形
成するように配置する。即ち、まず、例えば、図２に示
すように、歪みワールド座標系において、ｚ軸と略４５
度の角度を形成し、ｘｚ平面にほぼ平行となるように、
定規を設置したとする。ここで、図２において、定規の
長さをＭとする。

【００６２】いま、図２に示したように設置された定規
を、不完全なキャリブレーションがなされたカメラ１０
４および１０５で撮影して求められた、その定規の一端
Ａと他端Ｂの位置が、歪みワールド座標系において点
（ｅ₁，ｆ₁，ｇ₁）と（ｅ₂，ｆ ₂，ｇ₂）でそれぞれ表さ
れるとすると、この定規の一端Ａと他端Ｂは、正規直交
ワールド座標系では、次のように表される。

【００６３】

【数３】

【００６４】正規直交ワールド座標系における点Ａと点
Ｂとの間の距離は、定規の長さＭに等しいから、次式が
成立する。

【００６５】 （ｅ₁−ｅ₂）²＋（ｆ₁−ｆ₂）² ＋（（αｅ₁＋βｆ₁＋ｇ₁）−（αｅ₂＋βｆ₂＋ｇ₂））²＝Ｍ² ・・・（４）

【００６６】上述したように、α，βは充分に小さいの
で、α²＝０，β²＝０と近似すると、式（４）は、次の
ように変形することができる。

【００６７】 （ｅ₁−ｅ₂）²＋（ｆ₁−ｆ₂）²＋（ｇ₁−ｇ₂）² ＋２α（ｅ₁−ｅ₂）（ｇ₁−ｇ₂） ＋２β（ｆ₁−ｆ₂）（ｇ₁−ｇ₂）＝Ｍ² ・・・（５）

【００６８】次に、例えば、図３に示すように、歪みワ
ールド座標系において、ｚ軸と略４５度の角度を形成
し、ｙｚ平面にほぼ平行となるように、定規を設置した
とする。ここで、図３において、定規の長さをＮとす
る。

【００６９】いま、図３に示したように設置された定規
を、不完全なキャリブレーションがなされたカメラ１０
４および１０５で撮影して求められた、その定規の一端
Ｃと他端Ｄの位置が、歪みワールド座標系において点
（ｅ₃，ｆ₃，ｇ₃）と（ｅ₄，ｆ₄，ｇ₄）でそれぞれ表さ
れるとすると、この定規の一端Ｃと他端Ｄは、正規直交
ワールド座標系では、次のように表される。

【００７０】

【数４】

【００７１】正規直交ワールド座標系における点Ｃと点
Ｄとの間の距離は、定規の長さＮに等しいから、次式が
成立する。

【００７２】 （ｅ₃−ｅ₄）²＋（ｆ₃−ｆ₄）² ＋（（αｅ₃＋βｆ₃＋ｇ₃）−（αｅ₄＋βｆ₄＋ｇ₄））²＝Ｎ² ・・・（６）

【００７３】式（６）は、式（４）から式（５）に変形
した場合と同様にして、次のように変形することができ
る。

【００７４】 （ｅ₃−ｅ₄）²＋（ｆ₃−ｆ₄）²＋（ｇ₃−ｇ₄）² ＋２α（ｅ₃−ｅ₄）（ｇ₃−ｇ₄） ＋２β（ｆ₃−ｆ₄）（ｇ₃−ｇ₄）＝Ｎ² ・・・（７）

【００７５】従って、式（５）および（７）から次の方
程式が成立する。

【００７６】

【数５】 ・・・（８） 但し、式（８）において、ｅ₁₂＝ｅ₁−ｅ₂，ｆ₁₂＝ｆ₁
−ｆ₂，ｇ₁₂＝ｇ₁−ｇ₂，ｅ₃₄＝ｅ₃−ｅ₄，ｆ₃₄＝ｆ₃−
ｆ₄，ｇ₃₄＝ｇ₃−ｇ₄である。

【００７７】ここで、図２および図３に示した定規の設
置の仕方から、ｅ₁₂，ｇ₁₂，ｆ₃₄，ｇ₃₄は比較的大きな
値である。また、ｆ₁₂，ｅ₃₄はほぼ０に近い値である。
従って、式（８）において、２ｅ₁₂ｇ₁₂，２ｆ₃₄ｇ₃₄の
大きさは比較的大きくなり、２ｅ₃₄ｇ₃₄，２ｆ₁₂ｇ₁₂の
大きさは比較的小さくなるので、式（８）の左辺におけ
る行列の逆行列は求めることが可能であり、その逆行列
を用いれば、α，βを求めることができる。

【００７８】α，βを求めれば、式（２）にしたがい、
歪みワールド座標系における座標を、正規直交ワールド
座標系における座標に変換することができ、これによ
り、３次元空間における物体の正確な座標を求めること
ができる。

【００７９】なお、上述の場合、求めるべき未知数がα
とβであるから、定規を、少なくとも、２つの位置に配
置して、その両端の歪みワールド座標系における座標を
求めれば、αとβを求めることができるが、例えば、定
規を、３カ所以上の位置に配置し、最小自乗法などを用
いて、誤差を最小にするαとβを求めるようにしても良
い。この場合、測定誤差を低減することができる。

【００８０】また、上述の場合においては、平板１０６
を、カメラ１０５および１０６のスライド方向と略９０
度の角度となるように配置することから、ｓｉｎ（α）
＝α，ｓｉｎ（β）＝βと近似するようにしたが、この
ような近似を行わずに、αおよびβを求めることも可能
である。即ち、例えば、平板１０６と、カメラ１０５お
よび１０６のスライド方向との角度が略９０度でない場
合には、上述の近似を用いずに、αおよびβを求めるの
が好ましい。

【００８１】次に、図４は、以上のような原理にしたが
ったキャリブレーションを行うステレオカメラシステム
の一実施の形態の構成例を示している。

【００８２】ステレオカメラを構成するカメラ１０４お
よび１０５の出力は、信号処理装置１に出力されるよう
になされており、信号処理装置１は、その出力を受信し
て、所定の信号処理を行うようになされている。入力装
置２は、信号処理装置１に対して、そこで信号処理を行
うのに必要な情報を入力するときに操作されるようにな
されている。メモリ３は、信号処理装置１が信号処理を
行うのに必要な情報を記憶するようになされている。

【００８３】なお、図４においては、前述の図７に示し
たパイプ１０１および１０２、並びに台車１０３の図示
は省略してある。

【００８４】次に、その動作について説明する。

【００８５】まず、図５のフローチャートを参照して、
キャリブレーションが行われる場合のステレオカメラシ
ステムの処理について説明する。

【００８６】この場合、平板１０６（第１の物体）が、
カメラ１０４および１０５のスライド方向とほぼ垂直に
なるように設置され、カメラ１０４および１０５をスラ
イドさせて、平板１０６との距離を変えて、その平板１
０６が撮影される。カメラ１０４および１０５が平板１
０６を撮影して得られる２次元画像は、信号処理装置１
に供給される。信号処理装置１は、カメラ１０４および
１０５から２次元画像を受信すると、ステップＳ１にお
いて、その２次元画像に基づいて、前述したような不完
全なキャリブレーションを行い、これにより、歪みワー
ルド座標系における位置と、２次元画像における位置と
の対応関係である位置情報対応関係としての、スクリー
ン上の各点に投影される直線を求める。この直線（位置
情報対応関係）は、メモリ３に転送されて記憶される。

【００８７】その後、平板１０６に代えて、長さが既知
の定規（第２の物体）が、例えば、図２および図３に示
したように配置され、カメラ１０４および１０５で撮影
される。カメラ１０４および１０５で定規を撮影して得
られる２次元画像は、やはり信号処理装置１に供給さ
れ、この場合、信号処理装置１では、ステップＳ２にお
いて、ステップＳ１の不完全なキャリブレーション結
果、即ち、メモリ３に記憶された位置情報対応関係を用
いて、定規の両端の位置の歪みワールド座標系における
座標が求められる。

【００８８】そして、ステップＳ３に進み、信号処理装
置１では、ステップＳ２の処理結果と、定規の長さとか
ら、式（８）に示した方程式が解かれ、これにより、α
およびβが求められる。このαおよびβは、メモリ３に
転送されて記憶され、処理を終了する。

【００８９】なお、以上のキャリブレーションの処理に
必要な、例えば、カメラ１０４および１０５をスライド
させる長さＬ、並びに定規の長さＭ，Ｎなどは、入力装
置２を操作することで、信号処理装置１に入力されるよ
うになされている。

【００９０】次に、対象物体を撮影して、その対象物体
の正規直交ワールド座標系における座標を求める場合の
処理について、図６のフローチャートを参照して説明す
る。

【００９１】この場合、カメラ１０４および１０５によ
って、対象物体（図示せず）が撮影され、その２次元画
像が、信号処理装置１に供給される。信号処理装置１
は、対象物体の２次元画像を受信すると、ステップＳ１
１において、その２次元画像とメモリ３に記憶された位
置情報対応関係を用いて、対象物体の位置の歪みワール
ド座標系における座標を、前述の図１１で説明したよう
にして求め、ステップＳ１２に進む。ステップＳ１２で
は、信号処理装置１において、ステップＳ１１で求めら
れた歪みワールド座標系における座標が、式（２）にし
たがって補正され、これにより、正規直交ワールド座標
系における、対象物体の位置の座標が求められて、処理
を終了する。

【００９２】以上、本発明を、カメラが２台のステレオ
カメラシステムに適用した場合について説明したが、本
発明は、その他、３台以上のカメラを有するステレオカ
メラシステムにも適用可能である。

【００９３】また、本発明は、１台のカメラのキャリブ
レーションを行う場合にも適用可能である。即ち、キャ
リブレーションを行う対象のカメラ（以下、対象カメラ
という）の他に、補助用のカメラを用意してステレオカ
メラを構成する。そして、上述したようなキャリブレー
ションを行い、位置情報対応関係と、αおよびβを求め
る。これにより、対象カメラにおいて、スクリーン上の
所定の点に投影される、正規直交座標系における直線
の、正確な方向を求めることが可能となる。即ち、ま
ず、位置情報対応関係に基づいて、スクリーン上に投影
された点から、歪みワールド座標系において、物体が位
置する方向を求め、その方向をαおよびβで補正するこ
とにより、正規直交ワールド座標系において、物体が位
置する方向、即ち、正確な方向を求めることができる。

【００９４】なお、本実施の形態においては、平板１０
６の他に、長さが既知の物体としての定規を用意するよ
うにしたが、この定規の替わりに、平板１０６を用いる
ことも可能である。即ち、平板１０６には、正方格子が
描かれており、その横軸または縦軸の長さが分かるの
で、平板１０６は、長さが既知の物体として用いること
ができる。この場合、平板１０６の他に、長さが既知な
物体としての定規などを用意せずに済む。

【００９５】また、本実施の形態では、光電変換素子と
して、ＣＣＤを用いるようにしたが、ＣＣＤ以外の光電
変換素子を用いることも可能である。

【００９６】さらに、本実施の形態では、動画を撮るた
めのビデオカメラを用いたステレオカメラシステムにつ
いて説明したが、本発明は、静止画を撮るためのカメラ
についても適用可能である。

【００９７】また、本実施の形態では、長さが既知の物
体としての定規を、平板１０６に対して略４５度の角度
を形成するようには位置するようにしたが、定規の配置
の仕方は、これに限定されるものではない。但し、図１
（Ｂ）および図１（Ｃ）から分かるように、図２および
図３で示したように定規を配置した場合が、歪みワール
ド座標系において、定規の長さが最も歪むので、測定誤
差の影響を小さくすることができる。

【００９８】さらに、本実施の形態では、スクリーン上
に投射される直線から、３次元空間における物体の位置
情報を求めるようにしたが、本発明は、前述したような
視差から、３次元空間における物体の位置情報を求める
ような場合のキャリブレーションにも適用可能である。

【００９９】

【発明の効果】請求項１に記載のキャリブレーション方
法および請求項５に記載のキャリブレーション装置によ
れば、長さが既知の第２の物体を撮像して得られる撮像
装置の出力が、位置情報対応関係に基づいて変換され、
その第２の物体の３次元空間における位置情報が求めら
れる。そして、第２の物体の３次元空間における位置情
報と、第２の物体の長さとに基づいて、撮像装置の出力
を位置情報対応関係に基づいて変換して得られる３次元
空間における位置情報を補正するためのパラメータが求
められる。従って、物体を撮像する撮像装置から得られ
る２次元画像から、その物体の３次元空間における、正
確な位置情報を求めることが可能となる。

【０１００】請求項６に記載の補正方法および請求項７
に記載の補正装置によれば、長さが既知の第２の物体を
撮像して得られる撮像装置の出力を、位置情報対応関係
に基づいて変換し、その第２の物体の３次元空間におけ
る位置情報を求め、第２の物体の３次元空間における位
置情報と、第２の物体の長さとに基づいて、撮像装置の
出力を位置情報対応関係に基づいて変換して得られる３
次元空間における位置情報を補正するためのパラメータ
を求めることにより得られた、そのパラメータに基づい
て、撮像装置の出力を位置情報対応関係に基づいて変換
して得られる３次元空間における位置情報が補正され
る。従って、物体を撮像する撮像装置から得られる２次
元画像から、その物体の３次元空間における、正確な位
置情報を求めることが可能となる。

【図面の簡単な説明】

【図１】本発明の原理を説明するための図である。

【図２】定規の設置の仕方を説明するための図である。

【図３】定規の設置の仕方を説明するための図である。

【図４】本発明を適用したステレオカメラシステムの一
実施の形態の構成例を示すブロック図である。

【図５】図４のステレオカメラシステムの処理を説明す
るためのフローチャートである。

【図６】図４のステレオカメラシステムの処理を説明す
るためのフローチャートである。

【図７】ステレオカメラシステムの構成例を示す斜視図
である。

【図８】カメラ１０４および１０５をスライドさせた様
子を示す図である。

【図９】平板１０６をスライドさせた様子を示す図であ
る。

【図１０】所定の直線上の点が、スクリーンの所定の位
置に投射される様子を示す図である。

【図１１】ステレオカメラシステムにおいて、物体の３
次元空間における位置を求める方法を説明するための図
である。

【図１２】カメラ１０４および１０５のスライド方向と
垂直な平面内に、平板１０６が設置されていない状態を
示す図である。

【図１３】図１２に示した場合において、カメラ１０４
および１０５をスライドさせた様子を示す図である。

【図１４】図１２に示した場合において、平板１０６を
スライドさせた様子を示す図である。

【図１５】歪みワールド座標系を示す図である。

【符号の説明】

１ 信号処理装置， ２ 入力装置， ３ メモリ，
１０１，１０２ パイプ， １０３ 台車， １０４，
１０５ ビデオカメラ， １０６ 平板，

Claims (7)

【特許請求の範囲】
1. 【請求項１】 物体を撮像する撮像装置から得られる２
   次元画像から、前記物体の３次元空間における位置情報
   を求めるための前記撮像装置のキャリブレーション方法
   であって、 第１の物体を、その第１の物体との距離を変えて撮像し
   たときの前記撮像装置の出力に基づいて、前記物体の３
   次元空間における位置情報と、その物体を撮像して得ら
   れる前記２次元画像の位置情報との対応関係である位置
   情報対応関係を求め、 長さが既知の第２の物体を撮像して得られる前記撮像装
   置の出力を、前記位置情報対応関係に基づいて変換し、
   その第２の物体の３次元空間における位置情報を求め、 前記第２の物体の３次元空間における位置情報と、前記
   第２の物体の長さとに基づいて、前記撮像装置の出力を
   前記位置情報対応関係に基づいて変換して得られる前記
   ３次元空間における位置情報を補正するためのパラメー
   タを求めることを特徴とするキャリブレーション方法。
2. 【請求項２】 前記第１の物体は平板形状をしており、 前記位置情報対応関係は、前記第１の物体を、前記撮像
   装置との距離を変える方向に対して略垂直になるように
   設置して撮像したときの前記撮像装置の出力に基づいて
   求められることを特徴とする請求項１に記載のキャリブ
   レーション方法。
3. 【請求項３】 前記第２の物体の長さが既知の方向を、
   前記第１の物体に対して略４５度となるように配置した
   ときに、前記第２の物体を撮像して得られる前記撮像装
   置の出力を、前記位置情報対応関係に基づいて変換し、
   その第２の物体の３次元空間における位置情報を求める
   ことを特徴とする請求項２に記載のキャリブレーション
   方法。
4. 【請求項４】 前記第１および第２の物体として、同一
   の物体を用いることを特徴とする請求項１に記載のキャ
   リブレーション方法。
5. 【請求項５】 物体を撮像する撮像装置から得られる２
   次元画像から、前記物体の３次元空間における位置情報
   を求めるための前記撮像装置のキャリブレーションを行
   うキャリブレーション装置であって、 第１の物体を、その第１の物体との距離を変えて撮像し
   たときの前記撮像装置の出力に基づいて、前記物体の３
   次元空間における位置情報と、その物体を撮像して得ら
   れる前記２次元画像の位置情報との対応関係である位置
   情報対応関係を求める位置情報対応関係算出手段と、 長さが既知の第２の物体を撮像して得られる前記撮像装
   置の出力を、前記位置情報対応関係に基づいて変換し、
   その第２の物体の３次元空間における位置情報を求める
   変換手段と、 前記第２の物体の３次元空間における位置情報と、前記
   第２の物体の長さとに基づいて、前記撮像装置の出力を
   前記位置情報対応関係に基づいて変換して得られる前記
   ３次元空間における位置情報を補正するためのパラメー
   タを求めるパラメータ算出手段とを備えることを特徴と
   するキャリブレーション装置。
6. 【請求項６】 物体を撮像する撮像装置から得られる２
   次元画像から求められる前記物体の３次元空間における
   位置情報を補正する補正方法であって、 第１の物体を、その第１の物体との距離を変えて撮像し
   たときの前記撮像装置の出力に基づいて、前記物体の３
   次元空間における位置情報と、その物体を撮像して得ら
   れる前記２次元画像の位置情報との対応関係である位置
   情報対応関係を求め、 長さが既知の第２の物体を撮像して得られる前記撮像装
   置の出力を、前記位置情報対応関係に基づいて変換し、
   その第２の物体の３次元空間における位置情報を求め、 前記第２の物体の３次元空間における位置情報と、前記
   第２の物体の長さとに基づいて、前記撮像装置の出力を
   前記位置情報対応関係に基づいて変換して得られる前記
   ３次元空間における位置情報を補正するためのパラメー
   タを求めることにより得られた、そのパラメータに基づ
   いて、前記撮像装置の出力を前記位置情報対応関係に基
   づいて変換して得られる前記３次元空間における位置情
   報を補正することを特徴とする補正方法。
7. 【請求項７】 物体を撮像する撮像装置から得られる２
   次元画像から求められる前記物体の３次元空間における
   位置情報を補正する補正装置であって、 第１の物体を、その第１の物体との距離を変えて撮像し
   たときの前記撮像装置の出力に基づいて、前記物体の３
   次元空間における位置情報と、その物体を撮像して得ら
   れる前記２次元画像の位置情報との対応関係である位置
   情報対応関係を求め、 長さが既知の第２の物体を撮像して得られる前記撮像装
   置の出力を、前記位置情報対応関係に基づいて変換し、
   その第２の物体の３次元空間における位置情報を求め、 前記第２の物体の３次元空間における位置情報と、前記
   第２の物体の長さとに基づいて、前記撮像装置の出力を
   前記位置情報対応関係に基づいて変換して得られる前記
   ３次元空間における位置情報を補正するためのパラメー
   タを求めることにより得られた、そのパラメータに基づ
   いて、前記撮像装置の出力を前記位置情報対応関係に基
   づいて変換して得られる前記３次元空間における位置情
   報を補正する補正手段を備えることを特徴とする補正装
   置。