JP4077755B2 - 位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法 - Google Patents
位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法 Download PDFInfo
- Publication number
- JP4077755B2 JP4077755B2 JP2003103498A JP2003103498A JP4077755B2 JP 4077755 B2 JP4077755 B2 JP 4077755B2 JP 2003103498 A JP2003103498 A JP 2003103498A JP 2003103498 A JP2003103498 A JP 2003103498A JP 4077755 B2 JP4077755 B2 JP 4077755B2
- Authority
- JP
- Japan
- Prior art keywords
- incident light
- pixel
- camera
- calibration information
- displacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 73
- 238000000034 method Methods 0.000 title claims description 43
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000006073 displacement reaction Methods 0.000 claims description 62
- 238000005259 measurement Methods 0.000 claims description 46
- 238000003384 imaging method Methods 0.000 claims description 37
- 239000003550 marker Substances 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 19
- 230000003287 optical effect Effects 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000005357 flat glass Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 235000008429 bread Nutrition 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数のカメラで対象物を撮像した複数の画像から、その対象物の位置を検出する位置検出技術に関する。
【０００２】
【従来の技術】
一般に、ＣＣＤ等の複数台のカメラによって、対象物の位置を検出するには、各カメラの位置と、各カメラで撮像した画像の対象物に対応する各画素とに基づいて、三角測量の原理で対象物までの距離を測定することにより行っていた。なお、この三角測量の原理で、対象物の位置を検出する手法では、各カメラのレンズ系が、ピンホールカメラモデルに基づいていることが前提となっている。このピンホールカメラモデルとは、図１０に示すように、基点位置（針穴：ピンホールＨ）を通して入射する光（入射光）のみが、画像面上に到達して、３次元空間（ｘ，ｙ，ｚ）が、画像面上の２次元空間（ｕ，ｖ）に対応付けられるモデルのことをいう。このようにピンホールカメラモデルは、入射光線が一点のピンホールを通って撮像画像として形成されることを想定している。
【０００３】
しかし、このレンズ系を有するカメラによって撮像された画像には、非線形の歪みが存在し、周辺ほど歪みが大きいことが知られている。このため、この歪みを有する画像からは、正確な対象物の位置を検出することはできない。そこで、従来は、撮像された画像に対して補正を行うことで、位置検出の精度を改善する方法が提案されている。（例えば、特許文献１参照。）。
【０００４】
この特許文献１で公開されている方法では、まず、カメラで市松模様のパターン画像を撮像し、市松模様の交点（特徴点）を検出する。そして、パターン画像の歪みが少ない画像中央部の特徴点の配列から、画像全体の特徴点の基準位置を算出し、先に検出した特徴点を基準位置に補正するための補正関数を求める。そして、その補正関数によって、対象物を撮像した画像を補正する。
このように、従来は、カメラで撮影した画像の非線形の歪みを除去するため、ピンホールカメラモデルに基づいた画像特性を考慮して、画像を補正する手法がとられていた。
【０００５】
【特許文献１】
特開平５−２７４４２６号公報（第６−１２頁）
【０００６】
【発明が解決しようとする課題】
しかし、前記従来の技術は、レンズ系を有するカメラで撮像した画像において、周辺の歪みが大きいという事象から、画像の補正を行っており、その歪みの根本原因に基づいて補正を行ったものではない。例えば、特許文献１で公開された技術では、画像の歪みが少ない画像中央部の特徴点の配列から、画像全体の特徴点の基準位置を算出しているが、画像中央部においても歪みは存在しており、その歪みを含んだ画像から基準位置を算出している。このため、この技術を用いて補正（較正）された画像から、対象物の位置を検出することで、位置検出の精度を高めることはできるが、正確な位置検出を行うことはできないという問題があった。
【０００７】
また、前記従来の技術における歪みの補正は、対象物とカメラとの距離に依存している。すなわち、レンズ系を有するカメラで撮像した画像の歪みは、対象物とカメラとの距離による歪み（誤差）の変化が非線形であるため、対象物の距離がわかっていれば、それに対応した補正関数を用いることで補正を行うことは可能である。しかし、対象物までの距離は測定するまで未知であるので、完全に補正（較正）を行うことはできなかった。
【０００８】
本発明は、以上のような問題点に鑑みてなされたものであり、レンズ系を有するカメラで撮像した画像の歪みの根本原因を除去し、複数のカメラで対象物を撮像した複数の画像から、対象物の位置を正確に検出する位置検出方法、その装置及びそのプログラム、並びに、前記した位置検出方法、その装置及びその方法で用いる較正情報を生成する較正情報生成方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の位置検出方法は、複数のカメラで対象物を撮像した複数の画像に基づいて、前記対象物の位置を検出する位置検出方法であって、前記画像の画素位置と、前記カメラのレンズ系に入射される入射光線の方向及び基準位置から前記入射光線への変位量とを予め関連付けた較正情報を利用し、前記変位量に基づいて補正した基準位置から前記方向に対応する位置を前記対象物の位置として算出することとした。
【００１０】
この方法によれば、位置検出方法は、カメラで対象物を撮像した画像の画素毎に、カメラのレンズ系の光学中心（ｏｐｔｉｃａｌ ｃｅｎｔｅｒ）に対して、そのレンズ系に入射される入射光線の方向及び基準位置から入射光線への変位量とを予め関連付けた較正情報により、カメラが対象物の位置に対応する画素として検出した画素のズレ量（変位量）を認識することができる。これによって、撮像した複数の画像毎に、対象物の位置に対応する画素の光学中心からのズレ量に基づいて、対象物の位置を補正することで、対象物の正確な位置を検出することができる。なお、この光学中心とは、レンズ系の中央位置を示し、ピンホールカメラモデルにおいては、ピンホールの位置に該当するものである。
【００１１】
また、請求項２に記載の位置検出方法は、カメラで撮像される画像の画素位置と、入射光線の方向及び基準位置から前記入射光線への変位量とを関連付けた較正情報を、複数のカメラ毎に準備し、前記複数のカメラで対象物を撮像した複数の画像及び前記較正情報に基づいて、前記対象物の位置を検出する位置検出方法であって、前記複数の画像を入力する画像入力ステップと、この画像入力ステップで入力した各々の画像において、前記対象物に対応する画素位置を検出する画素位置検出ステップと、この画素位置検出ステップで検出した画素位置に基づいて、前記較正情報から、その画素位置に対応する入射光線の方向及びその変位量を取得し、この入射光線の方向及びその変位量を利用して、前記対象物の位置を算出する位置算出ステップと、を含むこととした。
【００１２】
この方法によれば、位置検出方法は、画像入力ステップで、複数のカメラで対象物を撮像した複数の画像を入力し、画素位置検出ステップで、各々の画像において、対象物に対応する画素位置を検出する。そして、位置算出ステップで、カメラで撮像された画像の画素位置と、入射光線の方向及び特定の基準位置から入射光線への変位量とを関連付けた較正情報から、入射光線の方向及びその変位量を取得し、この入射光線の方向及びその変位量を利用して、対象物の位置を算出（検出）する。これによって、位置検出方法は、複数の撮像された画像から対象物の位置を検出する前に、各画像の対象物に対応する画素に入力される入射光線のズレ量を認識することができるため、そのズレ量に基づいて、対象物の正確な位置を補正して求めることができる。
【００１３】
さらに、請求項３に記載の位置検出装置は、複数のカメラで対象物を撮像した複数の画像に基づいて、前記対象物の位置を検出する位置検出装置であって、前記複数の画像を入力する画像入力手段と、この画像入力手段で入力された各々の画像において、前記対象物に対応する画素位置を検出する画素位置検出手段と、前記画素位置と、前記対象物から入射される入射光線の方向及び基準位置から前記入射光線への変位量とを関連付けた較正情報を、前記複数のカメラ毎に蓄積した蓄積手段と、前記画素位置検出手段で検出された画素位置に基づいて、前記較正情報から、その画素位置に対応する入射光線の方向及びその変位量を取得し、この入射光線の方向及びその変位量を利用して、前記対象物の位置を算出する位置算出手段と、を備える構成とした。
【００１４】
かかる構成によれば、位置検出装置は、画像入力手段によって、複数のカメラで対象物を撮像した複数の画像を入力し、画素位置検出手段によって、各々の画像において、対象物に対応する画素位置を検出する。そして、位置算出手段によって、その画素位置と、入射光線の方向及び特定の基準位置から入射光線への変位量とを関連付けた較正情報から、入射光線の方向及びその変位量を取得し、この入射光線の方向及びその変位量を利用して、対象物の位置を算出（検出）する。なお、較正情報は、カメラ毎に蓄積手段に蓄積しておく。これによって、位置検出装置は、複数の撮像された画像から対象物の位置を検出する前に、各画像の対象物に対応する画素に入力される入射光線のズレ量を認識することができるため、そのズレ量に基づいて、対象物の正確な位置を補正して求めることができる。
【００１５】
また、請求項４に記載の位置検出装置は、請求項３に記載の位置検出装置において、前記画素位置検出手段が、前記対象物の位置を特定するマーカに基づいて、前記複数の画像毎に、前記対象物に対応する画素位置を検出することとした。
【００１６】
かかる構成によれば、位置検出装置は、画素位置検出手段が、対象物の位置を特定するマーカに基づいて、対象物に対応する画素位置を検出するため、位置検出を行いたい部位のみを特定することができる。このとき、位置検出装置は、複数の画像からマーカの位置を検出する前に、各画像のマーカに対応する画素に入力される入射光線のズレ量を認識することができるため、そのズレ量に基づいて、マーカの正確な位置を補正して求めることができる。なお、このマーカは、形状が既知の対象物であれば、その特定位置、例えば物体のカドを用いることとしてもよい。
【００１７】
さらに、請求項５に記載の位置検出プログラムは、カメラで撮像される画像の画素位置と、入射光線の方向及び特定の基準位置から前記入射光線への変位量とを関連付けた較正情報を、複数のカメラ毎に準備し、前記複数のカメラで対象物を撮像した複数の画像及び前記較正情報に基づいて、前記対象物の位置を検出するために、コンピュータを、以下の各手段によって機能させる構成とした。
【００１８】
すなわち、前記複数の画像を入力する画像入力手段、この画像入力手段で入力された各々の画像において、前記対象物の対応する画素位置を検出する画素位置検出手段、この画素位置検出手段で検出された画素位置に基づいて、前記較正情報から、その画素位置に対応する入射光線の方向及びその変位量を取得し、この入射光線の方向及びその変位量を利用して、前記対象物の位置を算出する位置算出手段、とした。
【００１９】
かかる構成によれば、位置検出プログラムは、画像入力手段によって、複数のカメラで対象物を撮像した複数の画像を入力し、画素位置検出手段によって、各々の画像において、対象物に対応する画素位置を検出する。そして、位置算出手段によって、その画素位置と、入射光線の方向及び特定の基準位置から入射光線への変位量とを関連付けた較正情報から、入射光線の方向及びその変位量を取得し、この入射光線の方向及びその変位量を利用して、対象物の位置を算出（検出）する。
【００２０】
また、請求項６に記載の較正情報生成方法は、カメラの画素毎に光を照射し、その照射された前記画素毎の入射光線に基づいて、基準位置から前記各入射光線への変位量を算出し、前記入射光線の方向及び前記変位量を、画素位置に関連付けて、較正情報を生成することとした。
【００２１】
この方法によれば、較正情報生成方法は、カメラの撮像を行う画素毎に入射光線を入射することで、画素毎の入射光線の方向を特定する。なお、この入射光線の方向は、入射光線の発光位置を少なくとも２点決めることで特定することができる。そして、特定の基準位置から各入射光線への変位量を算出することで、画素位置に、入射光線の方向及び変位量のデータを関連付けた較正情報を生成することができる。この較正情報のデータは、カメラの特性を数値化したキャリブレーションデータとなるものである。
【００２２】
さらに、請求項７に記載の較正情報生成方法は、カメラで撮像される画像の画素位置と、入射光線の方向及び基準位置から前記入射光線への変位量とを関連付けた較正情報を生成する較正情報生成方法であって、第１光源位置から発光する光の強度が、前記カメラの測定画素で最も強くなるように、前記カメラの撮像方向を調整することで、前記カメラに対する前記第１光源位置の相対位置を測定する第１光源相対位置測定ステップと、第２光源位置から発光する光の強度が、前記カメラの測定画素で最も強くなるように、前記カメラの撮像方向を調整することで、前記カメラに対する前記第２光源位置の相対位置を測定する第２光源相対位置測定ステップと、前記第１光源位置及び前記第２光源位置の各相対位置に基づいて、前記測定画素に入射する入射光線を特定する入射光線特定ステップとを、測定画素数分繰り返し、測定を行った画素位置毎に特定された入射光線に基づいて、前記基準位置から前記入射光線への変位量を算出し、前記画素位置に、前記入射光線の方向及び前記変位量を関連付けて前記較正情報とすることとした。
【００２３】
この方法によれば、較正情報生成方法は、第１光源相対位置測定ステップで、第１光源位置から発光する光の強度が、前記カメラの測定画素で最も強くなるように、前記カメラのパン及びチルトを変更することで撮像方向を調整し、前記カメラに対する前記第１光源位置の相対位置を測定する。ここで測定された第１光源位置の相対位置は、測定画素の入射光線を特定するための１点目の位置となる。
【００２４】
また、較正情報生成方法は、第２光源相対位置測定ステップで、第１光源相対位置測定ステップと同様に、第２光源位置の相対位置を測定する。ここで測定された第２光源位置の相対位置は、測定画素の入射光線を特定するための２点目の位置となる。この２点の相対位置によって、測定画素の入射光線を特定することができる。
【００２５】
そして、較正情報生成方法は、入射光線の特定を測定画素数分繰り返し、その入射光線に基づいて、基準位置から前記入射光線への変位量を算出し、前記画素位置に、前記入射光線の方向及び前記変位量を関連付けることで較正情報を生成する。これによって、カメラの特性を数値化することができる。
【００２６】
【発明の実施の形態】
以下では、まず、一般にレンズ系を有するカメラで撮像された画像の歪みの原因となる、入射光線が一点で交わらないカメラの非ピンホール性について説明し、その非ピンホール性を有するカメラの特性を数値化したキャリブレーションデータについて説明する。そして、カメラで撮像された画素毎のキャリブレーションデータを測定して較正情報（較正テーブル）を生成する方法について説明する。そして、その較正情報（較正テーブル）を参照することで、撮像された画像の歪みを除去して対象物の位置を検出する位置検出装置について、順次説明していくこととする。
【００２７】
［カメラの非ピンホール性について］
まず、図１１を参照して、一般にレンズ系を有するカメラで撮像した画像において、歪みが発生する原因について説明する。図１１は、レンズ系を有するモデルのカメラの模式図である。ここでは、説明を簡略化するため、レンズ系を板ガラスＧとし、ピンホールＨが生成されているものとする。このカメラＣの板ガラスＧに垂直に入射する入射光線ｒ１は、ピンホールＨを通って撮像面Ｉ上の画素Ｒ１に撮像される。また、板ガラスＧに斜めに入射した入射光線ｒ２及びｒ３は、板ガラスＧ内で屈折した後にピンホールＨを通って撮像面Ｉ上の画素Ｒ２及びＲ３に撮像される。
【００２８】
しかし、このカメラＣは、板ガラスＧを通過する前の入射光線ｒ２及びｒ３の延長線であるｒ２´及びｒ３´と、入射光線ｒ１とは、一点では交わらず、ピンホールカメラモデルとはなっていないことがわかる。このため、撮像面Ｉ上の画素Ｒ３には、ピンホールカメラモデルで想定している入射光線ｒｒとは、距離Ｄ分だけずれた入射光線ｒ３が撮像されることになる。
【００２９】
このように、レンズ系（ここでは板ガラスＧ）に入射される入射光線によって像を撮像するカメラは、ピンホール性が崩れていることになる（非ピンホール性）。以下、レンズ系を有するカメラを「非ピンホールカメラ」と呼ぶこととする。
【００３０】
［キャリブレーションデータについて］
次に、図１２を参照して、非ピンホールカメラの特性を数値化したキャリブレーションデータについて説明する。図１２は、キャリブレーションデータの内容を説明するための説明図である。図１２に示すように、レンズｌに入射する入射光線Ｒは２点で特定することができる。ここでは、第１の光源位置Ｐ１と、第２の光源位置Ｐ２とから発光される光が同一の撮像画素（図示せず）に撮像されたときに、入射光線Ｒがその撮像画素に対応する入射光線であると特定する。
【００３１】
ここで、すべての入射光線との距離の自乗和が最小となる点を光学中心Ｏと定義し、各撮像画素に対応する入射光線Ｒと光学中心Ｏとの距離が最小となる点を、その入射光線Ｒの入射光基点Ｋと定義する。
【００３２】
すなわち、光学中心Ｏ（ｘ0，ｙ0，ｚ0）は、すべての入射光線において、光源位置Ｐ１（ｘ1，ｙ1，ｚ1）と、光源位置Ｐ２（ｘ2，ｙ2，ｚ2）とで特定される入射光線Ｒからの距離ｄの自乗（（１）式）和が最小になる位置を、最小自乗法によって求めた位置となる。
【００３３】
d2=-(A2/B)+C …（１）
【００３４】
ただし、
A=(x2-x1)(x1-x0)+(y2-y1)(y1-y0)+(z2-z1)(z1-z0)
B=(x2-x1)2+(y2-y1)2+(z2-z1)2
C=(x1-x0)2+(y1-y0)2+(z1-z0)2
とする。
【００３５】
これによって、画素位置毎に、光源位置Ｐ１及びＰ２で特定される方向と、光学中心Ｏから入射光基点Ｋへの変位量（３次元ベクトルＶD（ｄｘ，ｄｙ，ｄｚ）で表現）とを関連付けたデータをキャリブレーションデータとすることで、非ピンホールカメラの特性を数値化することができる。
【００３６】
なお、キャリブレーションデータは、これに限定されるものではない。例えば、前記した例では、光学中心Ｏを基準位置とし、光学中心Ｏから入射光線へ降ろした垂線の足までのベクトルを変位量ＶDとしているが、基準位置は、光学中心に限らず、カメラと一定関係にある固定点であれば、そのような点でも構わない。そして、変位量ＶDは、基準位置から入射光線上の任意の一点へ向かうベクトルであればよく、基準位置から入射光線へ降ろした垂線の足へ向かうベクトルには限られない。
【００３７】
［較正情報（較正テーブル）生成方法］
次に、図１を参照して、非ピンホールカメラの特性を数値化したキャリブレーションデータを撮像画素毎に関連付けた較正情報として較正テーブルを生成する方法について説明する。図１は、較正テーブルを生成する方法の原理を示す概念図である。なお、図１（ａ）は、特定の入射光線に対して、カメラのパン及びチルトを変化させることで、キャリブレーションデータを測定する原理を示す概念図であり、図１（ｂ）は、固定したカメラに対して、入射光線を変化させることで、キャリブレーションデータを測定する原理を示す概念図である。
【００３８】
図１（ａ）に示すように、キャリブレーションデータを撮像画素毎に関連付けた較正テーブルを生成するには、非ピンホール性を有するカメラＣに対して、光源位置をＰ１及びＰ２の１方向に移動させ（１軸移動）、光源位置Ｐ１及びＰ２で特定される入射光線Ｒを決定し、光源位置Ｐ１及びＰ２から発光される光が共に、測定を行う撮像画素（測定画素）に入射されるように、カメラＣのパン及びチルトを調整（２軸回転）することで、カメラＣの撮像画素毎に入射される入射光線Ｒの方向を特定する。
【００３９】
また、図１（ｂ）に示すように、カメラＣは固定しておき、光源位置Ｐ１及びＰ２の２点で発光した入射光線Ｒが、測定画素に入射されるように、光源位置Ｐ１及びＰ２をＸＹＺ方向に移動（３軸移動）させることで、その測定画素に入射される光源位置Ｐ１及びＰ２の２点で定まる入射光線Ｒの方向を特定することとしてもよい。
【００４０】
図１（ａ）又は（ｂ）で、測定を行った各撮像画素毎に特定された入射光線Ｒに基づいて、図１２で説明したように、入射光線Ｒの方向と、光学中心Ｏから入射光基点Ｋへの変位量とをキャリブレーションデータとして撮像画素毎に関連付けることで較正テーブルを生成することができる。
【００４１】
＜較正情報生成装置の構成＞
ここで、図２を参照して、較正情報生成方法を実現するための具体的な装置である較正情報生成装置の構成について説明する。図２は、カメラのキャリブレーションデータを撮像画素毎に測定し、較正情報である較正テーブルを生成する較正情報生成装置の全体図である。
【００４２】
この較正情報生成装置１００は、カメラＣを支持し、カメラＣをパン方向及びチルト方向に回動させるカメラ支持台１１０（回転ステージ）と、点光源Ｌをカメラ支持台１１０に対して前後、左右及び上下の３次元方向に移動させる３次元移動台１２０（ＸＹＺステージ）とを備えている。
【００４３】
カメラ支持台１１０は、水平面上で垂直軸回りに回動自在なパンテーブル１１１と、水平軸回りに回動自在なようにパンテーブル１１１に支持されたチルトテーブル１１２とからなっており、チルトテーブル１１２にカメラＣが支持されている。
【００４４】
３次元移動台１２０は、カメラ支持台１１０に対して水平面上に前後方向に延設されたＸ軸レール１２１と、Ｘ軸レール１２１上を前後方向に移動し、左右方向に延設されたＹ軸レール１２２と、Ｙ軸レール１２２上を左右方向に移動し、垂直方向に立設されたＺ軸レール１２３とからなっており、Ｚ軸レール１２３上に上下移動自在に点光源Ｌが設けられている。
【００４５】
パンテーブル１１１及びチルトテーブル１１２は、パルスモータ等の回転駆動装置（図示せず）で駆動され、チルトテーブル１１２上に支持されているカメラＣの視軸を上下左右に振ることが可能になっている。また、パンテーブル１１１及びチルトテーブル１１２の回転軸には、カメラＣの視軸角度を得るために、ロータリエンコーダ等の回転角度計測器（図示せず）が設けられている。
【００４６】
Ｙ軸レール１２２、Ｚ軸レール１２３及び点光源Ｌは、ラックピニオン機構等の、パルスモータの回転力を直線運動に変換する駆動装置（図示せず）で駆動されて、それぞれに対応するレール上を直線移動することが可能になっている。
【００４７】
なお、図示していない前記回転駆動装置及び前記駆動装置は、制御装置（図示せず）によって制御され、前記回転角度計測器で計測されたカメラＣの視軸角度と点光源Ｌの位置は、制御装置によって参照可能なように構成されているものとする。
【００４８】
＜較正情報生成装置の動作＞
さらに、図３を参照（適宜図１及び図２参照）して、較正情報生成装置１００が、較正情報を生成する動作について説明する。図３は、較正情報生成装置１００が、図１（ａ）の手法によって、較正情報である較正テーブルを生成する動作を示すフローチャートである。
【００４９】
まず、較正情報生成装置１００は、点光源Ｌを特定の位置（光源位置Ｐ１）に設定し、光源位置Ｐ１の点光源Ｌから発光される光が、カメラＣの測定画素位置に入射するように、パンテーブル１１１及びチルトテーブル１１２を回転（２軸回転）させ、その回転量であるパン量及びチルト量を取得する（ステップＳ１）。そして、この回転を行ったパン量及びチルト量に基づいて、光源位置Ｐ１のカメラＣからの相対位置を測定する（ステップＳ２）。
【００５０】
次に、較正情報生成装置１００は、Ｙ軸レール１２２をＸ軸レール１２１上でＸ方向（前又は後）に移動（１軸移動）させることで、点光源Ｌを光源位置Ｐ２に移動させる（ステップＳ３）。
【００５１】
そして、較正情報生成装置１００は、光源位置Ｐ２の点光源Ｌから発光される光が、カメラＣの測定画素位置に入射するように、パンテーブル１１１及びチルトテーブル１１２を回転（２軸回転）させ、その回転量であるパン量及びチルト量を取得する（ステップＳ４）。そして、この回転を行ったパン量及びチルト量に基づいて、光源位置Ｐ２のカメラＣからの相対位置を測定する（ステップＳ５）。
【００５２】
このステップＳ２及びステップＳ５における、光源位置Ｐ１及び光源位置Ｐ２の各相対位置によって、測定画素位置に入射される入射光線Ｒを特定することができる。
【００５３】
ここで、図４を参照（適宜図１及び図２参照）して、ステップＳ２及びステップＳ５における光源位置の相対位置を算出する方法について説明する。図４は、パン・チルトに伴うカメラと光源位置との相対関係を説明するための説明図である。
【００５４】
この図４において、カメラ支持台（回転ステージ）１１０の固定の基準位置ＢにカメラＣが搭載されているものとする。ここで、カメラ支持台１１０すなわちカメラＣを、パン量“−θpan”及びチルト量“−θtilt”だけ回転させることで、カメラＣから見える光源位置の方向は、カメラ支持台１１０の回転中心位置ＯTを中心として光源位置をθpan及びθtiltだけ回転させたときに見える方向に等しくなる。
【００５５】
ここで、回転中心位置ＯTに対して、回転前の光源位置Ｐの座標を（ｘ1，ｙ1，ｚ1）、回転量であるパン量及びチルト量をそれぞれθpan及びθtiltとすると、回転後の光源位置ＰRの座標（Ｒx1，Ｒy1，Ｒz1）は、（２）式で求めることができる。
【００５６】
【数１】
【００５７】
このように、カメラ支持台１１０が回転した後の、２点の光源位置の相対位置を求めることで、測定画素位置に入射される入射光線を特定することができる。すなわち、入射光線は、相対位置に変換された光源位置Ｐ１の座標を（ｘP1，ｙP1，ｚP1）、相対位置に変換された光源位置Ｐ２の座標を（ｘP2，ｙP2，ｚP2）とすると、ｔを実数として（３）式により特定することができる。
【００５８】
【数２】
【００５９】
図３に戻って、説明を続ける。
較正情報生成装置１００は、予め定めた測定画素分の測定が終了したかどうかを判定し（ステップＳ６）、終了していない場合（Ｎｏ）は、ステップＳ１へ戻って、次の測定画素位置における入射光線の特定を行う。一方、予め定めた測定画素分の測定が終了した場合（Ｙｅｓ）は、測定画素分の入射光線の方向に基づいて、光学中心を算出する（ステップＳ７）。
【００６０】
そして、較正情報生成装置１００は、各撮像画素毎に、入射光線の方向と、基準位置からの変位量とを関連付けて較正テーブルを生成する（ステップＳ８）。また、測定を行っていない撮像画素については、近接する測定画素のデータから補間を行い生成するものとする。なお、測定画素位置は、カメラＣのレンズの特性によって予め設定しておくものとする。例えば、レンズが魚眼レンズの場合は、５画素以下の間隔で、測定画素位置を設定し、それ以外のレンズの場合は、５〜１０画素間隔で、測定画素位置を設定する。また、ここでは、各撮像画素毎に、入射光線の方向と基準位置からの変位量とを関連付けた較正テーブルを、較正情報として生成したが、所定の関数、例えば、前記した近接する測定画素のデータから補間を行う際の補間関数として生成することとしてもよい。あるいは、較正情報を、各画素位置から入射光線の方向への変換式や、各画素位置から変位量への変換式として生成することとしてもよい。
【００６１】
なお、ステップＳ１及びステップＳ４におけるカメラＣの回転方法については、図５を参照（適宜図２参照）して、さらに説明を行う。図５は、較正情報生成装置１００が、測定画素位置に入射光線を入射させる動作を示すフローチャートである。
【００６２】
図５に示すように、較正情報生成装置１００は、まず、カメラＣによって、画像（撮像画像）を取り込む（ステップＳ１０）。なお、この撮像画像には、点光源Ｌだけしか写っていない状態、すなわち、黒い背景の画像上に白い点が写った状態であるものとする。
【００６３】
そして、較正情報生成装置１００は、撮像画像上の白い点（点光源Ｐ）の光の強度が最大（ピーク）となる位置（ピーク位置）を推定する（ステップＳ１１）。
【００６４】
ここで、図６を参照して、光の強度のピーク位置の推定について説明を行う。図６は、横軸に画素位置Ｐ（…，Ｐn-2，Ｐn-1，Ｐn，Ｐn+1，Ｐn+2，…）、縦軸に画素位置Ｐにおける光の強度（光強度Ｉ）を表したグラフである。このように、光強度Ｉは、ある撮像画素を中心とした広がりを持っている。
【００６５】
そこで、光強度が最大となるピーク位置Ｐeは、画素位置Ｐnに対応する光強度をＩn、画素位置Ｐnに隣接する画素位置Ｐn-1及びＰn+1に対応する光強度をＩn-1及びＩn+1とすると、（４）式及び（５）式によって求めることができる。
【００６６】
Ｉn-1≦Ｉn+1の場合：
Ｐe＝Ｐn＋（Ｉn+1−Ｉn-1）／｛２（Ｉn−Ｉn-1）｝ …（４）
【００６７】
Ｉn-1＞Ｉn+1の場合：
Ｐe＝Ｐn＋（Ｉn+1−Ｉn-1）／｛２（Ｉn−Ｉn+1）｝ …（５）
【００６８】
なお、このピーク位置Ｐeの推定は、上下、左右の各方向に隣接する撮像画素の光強度から算出するものとする。
図５に戻って、説明を続ける。
【００６９】
較正情報生成装置１００は、ステップＳ１１で推定した光強度が最大となるピーク位置と、測定画素位置との誤差が予め定めた閾値以下かどうかを判定し（ステップＳ１２）、閾値以下の場合（Ｙｅｓ）は、ピーク位置が測定画素位置と一致したものとみなして動作を終了する。
【００７０】
一方、誤差が予め定めた閾値よりも大きい場合（Ｎｏ）は、その誤差を角度値に変換して、パンテーブル１１１及びチルトテーブル１１２の回転量を算出する（ステップＳ１３）。そして、較正情報生成装置１００は、この回転量に基づいて、パンテーブル１１１及びチルトテーブル１１２を回転させ（ステップＳ１４）、ステップＳ１０へ戻ることで、光強度のピーク位置を測定画素位置に合わせる。
【００７１】
以上、較正情報生成装置１００が、図１（ａ）の手法によって、較正テーブルを生成する動作について説明したが、図１（ｂ）の手法によって、較正テーブルを生成することも可能である。
【００７２】
この場合は、カメラＣを固定し、点光源Ｌから入射される入射光線の光強度が測定画素位置で最大（ピーク）になるように、点光源Ｌの位置をＹ方向及び／又はＺ方向の正又は負の方向に移動させることで、光源位置Ｐ１を特定する。そして、点光源ＬとカメラＣとの距離を変えて（Ｘ方向で移動）、前記と同様に、入射光線の光強度が測定画素位置で最大となるように、点光源Ｌの位置をＹ方向及び／又はＺ方向の正又は負の方向に移動させることで、光源位置Ｐ２を特定する。このように、光源位置Ｐ１と光源位置Ｐ２とが決定されることで、入射光線Ｒの方向が特定されることになる。この動作を測定画素分繰り返し、前記した図３のステップＳ７及びステップＳ８の動作を行うことで、較正テーブルを生成することができる。
【００７３】
［位置検出装置の構成］
次に、図７を参照して、位置検出装置について説明を行う。図７は、本発明の実施の形態である位置検出装置の構成を示したブロック図である。図７に示した位置検出装置１は、２台のカメラ（非ピンホールカメラ）Ｃで撮像された撮像画像から、対象物（マーカＭ）の３次元位置を検出するものである。ここでは、位置検出装置１を、画像入力手段１０と、画素位置検出手段２０と、較正テーブル蓄積手段３０と、位置算出手段４０とを備えて構成した。マーカＭは、位置を検出する部位を特定するために、その部位に付す目印であって、特定の色や形状を有したシール、赤外線等を発光する発光ダイオード等である。
【００７４】
画像入力手段１０は、２台のカメラＣで対象物（マーカＭ）を撮像した各々の撮像画像を入力するものである。なお、動画像として撮像画像を時系列に入力する場合は、カメラＣ1及びカメラＣ2で撮像された各撮像画像は、同期して画像入力手段１０へ入力されるものとする。また、画像入力手段１０には、カメラＣ1及びカメラＣ2で撮像された各撮像画像を一時的に記憶しておく、図示していないメモリを備えており、このメモリに記憶された撮像画像を、後記する画素位置検出手段２０が参照するものとする。
【００７５】
画素位置検出手段２０は、画像入力手段１０で入力された各撮像画像において、対象物に対応する画素位置を検出するものである。ここでは、撮像画像上でマーカＭとして撮像された領域の重心位置を、対象物に対応する画素位置とする。ここで検出された各撮像画像の画素位置は、位置算出手段３０へ入力される。
【００７６】
較正テーブル蓄積手段（蓄積手段）３０は、メモリ等の一般的な記憶媒体であって、カメラＣの撮像画素毎にキャリブレーションデータを関連付けた較正テーブル３１を、カメラＣの数分蓄積したものである。ここで、較正テーブル３１ａは、カメラＣ1の較正テーブル、較正テーブル３１ｂは、カメラＣ2の較正テーブルとする。なお、較正テーブル３１の内容である各撮像画素毎のキャリブレーションデータは、図１２で説明したように、各撮像画素に入射される入射光線の方向と、基準位置（光学中心Ｏ）から入射光線への変位量ＶDとを含んでいる。
較正テーブル（較正情報）３１ｂは、図１３に示すように、撮像画素のｘ座標、ｙ座標の組み合わせに対し、その撮像画素に入射してくる入射光線を特定する情報として、光学中心Ｏからの変位量ＶD（ｄｘ，ｄｙ，ｄｚ）及び方向（角度）α、γが対応付けて記憶されている。
なお、ここでは、較正情報を、撮像画素毎に変位量ＶD及び方向（角度）α、γを対応付けた較正テーブルとして説明しているが、所定の関数や変換式によって表現しても構わない。
【００７７】
位置算出手段４０は、画素位置検出手段２０で検出された各撮像画像毎の画素位置に対応した、較正テーブル３１のキャリブレーションデータ（入射光線の方向及び変位量）に基づいて、対象物（マーカＭ）の位置（３次元位置）を算出するものである。
【００７８】
以上、位置検出装置１の構成について説明したが、本発明はこれに限定されるものではない。例えば、画素位置検出手段２０は、カメラＣで撮像した撮像画像を特定の大きさのブロックでマッチングを行うことで、対象物に対応する画素位置を検出することとしてもよい。
【００７９】
また、ここでは、２台のカメラＣで撮像した撮像画像に基づいて、対象物の位置を検出したが、３台以上のカメラを用いて位置を検出することも可能である。例えば、３行３列に配置した９台のカメラで、中央に配置したカメラを基準カメラとして、他の８台のカメラとの間で位置を検出し、その８個の位置で平均をとることで、対象物の位置をより正確に検出することもできる。
【００８０】
なお、位置検出装置の各手段、すなわち、画像入力手段１０、画素位置検出手段２０及び位置算出手段４０は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置（較正テーブル蓄積手段３０を含む）を動作させることにより実現される。
【００８１】
［位置検出装置の動作］
次に、図８を参照（適宜図７参照）して、位置検出装置１の動作について説明する。図８は、位置検出装置１の動作を示すフローチャートである。
まず、位置検出装置１は、画像入力手段１０によって、２台のカメラＣ（Ｃ1、Ｃ2）で撮像した撮像画像を入力する（ステップ２０）。また、位置検出装置１は、画素位置検出手段２０によって、画像入力手段１０で入力された各撮像画像において、対象物（マーカＭ）に対応する画素位置を検出する（ステップＳ２１）。
【００８２】
そして、位置検出装置１は、位置算出手段４０によって、カメラＣ（Ｃ1、Ｃ2）毎に対応する較正テーブル３１（３１ａ、３１ｂ）から、対象物（マーカＭ）の画素位置に対応するキャリブレーションデータを読み込み（ステップ２２）、その各画素位置のキャリブレーションデータに基づいて、対象物（マーカＭ）の３次元位置を算出する（ステップＳ２３）。
【００８３】
ここで、図９を参照（適宜図７参照）して、ステップＳ２３で行った対象物の３次元位置を算出する方法について具体的に説明する。図９は、対象物（マーカＭ）位置を算出する手法を説明するための説明図である。
【００８４】
この図９において、カメラＣ1の撮像画像における、マーカＭの画素位置に対応する変位量（較正テーブル３１ａから取得）に基づいて、カメラＣ1の光学中心を補正した補正光学中心Ｏ1を（x1，y1，z1）とする。また、カメラＣ2の撮像画像における、マーカＭの画素位置に対応する変位量（較正テーブル３１ｂから取得）に基づいて、カメラＣ2の光学中心を補正した補正光学中心Ｏ2を（x2，y2，z2）とする。
【００８５】
また、カメラＣ1の撮像画像における、マーカＭの画素位置に対応する入射光線の方向を水平角度α1、垂直角度γ1（較正テーブル３１ａから取得）とし、カメラＣ2の撮像画像における、マーカＭの画素位置に対応する入射光線の方向を水平角度α2、垂直角度γ2（較正テーブル３１ｂから取得）とする。ただし、ここではγ2は使用しないため図示していない。
この場合、対象物位置（Ｐx，Ｐy，Ｐz）は、（６）乃至（８）式で算出することができる。
【００８６】
Px＝（x1tanα1−y1−x2tanα2＋y2）／（tanα1＋tanα2） …（６）
Py＝（Px−x1）tanα1＋y1 …（７）
Pz＝（Px−x1）tanγ1＋z1 …（８）
【００８７】
以上の動作によって、位置検出装置１は、非ピンホールカメラにおいて、正確に対象物の位置を検出することが可能になる。
なお、この位置検出装置１を、移動ロボット、自動車等に組み込んで用いることも可能である。例えば、移動ロボットに本発明を適用し、移動ロボットが、床の位置を検出することで、床の凹凸を正確に認識することができ、移動ロボットが安定した歩行を行うことが可能になる。
【００８８】
【発明の効果】
以上説明したとおり、本発明に係る位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法では、以下に示す優れた効果を奏する。
【００８９】
請求項１、２、３又は５に記載の本発明によれば、複数の撮像された画像から対象物の位置を検出する前に、各画像の対象物に対応する画素に入力される入射光線のズレ量を検出することができるため、画像の周辺での歪み（非線形）を根本的に除去することができ、対象物の正確な位置を検出することができる。
【００９０】
請求項４に記載の発明によれば、マーカによって対象物の位置を検出するため、対象物に付したマーカの位置を検出することで、ＣＧ等で用いる３次元データを容易に取得することができる。なお、このマーカ位置は、撮像画像の周辺での歪み（非線形）を除去して検出した位置であるため、本発明によって、正確な３次元データを取得することができる。
【００９１】
請求項６に記載の発明によれば、画素毎に、入射光線の方向と、その入射光線の基準位置（光学中心）からの変位量をもった、較正情報を生成することができる。この較正情報を、カメラの特性を示すデータ（キャリブレーションデータ）として使用することで、例えば、複数のカメラで対象物の位置を検出する際に、正確な位置を検出することが可能になる。
【００９２】
請求項７に記載の発明によれば、予め入射光線を特定し、カメラのパン及びチルトを調整することで、入射光線の方向を特定することができるので、魚眼レンズのような広角レンズを備えたカメラであっても、容易に較正情報を生成することができる。
【図面の簡単な説明】
【図１】本発明の較正情報を生成する方法の原理を示す概念図である。
【図２】本発明の較正情報を生成する方法を実現する較正情報生成装置の全体構成図である。
【図３】本発明の較正情報を生成する方法を実現する較正情報生成装置の動作を示すフローチャートである。
【図４】パン・チルトに伴うカメラと光源位置との相対関係を説明するための説明図である。
【図５】較正情報生成装置が入射光線の方向を特定するための動作を示すフローチャートである。
【図６】光強度のピーク位置を推定する手法を説明するための説明図である。
【図７】本発明の位置検出装置の全体構成を示すブロック図である。
【図８】本発明の位置検出装置の動作を示すフローチャートである。
【図９】対象物の３次元位置を算出する方法を説明するための説明図である。
【図１０】ピンホールカメラモデルの概念を説明するための説明図である。
【図１１】カメラで撮像した画像に歪みが発生する原因を説明するための説明図である。
【図１２】キャリブレーションデータを説明するための説明図である。
【図１３】較正テーブルの内容を説明するための説明図である。
【符号の説明】
１ 位置検出装置
１０ 画像入力手段
２０ 画素位置検出手段
３０ 較正テーブル蓄積手段（蓄積手段）
３１（３１ａ、３１ｂ） 較正テーブル（較正情報）
４０ 位置算出手段
１００ 較正情報生成装置
１１０ カメラ支持台
１１１ パンテーブル
１１２ チルトテーブル
１２０ ３次元移動台
１２１ Ｘ軸レール
１２２ Ｙ軸レール
１２３ Ｚ軸レール
Ｃ カメラ
Ｌ 点光源
【発明の属する技術分野】
本発明は、複数のカメラで対象物を撮像した複数の画像から、その対象物の位置を検出する位置検出技術に関する。
【０００２】
【従来の技術】
一般に、ＣＣＤ等の複数台のカメラによって、対象物の位置を検出するには、各カメラの位置と、各カメラで撮像した画像の対象物に対応する各画素とに基づいて、三角測量の原理で対象物までの距離を測定することにより行っていた。なお、この三角測量の原理で、対象物の位置を検出する手法では、各カメラのレンズ系が、ピンホールカメラモデルに基づいていることが前提となっている。このピンホールカメラモデルとは、図１０に示すように、基点位置（針穴：ピンホールＨ）を通して入射する光（入射光）のみが、画像面上に到達して、３次元空間（ｘ，ｙ，ｚ）が、画像面上の２次元空間（ｕ，ｖ）に対応付けられるモデルのことをいう。このようにピンホールカメラモデルは、入射光線が一点のピンホールを通って撮像画像として形成されることを想定している。
【０００３】
しかし、このレンズ系を有するカメラによって撮像された画像には、非線形の歪みが存在し、周辺ほど歪みが大きいことが知られている。このため、この歪みを有する画像からは、正確な対象物の位置を検出することはできない。そこで、従来は、撮像された画像に対して補正を行うことで、位置検出の精度を改善する方法が提案されている。（例えば、特許文献１参照。）。
【０００４】
この特許文献１で公開されている方法では、まず、カメラで市松模様のパターン画像を撮像し、市松模様の交点（特徴点）を検出する。そして、パターン画像の歪みが少ない画像中央部の特徴点の配列から、画像全体の特徴点の基準位置を算出し、先に検出した特徴点を基準位置に補正するための補正関数を求める。そして、その補正関数によって、対象物を撮像した画像を補正する。
このように、従来は、カメラで撮影した画像の非線形の歪みを除去するため、ピンホールカメラモデルに基づいた画像特性を考慮して、画像を補正する手法がとられていた。
【０００５】
【特許文献１】
特開平５−２７４４２６号公報（第６−１２頁）
【０００６】
【発明が解決しようとする課題】
しかし、前記従来の技術は、レンズ系を有するカメラで撮像した画像において、周辺の歪みが大きいという事象から、画像の補正を行っており、その歪みの根本原因に基づいて補正を行ったものではない。例えば、特許文献１で公開された技術では、画像の歪みが少ない画像中央部の特徴点の配列から、画像全体の特徴点の基準位置を算出しているが、画像中央部においても歪みは存在しており、その歪みを含んだ画像から基準位置を算出している。このため、この技術を用いて補正（較正）された画像から、対象物の位置を検出することで、位置検出の精度を高めることはできるが、正確な位置検出を行うことはできないという問題があった。
【０００７】
また、前記従来の技術における歪みの補正は、対象物とカメラとの距離に依存している。すなわち、レンズ系を有するカメラで撮像した画像の歪みは、対象物とカメラとの距離による歪み（誤差）の変化が非線形であるため、対象物の距離がわかっていれば、それに対応した補正関数を用いることで補正を行うことは可能である。しかし、対象物までの距離は測定するまで未知であるので、完全に補正（較正）を行うことはできなかった。
【０００８】
本発明は、以上のような問題点に鑑みてなされたものであり、レンズ系を有するカメラで撮像した画像の歪みの根本原因を除去し、複数のカメラで対象物を撮像した複数の画像から、対象物の位置を正確に検出する位置検出方法、その装置及びそのプログラム、並びに、前記した位置検出方法、その装置及びその方法で用いる較正情報を生成する較正情報生成方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の位置検出方法は、複数のカメラで対象物を撮像した複数の画像に基づいて、前記対象物の位置を検出する位置検出方法であって、前記画像の画素位置と、前記カメラのレンズ系に入射される入射光線の方向及び基準位置から前記入射光線への変位量とを予め関連付けた較正情報を利用し、前記変位量に基づいて補正した基準位置から前記方向に対応する位置を前記対象物の位置として算出することとした。
【００１０】
この方法によれば、位置検出方法は、カメラで対象物を撮像した画像の画素毎に、カメラのレンズ系の光学中心（ｏｐｔｉｃａｌ ｃｅｎｔｅｒ）に対して、そのレンズ系に入射される入射光線の方向及び基準位置から入射光線への変位量とを予め関連付けた較正情報により、カメラが対象物の位置に対応する画素として検出した画素のズレ量（変位量）を認識することができる。これによって、撮像した複数の画像毎に、対象物の位置に対応する画素の光学中心からのズレ量に基づいて、対象物の位置を補正することで、対象物の正確な位置を検出することができる。なお、この光学中心とは、レンズ系の中央位置を示し、ピンホールカメラモデルにおいては、ピンホールの位置に該当するものである。
【００１１】
また、請求項２に記載の位置検出方法は、カメラで撮像される画像の画素位置と、入射光線の方向及び基準位置から前記入射光線への変位量とを関連付けた較正情報を、複数のカメラ毎に準備し、前記複数のカメラで対象物を撮像した複数の画像及び前記較正情報に基づいて、前記対象物の位置を検出する位置検出方法であって、前記複数の画像を入力する画像入力ステップと、この画像入力ステップで入力した各々の画像において、前記対象物に対応する画素位置を検出する画素位置検出ステップと、この画素位置検出ステップで検出した画素位置に基づいて、前記較正情報から、その画素位置に対応する入射光線の方向及びその変位量を取得し、この入射光線の方向及びその変位量を利用して、前記対象物の位置を算出する位置算出ステップと、を含むこととした。
【００１２】
この方法によれば、位置検出方法は、画像入力ステップで、複数のカメラで対象物を撮像した複数の画像を入力し、画素位置検出ステップで、各々の画像において、対象物に対応する画素位置を検出する。そして、位置算出ステップで、カメラで撮像された画像の画素位置と、入射光線の方向及び特定の基準位置から入射光線への変位量とを関連付けた較正情報から、入射光線の方向及びその変位量を取得し、この入射光線の方向及びその変位量を利用して、対象物の位置を算出（検出）する。これによって、位置検出方法は、複数の撮像された画像から対象物の位置を検出する前に、各画像の対象物に対応する画素に入力される入射光線のズレ量を認識することができるため、そのズレ量に基づいて、対象物の正確な位置を補正して求めることができる。
【００１３】
さらに、請求項３に記載の位置検出装置は、複数のカメラで対象物を撮像した複数の画像に基づいて、前記対象物の位置を検出する位置検出装置であって、前記複数の画像を入力する画像入力手段と、この画像入力手段で入力された各々の画像において、前記対象物に対応する画素位置を検出する画素位置検出手段と、前記画素位置と、前記対象物から入射される入射光線の方向及び基準位置から前記入射光線への変位量とを関連付けた較正情報を、前記複数のカメラ毎に蓄積した蓄積手段と、前記画素位置検出手段で検出された画素位置に基づいて、前記較正情報から、その画素位置に対応する入射光線の方向及びその変位量を取得し、この入射光線の方向及びその変位量を利用して、前記対象物の位置を算出する位置算出手段と、を備える構成とした。
【００１４】
かかる構成によれば、位置検出装置は、画像入力手段によって、複数のカメラで対象物を撮像した複数の画像を入力し、画素位置検出手段によって、各々の画像において、対象物に対応する画素位置を検出する。そして、位置算出手段によって、その画素位置と、入射光線の方向及び特定の基準位置から入射光線への変位量とを関連付けた較正情報から、入射光線の方向及びその変位量を取得し、この入射光線の方向及びその変位量を利用して、対象物の位置を算出（検出）する。なお、較正情報は、カメラ毎に蓄積手段に蓄積しておく。これによって、位置検出装置は、複数の撮像された画像から対象物の位置を検出する前に、各画像の対象物に対応する画素に入力される入射光線のズレ量を認識することができるため、そのズレ量に基づいて、対象物の正確な位置を補正して求めることができる。
【００１５】
また、請求項４に記載の位置検出装置は、請求項３に記載の位置検出装置において、前記画素位置検出手段が、前記対象物の位置を特定するマーカに基づいて、前記複数の画像毎に、前記対象物に対応する画素位置を検出することとした。
【００１６】
かかる構成によれば、位置検出装置は、画素位置検出手段が、対象物の位置を特定するマーカに基づいて、対象物に対応する画素位置を検出するため、位置検出を行いたい部位のみを特定することができる。このとき、位置検出装置は、複数の画像からマーカの位置を検出する前に、各画像のマーカに対応する画素に入力される入射光線のズレ量を認識することができるため、そのズレ量に基づいて、マーカの正確な位置を補正して求めることができる。なお、このマーカは、形状が既知の対象物であれば、その特定位置、例えば物体のカドを用いることとしてもよい。
【００１７】
さらに、請求項５に記載の位置検出プログラムは、カメラで撮像される画像の画素位置と、入射光線の方向及び特定の基準位置から前記入射光線への変位量とを関連付けた較正情報を、複数のカメラ毎に準備し、前記複数のカメラで対象物を撮像した複数の画像及び前記較正情報に基づいて、前記対象物の位置を検出するために、コンピュータを、以下の各手段によって機能させる構成とした。
【００１８】
すなわち、前記複数の画像を入力する画像入力手段、この画像入力手段で入力された各々の画像において、前記対象物の対応する画素位置を検出する画素位置検出手段、この画素位置検出手段で検出された画素位置に基づいて、前記較正情報から、その画素位置に対応する入射光線の方向及びその変位量を取得し、この入射光線の方向及びその変位量を利用して、前記対象物の位置を算出する位置算出手段、とした。
【００１９】
かかる構成によれば、位置検出プログラムは、画像入力手段によって、複数のカメラで対象物を撮像した複数の画像を入力し、画素位置検出手段によって、各々の画像において、対象物に対応する画素位置を検出する。そして、位置算出手段によって、その画素位置と、入射光線の方向及び特定の基準位置から入射光線への変位量とを関連付けた較正情報から、入射光線の方向及びその変位量を取得し、この入射光線の方向及びその変位量を利用して、対象物の位置を算出（検出）する。
【００２０】
また、請求項６に記載の較正情報生成方法は、カメラの画素毎に光を照射し、その照射された前記画素毎の入射光線に基づいて、基準位置から前記各入射光線への変位量を算出し、前記入射光線の方向及び前記変位量を、画素位置に関連付けて、較正情報を生成することとした。
【００２１】
この方法によれば、較正情報生成方法は、カメラの撮像を行う画素毎に入射光線を入射することで、画素毎の入射光線の方向を特定する。なお、この入射光線の方向は、入射光線の発光位置を少なくとも２点決めることで特定することができる。そして、特定の基準位置から各入射光線への変位量を算出することで、画素位置に、入射光線の方向及び変位量のデータを関連付けた較正情報を生成することができる。この較正情報のデータは、カメラの特性を数値化したキャリブレーションデータとなるものである。
【００２２】
さらに、請求項７に記載の較正情報生成方法は、カメラで撮像される画像の画素位置と、入射光線の方向及び基準位置から前記入射光線への変位量とを関連付けた較正情報を生成する較正情報生成方法であって、第１光源位置から発光する光の強度が、前記カメラの測定画素で最も強くなるように、前記カメラの撮像方向を調整することで、前記カメラに対する前記第１光源位置の相対位置を測定する第１光源相対位置測定ステップと、第２光源位置から発光する光の強度が、前記カメラの測定画素で最も強くなるように、前記カメラの撮像方向を調整することで、前記カメラに対する前記第２光源位置の相対位置を測定する第２光源相対位置測定ステップと、前記第１光源位置及び前記第２光源位置の各相対位置に基づいて、前記測定画素に入射する入射光線を特定する入射光線特定ステップとを、測定画素数分繰り返し、測定を行った画素位置毎に特定された入射光線に基づいて、前記基準位置から前記入射光線への変位量を算出し、前記画素位置に、前記入射光線の方向及び前記変位量を関連付けて前記較正情報とすることとした。
【００２３】
この方法によれば、較正情報生成方法は、第１光源相対位置測定ステップで、第１光源位置から発光する光の強度が、前記カメラの測定画素で最も強くなるように、前記カメラのパン及びチルトを変更することで撮像方向を調整し、前記カメラに対する前記第１光源位置の相対位置を測定する。ここで測定された第１光源位置の相対位置は、測定画素の入射光線を特定するための１点目の位置となる。
【００２４】
また、較正情報生成方法は、第２光源相対位置測定ステップで、第１光源相対位置測定ステップと同様に、第２光源位置の相対位置を測定する。ここで測定された第２光源位置の相対位置は、測定画素の入射光線を特定するための２点目の位置となる。この２点の相対位置によって、測定画素の入射光線を特定することができる。
【００２５】
そして、較正情報生成方法は、入射光線の特定を測定画素数分繰り返し、その入射光線に基づいて、基準位置から前記入射光線への変位量を算出し、前記画素位置に、前記入射光線の方向及び前記変位量を関連付けることで較正情報を生成する。これによって、カメラの特性を数値化することができる。
【００２６】
【発明の実施の形態】
以下では、まず、一般にレンズ系を有するカメラで撮像された画像の歪みの原因となる、入射光線が一点で交わらないカメラの非ピンホール性について説明し、その非ピンホール性を有するカメラの特性を数値化したキャリブレーションデータについて説明する。そして、カメラで撮像された画素毎のキャリブレーションデータを測定して較正情報（較正テーブル）を生成する方法について説明する。そして、その較正情報（較正テーブル）を参照することで、撮像された画像の歪みを除去して対象物の位置を検出する位置検出装置について、順次説明していくこととする。
【００２７】
［カメラの非ピンホール性について］
まず、図１１を参照して、一般にレンズ系を有するカメラで撮像した画像において、歪みが発生する原因について説明する。図１１は、レンズ系を有するモデルのカメラの模式図である。ここでは、説明を簡略化するため、レンズ系を板ガラスＧとし、ピンホールＨが生成されているものとする。このカメラＣの板ガラスＧに垂直に入射する入射光線ｒ１は、ピンホールＨを通って撮像面Ｉ上の画素Ｒ１に撮像される。また、板ガラスＧに斜めに入射した入射光線ｒ２及びｒ３は、板ガラスＧ内で屈折した後にピンホールＨを通って撮像面Ｉ上の画素Ｒ２及びＲ３に撮像される。
【００２８】
しかし、このカメラＣは、板ガラスＧを通過する前の入射光線ｒ２及びｒ３の延長線であるｒ２´及びｒ３´と、入射光線ｒ１とは、一点では交わらず、ピンホールカメラモデルとはなっていないことがわかる。このため、撮像面Ｉ上の画素Ｒ３には、ピンホールカメラモデルで想定している入射光線ｒｒとは、距離Ｄ分だけずれた入射光線ｒ３が撮像されることになる。
【００２９】
このように、レンズ系（ここでは板ガラスＧ）に入射される入射光線によって像を撮像するカメラは、ピンホール性が崩れていることになる（非ピンホール性）。以下、レンズ系を有するカメラを「非ピンホールカメラ」と呼ぶこととする。
【００３０】
［キャリブレーションデータについて］
次に、図１２を参照して、非ピンホールカメラの特性を数値化したキャリブレーションデータについて説明する。図１２は、キャリブレーションデータの内容を説明するための説明図である。図１２に示すように、レンズｌに入射する入射光線Ｒは２点で特定することができる。ここでは、第１の光源位置Ｐ１と、第２の光源位置Ｐ２とから発光される光が同一の撮像画素（図示せず）に撮像されたときに、入射光線Ｒがその撮像画素に対応する入射光線であると特定する。
【００３１】
ここで、すべての入射光線との距離の自乗和が最小となる点を光学中心Ｏと定義し、各撮像画素に対応する入射光線Ｒと光学中心Ｏとの距離が最小となる点を、その入射光線Ｒの入射光基点Ｋと定義する。
【００３２】
すなわち、光学中心Ｏ（ｘ0，ｙ0，ｚ0）は、すべての入射光線において、光源位置Ｐ１（ｘ1，ｙ1，ｚ1）と、光源位置Ｐ２（ｘ2，ｙ2，ｚ2）とで特定される入射光線Ｒからの距離ｄの自乗（（１）式）和が最小になる位置を、最小自乗法によって求めた位置となる。
【００３３】
d2=-(A2/B)+C …（１）
【００３４】
ただし、
A=(x2-x1)(x1-x0)+(y2-y1)(y1-y0)+(z2-z1)(z1-z0)
B=(x2-x1)2+(y2-y1)2+(z2-z1)2
C=(x1-x0)2+(y1-y0)2+(z1-z0)2
とする。
【００３５】
これによって、画素位置毎に、光源位置Ｐ１及びＰ２で特定される方向と、光学中心Ｏから入射光基点Ｋへの変位量（３次元ベクトルＶD（ｄｘ，ｄｙ，ｄｚ）で表現）とを関連付けたデータをキャリブレーションデータとすることで、非ピンホールカメラの特性を数値化することができる。
【００３６】
なお、キャリブレーションデータは、これに限定されるものではない。例えば、前記した例では、光学中心Ｏを基準位置とし、光学中心Ｏから入射光線へ降ろした垂線の足までのベクトルを変位量ＶDとしているが、基準位置は、光学中心に限らず、カメラと一定関係にある固定点であれば、そのような点でも構わない。そして、変位量ＶDは、基準位置から入射光線上の任意の一点へ向かうベクトルであればよく、基準位置から入射光線へ降ろした垂線の足へ向かうベクトルには限られない。
【００３７】
［較正情報（較正テーブル）生成方法］
次に、図１を参照して、非ピンホールカメラの特性を数値化したキャリブレーションデータを撮像画素毎に関連付けた較正情報として較正テーブルを生成する方法について説明する。図１は、較正テーブルを生成する方法の原理を示す概念図である。なお、図１（ａ）は、特定の入射光線に対して、カメラのパン及びチルトを変化させることで、キャリブレーションデータを測定する原理を示す概念図であり、図１（ｂ）は、固定したカメラに対して、入射光線を変化させることで、キャリブレーションデータを測定する原理を示す概念図である。
【００３８】
図１（ａ）に示すように、キャリブレーションデータを撮像画素毎に関連付けた較正テーブルを生成するには、非ピンホール性を有するカメラＣに対して、光源位置をＰ１及びＰ２の１方向に移動させ（１軸移動）、光源位置Ｐ１及びＰ２で特定される入射光線Ｒを決定し、光源位置Ｐ１及びＰ２から発光される光が共に、測定を行う撮像画素（測定画素）に入射されるように、カメラＣのパン及びチルトを調整（２軸回転）することで、カメラＣの撮像画素毎に入射される入射光線Ｒの方向を特定する。
【００３９】
また、図１（ｂ）に示すように、カメラＣは固定しておき、光源位置Ｐ１及びＰ２の２点で発光した入射光線Ｒが、測定画素に入射されるように、光源位置Ｐ１及びＰ２をＸＹＺ方向に移動（３軸移動）させることで、その測定画素に入射される光源位置Ｐ１及びＰ２の２点で定まる入射光線Ｒの方向を特定することとしてもよい。
【００４０】
図１（ａ）又は（ｂ）で、測定を行った各撮像画素毎に特定された入射光線Ｒに基づいて、図１２で説明したように、入射光線Ｒの方向と、光学中心Ｏから入射光基点Ｋへの変位量とをキャリブレーションデータとして撮像画素毎に関連付けることで較正テーブルを生成することができる。
【００４１】
＜較正情報生成装置の構成＞
ここで、図２を参照して、較正情報生成方法を実現するための具体的な装置である較正情報生成装置の構成について説明する。図２は、カメラのキャリブレーションデータを撮像画素毎に測定し、較正情報である較正テーブルを生成する較正情報生成装置の全体図である。
【００４２】
この較正情報生成装置１００は、カメラＣを支持し、カメラＣをパン方向及びチルト方向に回動させるカメラ支持台１１０（回転ステージ）と、点光源Ｌをカメラ支持台１１０に対して前後、左右及び上下の３次元方向に移動させる３次元移動台１２０（ＸＹＺステージ）とを備えている。
【００４３】
カメラ支持台１１０は、水平面上で垂直軸回りに回動自在なパンテーブル１１１と、水平軸回りに回動自在なようにパンテーブル１１１に支持されたチルトテーブル１１２とからなっており、チルトテーブル１１２にカメラＣが支持されている。
【００４４】
３次元移動台１２０は、カメラ支持台１１０に対して水平面上に前後方向に延設されたＸ軸レール１２１と、Ｘ軸レール１２１上を前後方向に移動し、左右方向に延設されたＹ軸レール１２２と、Ｙ軸レール１２２上を左右方向に移動し、垂直方向に立設されたＺ軸レール１２３とからなっており、Ｚ軸レール１２３上に上下移動自在に点光源Ｌが設けられている。
【００４５】
パンテーブル１１１及びチルトテーブル１１２は、パルスモータ等の回転駆動装置（図示せず）で駆動され、チルトテーブル１１２上に支持されているカメラＣの視軸を上下左右に振ることが可能になっている。また、パンテーブル１１１及びチルトテーブル１１２の回転軸には、カメラＣの視軸角度を得るために、ロータリエンコーダ等の回転角度計測器（図示せず）が設けられている。
【００４６】
Ｙ軸レール１２２、Ｚ軸レール１２３及び点光源Ｌは、ラックピニオン機構等の、パルスモータの回転力を直線運動に変換する駆動装置（図示せず）で駆動されて、それぞれに対応するレール上を直線移動することが可能になっている。
【００４７】
なお、図示していない前記回転駆動装置及び前記駆動装置は、制御装置（図示せず）によって制御され、前記回転角度計測器で計測されたカメラＣの視軸角度と点光源Ｌの位置は、制御装置によって参照可能なように構成されているものとする。
【００４８】
＜較正情報生成装置の動作＞
さらに、図３を参照（適宜図１及び図２参照）して、較正情報生成装置１００が、較正情報を生成する動作について説明する。図３は、較正情報生成装置１００が、図１（ａ）の手法によって、較正情報である較正テーブルを生成する動作を示すフローチャートである。
【００４９】
まず、較正情報生成装置１００は、点光源Ｌを特定の位置（光源位置Ｐ１）に設定し、光源位置Ｐ１の点光源Ｌから発光される光が、カメラＣの測定画素位置に入射するように、パンテーブル１１１及びチルトテーブル１１２を回転（２軸回転）させ、その回転量であるパン量及びチルト量を取得する（ステップＳ１）。そして、この回転を行ったパン量及びチルト量に基づいて、光源位置Ｐ１のカメラＣからの相対位置を測定する（ステップＳ２）。
【００５０】
次に、較正情報生成装置１００は、Ｙ軸レール１２２をＸ軸レール１２１上でＸ方向（前又は後）に移動（１軸移動）させることで、点光源Ｌを光源位置Ｐ２に移動させる（ステップＳ３）。
【００５１】
そして、較正情報生成装置１００は、光源位置Ｐ２の点光源Ｌから発光される光が、カメラＣの測定画素位置に入射するように、パンテーブル１１１及びチルトテーブル１１２を回転（２軸回転）させ、その回転量であるパン量及びチルト量を取得する（ステップＳ４）。そして、この回転を行ったパン量及びチルト量に基づいて、光源位置Ｐ２のカメラＣからの相対位置を測定する（ステップＳ５）。
【００５２】
このステップＳ２及びステップＳ５における、光源位置Ｐ１及び光源位置Ｐ２の各相対位置によって、測定画素位置に入射される入射光線Ｒを特定することができる。
【００５３】
ここで、図４を参照（適宜図１及び図２参照）して、ステップＳ２及びステップＳ５における光源位置の相対位置を算出する方法について説明する。図４は、パン・チルトに伴うカメラと光源位置との相対関係を説明するための説明図である。
【００５４】
この図４において、カメラ支持台（回転ステージ）１１０の固定の基準位置ＢにカメラＣが搭載されているものとする。ここで、カメラ支持台１１０すなわちカメラＣを、パン量“−θpan”及びチルト量“−θtilt”だけ回転させることで、カメラＣから見える光源位置の方向は、カメラ支持台１１０の回転中心位置ＯTを中心として光源位置をθpan及びθtiltだけ回転させたときに見える方向に等しくなる。
【００５５】
ここで、回転中心位置ＯTに対して、回転前の光源位置Ｐの座標を（ｘ1，ｙ1，ｚ1）、回転量であるパン量及びチルト量をそれぞれθpan及びθtiltとすると、回転後の光源位置ＰRの座標（Ｒx1，Ｒy1，Ｒz1）は、（２）式で求めることができる。
【００５６】
【数１】
このように、カメラ支持台１１０が回転した後の、２点の光源位置の相対位置を求めることで、測定画素位置に入射される入射光線を特定することができる。すなわち、入射光線は、相対位置に変換された光源位置Ｐ１の座標を（ｘP1，ｙP1，ｚP1）、相対位置に変換された光源位置Ｐ２の座標を（ｘP2，ｙP2，ｚP2）とすると、ｔを実数として（３）式により特定することができる。
【００５８】
【数２】
図３に戻って、説明を続ける。
較正情報生成装置１００は、予め定めた測定画素分の測定が終了したかどうかを判定し（ステップＳ６）、終了していない場合（Ｎｏ）は、ステップＳ１へ戻って、次の測定画素位置における入射光線の特定を行う。一方、予め定めた測定画素分の測定が終了した場合（Ｙｅｓ）は、測定画素分の入射光線の方向に基づいて、光学中心を算出する（ステップＳ７）。
【００６０】
そして、較正情報生成装置１００は、各撮像画素毎に、入射光線の方向と、基準位置からの変位量とを関連付けて較正テーブルを生成する（ステップＳ８）。また、測定を行っていない撮像画素については、近接する測定画素のデータから補間を行い生成するものとする。なお、測定画素位置は、カメラＣのレンズの特性によって予め設定しておくものとする。例えば、レンズが魚眼レンズの場合は、５画素以下の間隔で、測定画素位置を設定し、それ以外のレンズの場合は、５〜１０画素間隔で、測定画素位置を設定する。また、ここでは、各撮像画素毎に、入射光線の方向と基準位置からの変位量とを関連付けた較正テーブルを、較正情報として生成したが、所定の関数、例えば、前記した近接する測定画素のデータから補間を行う際の補間関数として生成することとしてもよい。あるいは、較正情報を、各画素位置から入射光線の方向への変換式や、各画素位置から変位量への変換式として生成することとしてもよい。
【００６１】
なお、ステップＳ１及びステップＳ４におけるカメラＣの回転方法については、図５を参照（適宜図２参照）して、さらに説明を行う。図５は、較正情報生成装置１００が、測定画素位置に入射光線を入射させる動作を示すフローチャートである。
【００６２】
図５に示すように、較正情報生成装置１００は、まず、カメラＣによって、画像（撮像画像）を取り込む（ステップＳ１０）。なお、この撮像画像には、点光源Ｌだけしか写っていない状態、すなわち、黒い背景の画像上に白い点が写った状態であるものとする。
【００６３】
そして、較正情報生成装置１００は、撮像画像上の白い点（点光源Ｐ）の光の強度が最大（ピーク）となる位置（ピーク位置）を推定する（ステップＳ１１）。
【００６４】
ここで、図６を参照して、光の強度のピーク位置の推定について説明を行う。図６は、横軸に画素位置Ｐ（…，Ｐn-2，Ｐn-1，Ｐn，Ｐn+1，Ｐn+2，…）、縦軸に画素位置Ｐにおける光の強度（光強度Ｉ）を表したグラフである。このように、光強度Ｉは、ある撮像画素を中心とした広がりを持っている。
【００６５】
そこで、光強度が最大となるピーク位置Ｐeは、画素位置Ｐnに対応する光強度をＩn、画素位置Ｐnに隣接する画素位置Ｐn-1及びＰn+1に対応する光強度をＩn-1及びＩn+1とすると、（４）式及び（５）式によって求めることができる。
【００６６】
Ｉn-1≦Ｉn+1の場合：
Ｐe＝Ｐn＋（Ｉn+1−Ｉn-1）／｛２（Ｉn−Ｉn-1）｝ …（４）
【００６７】
Ｉn-1＞Ｉn+1の場合：
Ｐe＝Ｐn＋（Ｉn+1−Ｉn-1）／｛２（Ｉn−Ｉn+1）｝ …（５）
【００６８】
なお、このピーク位置Ｐeの推定は、上下、左右の各方向に隣接する撮像画素の光強度から算出するものとする。
図５に戻って、説明を続ける。
【００６９】
較正情報生成装置１００は、ステップＳ１１で推定した光強度が最大となるピーク位置と、測定画素位置との誤差が予め定めた閾値以下かどうかを判定し（ステップＳ１２）、閾値以下の場合（Ｙｅｓ）は、ピーク位置が測定画素位置と一致したものとみなして動作を終了する。
【００７０】
一方、誤差が予め定めた閾値よりも大きい場合（Ｎｏ）は、その誤差を角度値に変換して、パンテーブル１１１及びチルトテーブル１１２の回転量を算出する（ステップＳ１３）。そして、較正情報生成装置１００は、この回転量に基づいて、パンテーブル１１１及びチルトテーブル１１２を回転させ（ステップＳ１４）、ステップＳ１０へ戻ることで、光強度のピーク位置を測定画素位置に合わせる。
【００７１】
以上、較正情報生成装置１００が、図１（ａ）の手法によって、較正テーブルを生成する動作について説明したが、図１（ｂ）の手法によって、較正テーブルを生成することも可能である。
【００７２】
この場合は、カメラＣを固定し、点光源Ｌから入射される入射光線の光強度が測定画素位置で最大（ピーク）になるように、点光源Ｌの位置をＹ方向及び／又はＺ方向の正又は負の方向に移動させることで、光源位置Ｐ１を特定する。そして、点光源ＬとカメラＣとの距離を変えて（Ｘ方向で移動）、前記と同様に、入射光線の光強度が測定画素位置で最大となるように、点光源Ｌの位置をＹ方向及び／又はＺ方向の正又は負の方向に移動させることで、光源位置Ｐ２を特定する。このように、光源位置Ｐ１と光源位置Ｐ２とが決定されることで、入射光線Ｒの方向が特定されることになる。この動作を測定画素分繰り返し、前記した図３のステップＳ７及びステップＳ８の動作を行うことで、較正テーブルを生成することができる。
【００７３】
［位置検出装置の構成］
次に、図７を参照して、位置検出装置について説明を行う。図７は、本発明の実施の形態である位置検出装置の構成を示したブロック図である。図７に示した位置検出装置１は、２台のカメラ（非ピンホールカメラ）Ｃで撮像された撮像画像から、対象物（マーカＭ）の３次元位置を検出するものである。ここでは、位置検出装置１を、画像入力手段１０と、画素位置検出手段２０と、較正テーブル蓄積手段３０と、位置算出手段４０とを備えて構成した。マーカＭは、位置を検出する部位を特定するために、その部位に付す目印であって、特定の色や形状を有したシール、赤外線等を発光する発光ダイオード等である。
【００７４】
画像入力手段１０は、２台のカメラＣで対象物（マーカＭ）を撮像した各々の撮像画像を入力するものである。なお、動画像として撮像画像を時系列に入力する場合は、カメラＣ1及びカメラＣ2で撮像された各撮像画像は、同期して画像入力手段１０へ入力されるものとする。また、画像入力手段１０には、カメラＣ1及びカメラＣ2で撮像された各撮像画像を一時的に記憶しておく、図示していないメモリを備えており、このメモリに記憶された撮像画像を、後記する画素位置検出手段２０が参照するものとする。
【００７５】
画素位置検出手段２０は、画像入力手段１０で入力された各撮像画像において、対象物に対応する画素位置を検出するものである。ここでは、撮像画像上でマーカＭとして撮像された領域の重心位置を、対象物に対応する画素位置とする。ここで検出された各撮像画像の画素位置は、位置算出手段３０へ入力される。
【００７６】
較正テーブル蓄積手段（蓄積手段）３０は、メモリ等の一般的な記憶媒体であって、カメラＣの撮像画素毎にキャリブレーションデータを関連付けた較正テーブル３１を、カメラＣの数分蓄積したものである。ここで、較正テーブル３１ａは、カメラＣ1の較正テーブル、較正テーブル３１ｂは、カメラＣ2の較正テーブルとする。なお、較正テーブル３１の内容である各撮像画素毎のキャリブレーションデータは、図１２で説明したように、各撮像画素に入射される入射光線の方向と、基準位置（光学中心Ｏ）から入射光線への変位量ＶDとを含んでいる。
較正テーブル（較正情報）３１ｂは、図１３に示すように、撮像画素のｘ座標、ｙ座標の組み合わせに対し、その撮像画素に入射してくる入射光線を特定する情報として、光学中心Ｏからの変位量ＶD（ｄｘ，ｄｙ，ｄｚ）及び方向（角度）α、γが対応付けて記憶されている。
なお、ここでは、較正情報を、撮像画素毎に変位量ＶD及び方向（角度）α、γを対応付けた較正テーブルとして説明しているが、所定の関数や変換式によって表現しても構わない。
【００７７】
位置算出手段４０は、画素位置検出手段２０で検出された各撮像画像毎の画素位置に対応した、較正テーブル３１のキャリブレーションデータ（入射光線の方向及び変位量）に基づいて、対象物（マーカＭ）の位置（３次元位置）を算出するものである。
【００７８】
以上、位置検出装置１の構成について説明したが、本発明はこれに限定されるものではない。例えば、画素位置検出手段２０は、カメラＣで撮像した撮像画像を特定の大きさのブロックでマッチングを行うことで、対象物に対応する画素位置を検出することとしてもよい。
【００７９】
また、ここでは、２台のカメラＣで撮像した撮像画像に基づいて、対象物の位置を検出したが、３台以上のカメラを用いて位置を検出することも可能である。例えば、３行３列に配置した９台のカメラで、中央に配置したカメラを基準カメラとして、他の８台のカメラとの間で位置を検出し、その８個の位置で平均をとることで、対象物の位置をより正確に検出することもできる。
【００８０】
なお、位置検出装置の各手段、すなわち、画像入力手段１０、画素位置検出手段２０及び位置算出手段４０は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置（較正テーブル蓄積手段３０を含む）を動作させることにより実現される。
【００８１】
［位置検出装置の動作］
次に、図８を参照（適宜図７参照）して、位置検出装置１の動作について説明する。図８は、位置検出装置１の動作を示すフローチャートである。
まず、位置検出装置１は、画像入力手段１０によって、２台のカメラＣ（Ｃ1、Ｃ2）で撮像した撮像画像を入力する（ステップ２０）。また、位置検出装置１は、画素位置検出手段２０によって、画像入力手段１０で入力された各撮像画像において、対象物（マーカＭ）に対応する画素位置を検出する（ステップＳ２１）。
【００８２】
そして、位置検出装置１は、位置算出手段４０によって、カメラＣ（Ｃ1、Ｃ2）毎に対応する較正テーブル３１（３１ａ、３１ｂ）から、対象物（マーカＭ）の画素位置に対応するキャリブレーションデータを読み込み（ステップ２２）、その各画素位置のキャリブレーションデータに基づいて、対象物（マーカＭ）の３次元位置を算出する（ステップＳ２３）。
【００８３】
ここで、図９を参照（適宜図７参照）して、ステップＳ２３で行った対象物の３次元位置を算出する方法について具体的に説明する。図９は、対象物（マーカＭ）位置を算出する手法を説明するための説明図である。
【００８４】
この図９において、カメラＣ1の撮像画像における、マーカＭの画素位置に対応する変位量（較正テーブル３１ａから取得）に基づいて、カメラＣ1の光学中心を補正した補正光学中心Ｏ1を（x1，y1，z1）とする。また、カメラＣ2の撮像画像における、マーカＭの画素位置に対応する変位量（較正テーブル３１ｂから取得）に基づいて、カメラＣ2の光学中心を補正した補正光学中心Ｏ2を（x2，y2，z2）とする。
【００８５】
また、カメラＣ1の撮像画像における、マーカＭの画素位置に対応する入射光線の方向を水平角度α1、垂直角度γ1（較正テーブル３１ａから取得）とし、カメラＣ2の撮像画像における、マーカＭの画素位置に対応する入射光線の方向を水平角度α2、垂直角度γ2（較正テーブル３１ｂから取得）とする。ただし、ここではγ2は使用しないため図示していない。
この場合、対象物位置（Ｐx，Ｐy，Ｐz）は、（６）乃至（８）式で算出することができる。
【００８６】
Px＝（x1tanα1−y1−x2tanα2＋y2）／（tanα1＋tanα2） …（６）
Py＝（Px−x1）tanα1＋y1 …（７）
Pz＝（Px−x1）tanγ1＋z1 …（８）
【００８７】
以上の動作によって、位置検出装置１は、非ピンホールカメラにおいて、正確に対象物の位置を検出することが可能になる。
なお、この位置検出装置１を、移動ロボット、自動車等に組み込んで用いることも可能である。例えば、移動ロボットに本発明を適用し、移動ロボットが、床の位置を検出することで、床の凹凸を正確に認識することができ、移動ロボットが安定した歩行を行うことが可能になる。
【００８８】
【発明の効果】
以上説明したとおり、本発明に係る位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法では、以下に示す優れた効果を奏する。
【００８９】
請求項１、２、３又は５に記載の本発明によれば、複数の撮像された画像から対象物の位置を検出する前に、各画像の対象物に対応する画素に入力される入射光線のズレ量を検出することができるため、画像の周辺での歪み（非線形）を根本的に除去することができ、対象物の正確な位置を検出することができる。
【００９０】
請求項４に記載の発明によれば、マーカによって対象物の位置を検出するため、対象物に付したマーカの位置を検出することで、ＣＧ等で用いる３次元データを容易に取得することができる。なお、このマーカ位置は、撮像画像の周辺での歪み（非線形）を除去して検出した位置であるため、本発明によって、正確な３次元データを取得することができる。
【００９１】
請求項６に記載の発明によれば、画素毎に、入射光線の方向と、その入射光線の基準位置（光学中心）からの変位量をもった、較正情報を生成することができる。この較正情報を、カメラの特性を示すデータ（キャリブレーションデータ）として使用することで、例えば、複数のカメラで対象物の位置を検出する際に、正確な位置を検出することが可能になる。
【００９２】
請求項７に記載の発明によれば、予め入射光線を特定し、カメラのパン及びチルトを調整することで、入射光線の方向を特定することができるので、魚眼レンズのような広角レンズを備えたカメラであっても、容易に較正情報を生成することができる。
【図面の簡単な説明】
【図１】本発明の較正情報を生成する方法の原理を示す概念図である。
【図２】本発明の較正情報を生成する方法を実現する較正情報生成装置の全体構成図である。
【図３】本発明の較正情報を生成する方法を実現する較正情報生成装置の動作を示すフローチャートである。
【図４】パン・チルトに伴うカメラと光源位置との相対関係を説明するための説明図である。
【図５】較正情報生成装置が入射光線の方向を特定するための動作を示すフローチャートである。
【図６】光強度のピーク位置を推定する手法を説明するための説明図である。
【図７】本発明の位置検出装置の全体構成を示すブロック図である。
【図８】本発明の位置検出装置の動作を示すフローチャートである。
【図９】対象物の３次元位置を算出する方法を説明するための説明図である。
【図１０】ピンホールカメラモデルの概念を説明するための説明図である。
【図１１】カメラで撮像した画像に歪みが発生する原因を説明するための説明図である。
【図１２】キャリブレーションデータを説明するための説明図である。
【図１３】較正テーブルの内容を説明するための説明図である。
【符号の説明】
１ 位置検出装置
１０ 画像入力手段
２０ 画素位置検出手段
３０ 較正テーブル蓄積手段（蓄積手段）
３１（３１ａ、３１ｂ） 較正テーブル（較正情報）
４０ 位置算出手段
１００ 較正情報生成装置
１１０ カメラ支持台
１１１ パンテーブル
１１２ チルトテーブル
１２０ ３次元移動台
１２１ Ｘ軸レール
１２２ Ｙ軸レール
１２３ Ｚ軸レール
Ｃ カメラ
Ｌ 点光源
Claims (7)
- 複数のカメラで対象物を撮像した複数の画像に基づいて、前記対象物の位置を検出する位置検出方法であって、前記画像の画素位置と、前記カメラのレンズ系に入射される入射光線の方向及び基準位置から前記入射光線への変位量とを予め関連付けた較正情報を利用し、前記変位量に基づいて補正した基準位置から前記方向に対応する位置を前記対象物の位置として算出することを特徴とする位置検出方法。
- カメラで撮像される画像の画素位置と、入射光線の方向及び基準位置から前記入射光線への変位量とを関連付けた較正情報を、複数のカメラ毎に準備し、前記複数のカメラで対象物を撮像した複数の画像及び前記較正情報に基づいて、前記対象物の位置を検出する位置検出方法であって、
前記複数の画像を入力する画像入力ステップと、
この画像入力ステップで入力した各々の画像において、前記対象物に対応する画素位置を検出する画素位置検出ステップと、
この画素位置検出ステップで検出した画素位置に基づいて、前記較正情報から、その画素位置に対応する入射光線の方向及びその変位量を取得し、この入射光線の方向及びその変位量を利用して、前記対象物の位置を算出する位置算出ステップと、
を含んでいることを特徴とする位置検出方法。 - 複数のカメラで対象物を撮像した複数の画像に基づいて、前記対象物の位置を検出する位置検出装置であって、
前記複数の画像を入力する画像入力手段と、
この画像入力手段で入力された各々の画像において、前記対象物に対応する画素位置を検出する画素位置検出手段と、
前記画素位置と、前記対象物から入射される入射光線の方向及び基準位置から前記入射光線への変位量とを関連付けた較正情報を、前記複数のカメラ毎に蓄積した蓄積手段と、
前記画素位置検出手段で検出された画素位置に基づいて、前記較正情報から、その画素位置に対応する入射光線の方向及びその変位量を取得し、この入射光線の方向及びその変位量を利用して、前記対象物の位置を算出する位置算出手段と、
を備えたことを特徴とする位置検出装置。 - 前記画素位置検出手段は、前記対象物の位置を特定するマーカに基づいて、前記複数の画像毎に、前記対象物に対応する画素位置を検出することを特徴とする請求項３に記載の位置検出装置。
- カメラで撮像される画像の画素位置と、入射光線の方向及び特定の基準位置から前記入射光線への変位量とを関連付けた較正情報を、複数のカメラ毎に準備し、前記複数のカメラで対象物を撮像した複数の画像及び前記較正情報に基づいて、前記対象物の位置を検出するために、コンピュータを、
前記複数の画像を入力する画像入力手段、
この画像入力手段で入力された各々の画像において、前記対象物の対応する画素位置を検出する画素位置検出手段、
この画素位置検出手段で検出された画素位置に基づいて、前記較正情報から、その画素位置に対応する入射光線の方向及びその変位量を取得し、この入射光線の方向及びその変位量を利用して、前記対象物の位置を算出する位置算出手段、
として機能させることを特徴とする位置検出プログラム。 - カメラの画素毎に光を照射し、その照射された前記画素毎の入射光線に基づいて、基準位置から前記各入射光線への変位量を算出し、前記入射光線の方向及び前記変位量を、画素位置に関連付けて、較正情報を生成することを特徴とする較正情報生成方法。
- カメラで撮像される画像の画素位置と、入射光線の方向及び基準位置から前記入射光線への変位量とを関連付けた較正情報を生成する較正情報生成方法であって、
第１光源位置から発光する光の強度が、前記カメラの測定画素で最も強くなるように、前記カメラの撮像方向を調整することで、前記カメラに対する前記第１光源位置の相対位置を測定する第１光源相対位置測定ステップと、
第２光源位置から発光する光の強度が、前記カメラの測定画素で最も強くなるように、前記カメラの撮像方向を調整することで、前記カメラに対する前記第２光源位置の相対位置を測定する第２光源相対位置測定ステップと、
前記第１光源位置及び前記第２光源位置の各相対位置に基づいて、前記測定画素に入射する入射光線を特定する入射光線特定ステップとを、測定画素数分繰り返し、
測定を行った画素位置毎に特定された入射光線に基づいて、前記基準位置から前記入射光線への変位量を算出し、前記画素位置に、前記入射光線の方向及び前記変位量を関連付けて前記較正情報とすることを特徴とする較正情報生成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003103498A JP4077755B2 (ja) | 2003-04-07 | 2003-04-07 | 位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法 |
| US10/806,547 US7627197B2 (en) | 2003-04-07 | 2004-03-23 | Position measurement method, an apparatus, a computer program and a method for generating calibration information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003103498A JP4077755B2 (ja) | 2003-04-07 | 2003-04-07 | 位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004309318A JP2004309318A (ja) | 2004-11-04 |
| JP4077755B2 true JP4077755B2 (ja) | 2008-04-23 |
Family
ID=33466574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003103498A Expired - Fee Related JP4077755B2 (ja) | 2003-04-07 | 2003-04-07 | 位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4077755B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4969279B2 (ja) * | 2007-03-22 | 2012-07-04 | 本田技研工業株式会社 | 位置検出方法および位置検出装置 |
| JP2009139246A (ja) | 2007-12-07 | 2009-06-25 | Honda Motor Co Ltd | 画像処理装置、画像処理方法、画像処理プログラムおよび位置検出装置並びにそれを備えた移動体 |
| JP5079779B2 (ja) | 2009-12-04 | 2012-11-21 | 本田技研工業株式会社 | カメラ較正方法、カメラ較正装置 |
| KR102632421B1 (ko) | 2014-09-03 | 2024-02-01 | 네버마인드 캐피탈 엘엘씨 | 콘텐트를 캡처, 스트리밍, 및/또는 재생하기 위한 방법들 및 장치 |
| CN108426524B (zh) * | 2018-03-12 | 2024-08-23 | 广东新宇智能装备有限公司 | 一种极耳检测装置 |
| CN110174645B (zh) * | 2019-06-06 | 2023-07-14 | 歌尔光学科技有限公司 | 相对位置检测方法及检测装置 |
| KR102153486B1 (ko) * | 2019-09-09 | 2020-09-08 | 한국건설기술연구원 | 건설 기계 및 작업자 위치 측정을 위한 다중 avm 카메라 시스템 및 그의 건설 기계 및 작업자 위치 측정 방법 |
| CN116038719B (zh) | 2023-04-03 | 2023-07-18 | 广东工业大学 | 一种机械臂末端位姿跟踪测量方法、装置及设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3324367B2 (ja) * | 1995-11-17 | 2002-09-17 | ミノルタ株式会社 | ３次元入力カメラ |
| JP3263931B2 (ja) * | 1999-09-22 | 2002-03-11 | 富士重工業株式会社 | ステレオマッチング装置 |
-
2003
- 2003-04-07 JP JP2003103498A patent/JP4077755B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004309318A (ja) | 2004-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI555379B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
| JP3624353B2 (ja) | ３次元形状計測方法およびその装置 | |
| US20190191141A1 (en) | Motion blur compensation | |
| JP4095491B2 (ja) | 距離測定装置、距離測定方法、及び距離測定プログラム | |
| EP2068280B1 (en) | Image Distortion Correction | |
| US8265376B2 (en) | Method and system for providing a digital model of an object | |
| CN109377551B (zh) | 一种三维人脸重建方法、装置及其存储介质 | |
| JP2015128242A (ja) | 画像投影装置及びそのキャリブレーション方法 | |
| JP5111447B2 (ja) | カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびプログラムを記録した記録媒体 | |
| JPH09187038A (ja) | ３次元形状抽出装置 | |
| CN111402411A (zh) | 一种基于线结构光的散乱物识别抓取方法 | |
| JP2010197198A (ja) | 画像の差分による高精度ステレオカメラキャリブレーション | |
| JPH11166818A (ja) | 三次元形状計測装置の校正方法及び校正装置 | |
| US20230083150A1 (en) | Scanning system and calibration thereof | |
| CN104976968A (zh) | 一种基于led标签跟踪的三维几何测量方法及系统 | |
| JP2005003463A (ja) | キャリブレーションチャート画像表示装置、キャリブレーション装置、キャリブレーション方法 | |
| JP6180158B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラム | |
| JP4077755B2 (ja) | 位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法 | |
| JPWO2018168757A1 (ja) | 画像処理装置、システム、画像処理方法、物品の製造方法、プログラム | |
| CN112257536A (zh) | 一种空间与物体三维信息采集匹配设备及方法 | |
| JP5494267B2 (ja) | 三次元形状計測装置、三次元形状計測装置のキャリブレーション方法、およびロボット装置 | |
| WO2019087253A1 (ja) | ステレオカメラのキャリブレーション方法 | |
| JP3941631B2 (ja) | 三次元撮像装置および方法 | |
| JP2012013592A (ja) | ３次元形状測定機の校正方法及び３次元形状測定機 | |
| JP2000205821A (ja) | 三次元形状計測装置及びその三次元形状計測方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070912 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071024 |
|
| RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20071127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20071128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080201 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4077755 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140208 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |