JP5327381B2 - 情報処理装置、プログラム、および情報処理システム - Google Patents

Description

本発明は、立体視用画像組の生成に供される画像を撮像するステレオカメラに関する。

複数の異なる視点からステレオ画像を撮像することが可能なステレオカメラには、種々のものが提案されており、撮像範囲が等しいステレオ画像は、立体視用の表示画像などに採用されている。

例えば、特許文献１のステレオカメラは、焦点距離可変（ズーム駆動可能）の撮像系と、焦点距離固定（単焦点）の撮像系とを備えており、減数処理およびパターンマッチング処理などを適宜用いることによって、撮像倍率が異なった２つの画像からでも撮像範囲が等しいステレオ画像を生成することができる。

特開２００５−２１０２１７号公報

しかしながら、特許文献１のステレオカメラにおいては、焦点距離可変の撮像系の焦点距離が取得されないために、ステレオカメラの各撮像系がそれぞれ撮像した画像から三次元形状データを生成することができず、該三次元形状データに基づいた各種処理ができないといった問題がある。

本発明は、こうした問題を解決するためになされたもので、焦点距離可変の撮像装置の焦点距離を、簡易かつ高速に取得することができる技術を提供することを目的とする。

上記の課題を解決するために、第１の態様に係る情報処理装置は、撮像系との空間的な関係を保った状態で対象物を、（ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、（ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、を取得する画像取得部と、前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部とを備え、前記基準画像が、前記対象物を異なる撮像距離でそれぞれ撮像して得た第１および第２基準画像を含む一方、前記参照画像が、前記対象物を前記第１および第２基準画像における撮像距離と同じ撮像距離でそれぞれ撮像して得た第１および第２参照画像を含んでいる。

第２態様に係る情報処理装置は、撮像系との空間的な関係を保った状態で対象物を、（ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、（ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、を取得する画像取得部と、前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部とを備え、前記対象物が、異なる撮像距離に配置されるとともに同一のサイズを有する第１および第２対象物を有しており、前記基準画像は、前記第１および第２対象物を同時に撮像して得た画像であり、前記参照画像は、前記第１および第２対象物を同時に撮像して得た画像である。

第３態様に係る情報処理装置は、撮像系との空間的な関係を保った状態で対象物を、（ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、（ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、を取得する画像取得部と、前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部とを備え、前記基準画像が、前記対象物を撮像した単一の基準画像である一方、前記参照画像が、前記対象物を撮像した単一の参照画像であり、前記焦点距離取得部は、前記基準焦点距離と、前記基準画像と前記参照画像とにおける前記対象物の所定部分の像サイズと、前記対象物の実サイズと、前記基準画像を撮像した撮像装置の光軸方向における光学中心位置と前記参照画像を撮像した撮像装置の撮像光学系の光軸方向における光学中心位置とのずれ量とに基づいて前記演算処理を行う。

第４の態様に係る情報処理装置は、撮像系との空間的な関係を保った状態で対象物を、（ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、（ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、を取得する画像取得部と、前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部とを備え、前記対象物は、第１および第２対象物を有しており、前記基準画像は、前記第１および第２対象物を個別に撮像して得た第１および第２基準画像を含む一方、前記参照画像は、前記第１および第２対象物を個別に撮像して得た第１および第２参照画像を含んでおり、前記焦点距離取得部は、前記第１基準画像と前記第１参照画像とにおける前記第１対象物の第１部分の像サイズと、前記第２基準画像と前記第２参照画像とにおける前記第２対象物の第２部分の像サイズと、前記第１および第２対象物のそれぞれの実サイズとに基づいて前記演算処理を行う。

第５の態様に係る情報処理装置は、撮像系との空間的な関係を保った状態で対象物を、（ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、（ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、を取得する画像取得部と、前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部とを備え、前記対象物は、第１および第２対象物を有しており、前記基準画像は、前記第１および第２対象物を同時に撮像して得た画像であり、前記参照画像は、前記第１および第２対象物を同時に撮像して得た画像であり、前記焦点距離取得部は、前記基準画像と前記参照画像とにおける前記第１対象物の第１部分の像サイズと、前記基準画像と前記参照画像とにおける前記第２対象物の第２部分の像サイズと、前記第１対象物と前記第２対象物とのそれぞれの実サイズとに基づいて前記演算処理を行う。

第６態様に係る情報処理装置は、第４態様に係る情報処理装置であって、前記焦点距離取得部は、前記第１基準画像と前記第１参照画像とにおける前記第１対象物の第１部分の像サイズと、前記第２基準画像と前記第２参照画像とにおける前記第２対象物の第２部分の像サイズと、前記第１対象物と前記第２対象物とのそれぞれの実サイズと、に基づいて、前記基準画像を撮像した撮像装置の撮像光学系の光軸方向における光学中心位置と前記参照画像を撮像した撮像装置の撮像光学系の光軸方向における光学中心位置とのずれ量をさらに取得する。

第７の態様に係る情報処理システムは、(Ａ)第１から第５の何れか１つの態様に係る情報処理装置と、(Ｂ)固定焦点距離の第１の撮像光学系を備えた第１の撮像装置と、可変焦点距離の第２の撮像光学系を備えた第２の撮像装置とを備えたステレオカメラとを備えた情報処理システムであって、前記画像取得部は、前記第１の撮像装置による撮像に基づいて前記基準画像を取得するとともに、前記第２の撮像装置による撮像に基づいて前記参照画像を取得する。

第８の態様に係る情報処理システムは、(Ａ)第１から第５の何れか１つの態様に係る情報処理装置と、(Ｂ)固定焦点距離の第１の撮像光学系を備えた第１の撮像装置と、可変焦点距離の第２の撮像光学系を備えた第２の撮像装置とを備えたステレオカメラとを備えた情報処理システムであって、前記画像取得部は、前記第２の撮像装置から前記基準画像と前記参照画像とを取得する。

第９の態様に係る情報処理システムは、第７の態様に係る情報処理システムであって、前記第１の撮像光学系の光軸である第１の光軸と、前記第２の撮像光学系の光軸である第２の光軸とが平行である。

第１０の態様に係る情報処理システムは、第９の態様に係る情報処理システムであって、前記情報処理装置は、第１から第５の何れか１つの態様に係る情報処理装置であり、前記第１の光軸方向における前記第１の撮像光学系の光学中心の位置と、前記第２の光軸方向における前記第２の撮像光学系の光学中心の位置とが互いに等しい。

第１１の態様に係る情報処理システムは、第８の態様に係る情報処理システムであって、前記情報処理装置は、第１から第５の何れか１つの態様に係る情報処理装置であり、前記基準画像と前記参照画像とを撮像した際における、前記第２の撮像光学系の光軸方向における光学中心の位置が互いに等しい。

第１２の態様に係る情報処理システムは、第７または第８の態様に係る情報処理システムであって、前記ステレオカメラによって撮像された被写体のステレオ画像から前記被写体の三次元形状を求めるための三次元化パラメータが、前記第１の撮像装置についての第１カメラパラメータと、前記第２の撮像装置についての第２カメラパラメータと、を含み、前記第２カメラパラメータを前記参照焦点距離に基づいて取得するパラメータ取得部をさらに備える。

第１３の態様に係る情報処理システムは、第１２の態様に係る情報処理システムであって、前記第２カメラパラメータが、歪曲収差補正係数、像中心位置、焦点距離、Ｓｋｅｗ、および光学中心の位置ずれ量のうち少なくとも１つを含む。

第１４の態様に係る情報処理システムは、第１２の態様に係る情報処理システムであって、前記パラメータ取得部は、前記第２カメラパラメータと前記第２の撮像光学系の焦点距離との対応関係を表現したパラメータ対応情報と、前記参照焦点距離と、に基づいて、前記第２カメラパラメータを取得する。

第１５の態様に係る情報処理システムは、第７または第８の態様に係る情報処理システムであって、前記焦点距離取得部は、前記第２の撮像装置における駆動制御値と焦点距離との対応関係を表現した駆動制御値対応情報を、前記演算処理によって決定された前記参照焦点距離に基づいて更新する。

第１６の態様に係るプログラムは、情報処理装置に搭載されたコンピュータにおいて実行されることにより、当該情報処理装置を第１から第６の何れか１つの態様に係る情報処理装置として機能させることを特徴とする。

第１から第１６の何れの態様に係る発明によっても、基準画像と参照画像とにおける対象物の像サイズの情報を用いて、基準焦点距離の値をスケーリングする演算処理を行うことによって、簡易かつ高速に参照焦点距離の値を取得することができ、使用現場でのステレオカメラの校正頻度を高めることができる。

図１は、実施形態に係る情報処理システムの主な構成を例示するブロック図である。 図２は、実施形態に係る情報処理装置の主な機能構成を例示するブロック図である。 図３は、実施形態に係るステレオカメラの機能構成を例示するブロック図である。 図４は、焦点距離のフィールド校正用のデータの取得の１例を説明する図である。 図５は、像サイズの１例を示す図である。 図６は、像サイズの１例を示す図である。 図７は、像サイズの１例を示す図である。 図８は、像サイズの１例を示す図である。 図９は、焦点距離のフィールド校正用のデータの取得の１例を説明する図である。 図１０は、焦点距離のフィールド校正用のデータの取得の１例を説明する図である。 図１１は、焦点距離のフィールド校正用のデータの取得の１例を説明する図である。 図１２は、焦点距離のフィールド校正用のデータの取得の１例を説明する図である。 図１３は、焦点距離のフィールド校正用のデータの取得の１例を説明する図である。 図１４は、実施形態に係る情報処理システムの、校正から立体視用画像の生成までの動作フローの１例を示す図である。 図１５は、図１４の動作フローのうちステレオカメラの製造時校正の動作フローの１例を示す図である。 図１６は、図１４の動作フローのうち駆動制御値対応情報のフィールド校正の動作フローの１例を示す図である。 図１７は、図１４の動作フローのうち立体視用画像の生成に係る動作フローの１例を示す図である。 図１８は、図１７の動作フローのうち被写体測定時のズームカメラの焦点距離の取得に係る動作フローの１例を示す図である。 図１９は、図１７の動作フローのうち被写体測定時のズームカメラの焦点距離の取得に係る動作フローの１例を示す図である。 図２０は、図１６または図１９の動作フローのうちズームカメラの焦点距離のフィールド校正に係る動作フローの１例を示す図である。 図２１は、図１６または図１９の動作フローのうちズームカメラの焦点距離のフィールド校正に係る動作フローの１例を示す図である。 図２２は、図１６または図１９の動作フローのうちズームカメラの焦点距離のフィールド校正に係る動作フローの１例を示す図である。 図２３は、図１６または図１９の動作フローのうちズームカメラの焦点距離のフィールド校正に係る動作フローの１例を示す図である。 図２４は、図２０の動作フローのうち基準画像と参照画像との取得に係る動作フローの１例を示す図である。 図２５は、図２０の動作フローのうち基準画像と参照画像との取得に係る動作フローの１例を示す図である。 図２６は、図２２の動作フローのうち基準画像と参照画像との取得に係る動作フローの１例を示す図である。 図２７は、図２１の動作フローのうち第１、第２基準画像と、第１、第２参照画像の取得に係る動作フローの１例を示す図である。 図２８は、図２１の動作フローのうち第１、第２基準画像と、第１、第２参照画像の取得に係る動作フローの１例を示す図である。 図２９は、図２３の動作フローのうち第１、第２基準画像と、第１、第２参照画像との取得に係る動作フローの１例を示す図である。 図３０は、図２０の動作フローのうち第１演算処理に係る動作フローの１例を示す図である。 図３１は、図２１の動作フローのうち第２演算処理に係る動作フローの１例を示す図である。 図３２は、図２２の動作フローのうち第３演算処理に係る動作フローの１例を示す図である。 図３３は、図２３の動作フローのうち第４算処理に係る動作フローの１例を示す図である。

＜実施形態について：＞
＜◎情報処理システム１００Ａについて：＞
図１は、実施形態に係る情報処理システム１００Ａの主な構成を例示するブロック図である。

図１に示されるように、情報処理システム１００Ａは、ステレオカメラ３００Ａ（または３００Ｂ）と情報処理装置２００Ａとを主に備えて構成されている。

ステレオカメラ３００Ａおよび３００Ｂは、焦点距離固定の撮像光学系を備えた単焦点カメラ（「第１カメラ」とも称する）３１と、焦点距離可変の撮像光学系を備えたズームカメラ（「第２カメラ」とも称する）３２とを主に備えて構成されており、１の視点に設置されたステレオカメラ３００Ａ（３００Ｂ）の単焦点カメラ３１およびズームカメラ３２がそれぞれ被写体を撮像した第１画像ｇ１および第２画像ｇ２は、情報処理装置２００Ａに供給される。

情報処理装置２００Ａは、先ず、予め校正され記憶装置４６（図１）に記憶された三次元化パラメータを用いて第１画像ｇ１と第２画像ｇ２とから三角測量の原理によってステレオカメラ３００Ａ（３００Ｂ）が撮影した被写体の三次元形状を表現した距離情報５２（図２）を生成する。

情報処理装置２００Ａは、距離情報５２と、該１の視点とは異なる別視点に設置される仮想カメラの位置、姿勢の情報と、仮想カメラおよびズームカメラ３２の撮影パラメータとに基づいて該別視点から該仮想カメラが撮像する画像と、ズームカメラ３２が撮像した高精細の被写体画像である第２画像ｇ２との対応関係を取得する。

次に、情報処理装置２００Ａは、該対応関係に基づいて第２画像ｇ２を変換することによって該仮想カメラが別視点から被写体を撮像したときの画像に相当する疑似画像５３（図２）を生成し、第２画像ｇ２と疑似画像５３とを立体視用画像組を構成するステレオ画像として、立体視用の表示部４３に表示する。

上述した動作によって、情報処理システム１００Ａは、被写体を実測していない視点を含む複数視点から被写体をステレオ視したときの立体視用画像表示システムを実現している。

ズームカメラ３２の撮像光学系はズーム駆動機構を有しているために三次元化パラメータが経時変化する。高品質の疑似画像５３が取得されるためにはステレオカメラ３００Ａ(３００Ｂ)の三次元化パラメータの値を正確な値に保つことが必要であり、情報処理システム１００Ａでは、被写体の撮像現場において、簡易に取得可能な画像データに基づいて、高速に三次元化パラメータを校正することができる。

なお、撮像現場での校正を「フィールド校正」とも称し、ステレオカメラ３００Ａの製造工程における校正を「製造時校正」とも称する。

以下では、情報処理システム１００Ａの各機能部の構成と動作、ならびにフィールド校正および製造時校正などについて説明する。

＜○ステレオカメラ３００Ａの構成と動作：＞
図３は、実施形態に係るステレオカメラ３００Ａの機能構成を例示するブロック図である。なお、本願の図面においては、説明のために図面に適宜座標軸を設けている。

図３に示されるように、ステレオカメラ３００Ａは、焦点距離固定の撮像光学系９ａを備えたカメラである単焦点カメラ３１と、焦点距離可変の撮像光学系９ｂを備えたカメラであるズームカメラ３２とを主に備えて構成されている。

単焦点カメラ３１は、撮像光学系９ａの他、撮像素子５ａ、制御処理回路２５ａを主に備えて構成されており、ズームカメラ３２は、撮像光学系９ｂの他、撮像素子５ｂ、制御処理回路２５ｂ、駆動機構２６を主に備えて構成されている。

ステレオカメラ３００Ａは、被写体６１からの光を単焦点カメラ３１およびズームカメラ３２で撮影してステレオ画像を構成する第１画像ｇ１および第２画像ｇ２を取得し、情報処理装置２００Ａへと供給する。

撮像光学系９ａは、焦点距離固定のレンズと該レンズを支持する不図示の鏡胴とを主に備えて構成されており、被写体６１の画像を撮像素子５ａ上に結像させる光学系である。

撮像光学系９ｂは、焦点距離可変のレンズと該レンズを支持する不図示の鏡胴とを主に備えて構成されており、被写体６１の画像を撮像素子５ｂ上に結像させる光学系であり、駆動機構２６によって撮像光学系９ｂの光学的状態が変更されることによって、撮像光学系９ｂの焦点距離ｆ２が、変更可能に構成されている。

被写体６１上の物点Ｍの像は、光学中心３ａおよび３ｂをそれぞれ通過する主光線６ａおよび６ｂに沿って撮像素子５ａおよび５ｂ上にそれぞれ像点ＰａおよびＰｂとして結像される。

光学中心３ａおよび３ｂは、通常、撮像光学系の主点であるが、例えば、撮像光学系としてテレセントリック光学系が採用された場合には、通常、撮像光学系の焦点が光学中心となる。

単焦点カメラ３１およびズームカメラ３２の像中心位置７ａおよび７ｂは、それぞれ撮像素子５ａと光軸４ａとの交点および撮像素子５ｂと光軸４ｂとの交点であり、また、撮像光学系９ａおよび９ｂ間の基線長ｂは、光軸４ａと光軸４ｂとの距離である。

撮像光学系９ａと撮像素子５ａとの距離は、撮像光学系９ａの焦点距離ｆ１であり、焦点距離ｆ１の値は既知の固定値（定数）である。

また、撮像光学系９ｂと撮像素子５ｂとの距離は、撮像光学系９ｂの焦点距離ｆ２であり、焦点距離ｆ２は、駆動機構２６が撮像光学系９ｂの状態を変動させることに応じて変動する可変の焦点距離である。

なお、像点Ｐａの撮像素子５ａ上の座標と像点Ｐｂの撮像素子５ｂ上の座標との差（視差）、基線長ｂ、焦点距離ｆ１、および焦点距離ｆ２などのステレオカメラ３００Ａに係る三次元化パラメータを用いた三角測量の原理に基づく三次元化処理が、情報処理装置２００Ａにおいて行われることによって物点Ｍの撮像距離Ｄ１その他の距離情報（「三次元座標」とも称する）が取得される。

ここで、ステレオカメラ３００Ａについては、撮像光学系９ａおよび９ｂのそれぞれの光軸４ａおよび４ｂは平行、または略平行である。

また、第１画像ｇ１および第２画像ｇ２の相互間での対応点探索処理が容易に行えるように、撮像素子５ａおよび５ｂは、それぞれの走査線が平行、または略平行になるように設置されている。

実際の構成においては、通常、光軸同士、走査線同士が完全に平行であるように構成することは困難であるため、これらは誤差を有した略平行状態であるが、単焦点カメラ３１およびズームカメラ３２から供給される第１画像ｇ１および第２画像ｇ２に対して情報処理装置２００Ａが、単焦点カメラ３１およびズームカメラ３２のカメラパラメータなどを用いた処理（「平行化処理」とも称する）を行うことによって、ステレオカメラ３００Ａの各カメラの光軸同士、走査線同士が平行である場合と同等の状態を実現することができる。なお、本願発明における「平行」とは、平行または略平行を意味する。

撮像素子５ａおよび５ｂは、例えば、ＶＧＡ（６４０×４８０画素）サイズの有効画素数を持つＣＣＤイメージセンサやＣＭＯＳイメージセンサなどによって構成される撮像素子である。

撮像素子５ａおよび５ｂは、撮像素子５ａおよび５ｂに結像された像の強度に応じた画像信号をそれぞれ生成するとともに、制御処理回路２５ａおよび制御処理回路２５ｂにそれぞれ供給する。

制御処理回路２５ａおよび制御処理回路２５ｂは、撮像素子５ａおよび５ｂから供給される各画像信号を処理してデジタル画像に変換することにより、各撮像素子の有効画素数に応じた第１画像ｇ１および第２画像ｇ２をそれぞれ生成し、情報処理装置２００Ａへと供給する。

また、駆動機構２６は、焦点距離ｆ２を変動させるための、例えば、パルスモータと送りネジなどによって構成された駆動機構である。

制御処理回路２５ｂは、情報処理装置２００Ａから供給される、焦点距離ｆ２を制御するための駆動パルス数などの駆動制御値５１に基づいて駆動機構２６を動作させることによって焦点距離ｆ２の値を変動（「ズーム」）させる。

ここでステレオカメラ３００Ａのずれ量ｄは、光軸４ａ（４ｂ）方向に沿った光学中心３ａと光学中心３ｂとの位置ずれ量であり、ステレオカメラ３００Ａについてのずれ量ｄは、ズームカメラ３２のズーム動作に関わらず一定になるように構成されている。

すなわち、ステレオカメラ３００Ａにおいては、ズーム動作によってズームカメラ３２の焦点距離ｆ２が変動したとしても、光学中心３ｂの位置は、光学中心３ａに対して変動しない。

このようなズーム動作によっても光学中心３ａに対する光学中心３ｂの位置が変動しないズームカメラ３２は、例えば、ズームによる焦点距離ｆ２の変動によって光学中心３ｂが光学中心３ａに対して移動する場合には、別途設定された不図示の駆動機構によってズームカメラ３２全体を、該移動の方向とは反対の方向に該移動の移動量だけ移動をさせることなどによって実現することができる。

また、ステレオカメラ３００Ａの製造工程における製造時校正において生成される、後述する駆動制御値対応情報ｔ１、パラメータ対応情報ｔ２、ステレオカメラ３００Ａの基線長ｂなどの情報は、ステレオカメラ３００Ａ内部に設けられた不図示の記憶部に記憶されており、ステレオカメラ３００Ａに接続された情報処理装置２００Ａに供給される。

＜○ステレオカメラ３００Ｂの構成と動作：＞
図３は、実施形態に係るステレオカメラ３００Ｂの機能構成を例示するブロック図である。図３に示されるように、ステレオカメラ３００Ｂは、焦点距離固定の撮像光学系９ａを備えたカメラである単焦点カメラ３１と、焦点距離可変の撮像光学系９ｂを備えたカメラであるズームカメラ３２とを主に備えて構成されている。

ステレオカメラ３００Ｂは、ステレオカメラ３００Ａと略同様の構成を有し、略同様の動作を行うが、一部の構成・動作においてステレオカメラ３００Ａとの差異を有する。

該差異は、ステレオカメラ３００Ａでは、ズームカメラ３２のズーム動作に関わらず、ずれ量ｄが一定であったのに対して、ステレオカメラ３００Ｂでは、ズームカメラ３２のズーム動作にともなってずれ量ｄが変動することである。

なお、該差異以外のステレオカメラ３００Ｂの構成・動作については、ステレオカメラ３００Ａの構成・動作と同様であるため説明を省略する。

○ステレオカメラのバリエーション：
ステレオカメラ３００Ａとしては、例えば、上述したステレオカメラ３００Ａの構成に加えて、さらに、一定のずれ量ｄの値が零または略零、すなわち光学中心３ａおよび３ｂを結ぶ線分が光軸４ａと直交または略直交する構成を有するものなどが採用され得る。

また、ステレオカメラ３００Ｂとしては、例えば、上述したステレオカメラ３００Ｂの構成に加えて、さらに、駆動制御値５１の値などに基づいて撮像時のずれ量ｄの値を検出し、検出したずれ量ｄの値をステレオカメラ内部に設けられた不図示の記憶部などを介して情報処理装置２００Ａに供給可能なものなどが採用され得る。

また、ステレオカメラ３００Ａおよび３００Ｂとしては、例えば、上述したステレオカメラ３００Ａおよび３００Ｂのそれぞれの構成に加えて、さらに、ズームカメラ３２の撮像光学系９ｂがズームに係る駆動範囲の端部などの構造的な当り位置、または、位置センサ等により撮像光学系９ｂの光学的状態を検出可能な位置などにおける撮像光学系９ｂの焦点距離ｆ２の値が既知であり、その値をステレオカメラ内部に設けられた不図示の記憶部などを介して情報処理装置２００Ａに供給可能なものなどが採用され得る。

なお、ステレオカメラ３００Ａおよび３００Ｂでは、上述した構造および機能の差異を特定するための特定情報を該記憶部に保持しており、該特定情報は情報処理装置２００Ａへと供給される。

情報処理装置２００Ａが該特定情報を取得して、各ステレオカメラの構成および機能に応じた制御およびフィールド校正などを行うことによって、情報処理システム１００Ａは、機能および構成が異なったステレオカメラ３００Ａ（３００Ｂ）のバリエーションの各ステレオカメラを情報処理装置２００Ａと組み合わせて使用可能に構成されている。

より具体的には、情報処理装置２００Ａは、該特定情報から特定される各種ステレオカメラの構成および機能に応じたフィールド校正等を行うためのプログラムを、該特定情報に基づいて適応選択的に実行することなどによって、各種ステレオカメラに応じたフィールド校正などを行うことができる。

なお、該特定情報により特定されるステレオカメラの構成および機能に対して、複数のフィールド校正手法が採用可能な場合には、ＣＰＵ１１Ａは、表示部４３に採用可能な校正手法を表示し、操作者が操作部４２を用いて採用する校正手法を特定した校正手法特定情報に基づいて、ＣＰＵ１１Ａは、特定された校正手法を行うプログラムを実行する。

＜◎情報処理装置２００Ａの構成について：＞
図１に示されるように、情報処理装置２００Ａは、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５および記憶装置４６を主に備えて構成されており、例えば、汎用のコンピュータでプログラムを実行することなどによって実現される。

入出力部４１は、例えば、ＵＳＢインタフェースなどの入出力インタフェースによって構成されており、ステレオカメラ３００Ａ（３００Ｂ）から情報処理装置２００Ａへ供給される画像情報等の入力、および情報処理装置２００Ａからステレオカメラ３００Ａ（３００Ｂ）への各種制御信号等の出力を行う。

操作部４２は、例えば、キーボードあるいはマウスなどによって構成されており、操作者が操作部４２を操作することによって、情報処理装置２００Ａへの各種制御パラメータの設定、情報処理装置２００Ａの各種動作モードの設定などが行われる。

表示部４３は、例えば、液晶ディスプレイなどによって構成されており、ステレオカメラ３００Ａ（３００Ｂ）から供給される第２画像ｇ２、および情報処理装置２００Ａが生成する第２画像ｇ２についての疑似画像５３（図２）などの各種画像情報の表示、ならびに情報処理システム１００Ａに関する各種情報および制御用ＧＵＩ（Graphical User Interface）などの表示を行う。

ＲＯＭ（Read Only Memory）４４は、読出し専用メモリであり、ＣＰＵ１１Ａを動作させるプログラムなどを格納している。なお、読み書き自在の不揮発性メモリ（例えば、フラッシュメモリ）が、ＲＯＭ４４に代えて使用されてもよい。

ＲＡＭ（Random Access Memory ）４５は、読み書き自在の揮発性メモリであり、画像取得部１２が取得した各種画像および疑似画像生成部１６が生成する疑似画像などの一時的な記憶装置、およびＣＰＵ１１Ａの処理情報を一時的に記憶するワークメモリなどとして機能する。

記憶装置４６は、例えば、フラッシュメモリなどの読み書き自在な不揮発性メモリやハードディスク装置等によって構成されており、情報処理装置２００Ａに対する設定情報などの各種情報を恒久的に記録する。

また、記憶装置４６には格納部４７が設けられており、格納部４７は、さらにフィールド校正用情報格納部４７ａ、駆動制御値対応情報格納部４７ｂ、パラメータ対応情報格納部４７ｃ、および三次元化パラメータ格納部４７ｄ（それぞれ図２）などの後述する各機能部を有している。

フィールド校正用情報格納部４７ａには、後述するズームカメラ３２の焦点距離についてのフィールド校正に使用される基準焦点距離ｆｓなどの各種情報が、操作部４２またはステレオカメラ３００Ａ（３００Ｂ）などから供給されて記憶されている。

なお、基準焦点距離ｆｓとしては、後述するように、単焦点カメラ３１の既知の焦点距離ｆ１が採用される場合と、ズームカメラ３２の撮像光学系９ｂが、そのズーム動作に係る駆動範囲のうち撮像光学系９ｂの光学的状態の再現性が高い、例えば、駆動範囲の端部の物理的な当り位置にあるときの既知の焦点距離が採用される場合とがある。

また、駆動制御値対応情報格納部４７ｂには、ズームカメラ３２の焦点距離を制御する駆動制御値５１（図１、図２）と、ズームカメラ３２の焦点距離との対応関係を表現した駆動制御値対応情報ｔ１が、情報処理装置２００Ａに接続されたステレオカメラ３００Ａ（３００Ｂ）から供給されて記憶されている。

また、パラメータ対応情報格納部４７ｃには、ステレオカメラ３００Ａ（３００Ｂ）のうちズームカメラ３２の焦点距離と、校正されたズームカメラ３２の各カメラパラメータとの対応関係を表現したパラメータ対応情報ｔ２が、情報処理装置２００Ａに接続されたステレオカメラ３００Ａ（３００Ｂ）から供給されて記憶されている。

なお、パラメータ対応情報ｔ２は、ステレオカメラ３００Ａ（３００Ｂ）の製造工程で行われる製造時校正によって生成されてステレオカメラ３００Ａ（３００Ｂ）に格納された情報である。

また、三次元化パラメータ格納部４７ｄには、単焦点カメラ３１についてのカメラパラメータである第１カメラパラメータｐ１、ステレオカメラ３００Ａ（３００Ｂ）の基線長ｂが、ステレオカメラ３００Ａ（３００Ｂ）から供給されて記憶されている。

第１カメラパラメータｐ１と、基線長ｂとは、予め、ステレオカメラ３００Ａ（３００Ｂ）の製造時校正によって取得され、ステレオカメラ３００Ａ（３００Ｂ）内部の記憶部に記憶されている。

ＣＰＵ（Central Processing Unit）１１Ａは、情報処理装置２００Ａの各機能部を統轄制御する制御処理装置であり、ＲＯＭ４４に格納されたプログラムに従った制御および処理を実行する。

ＣＰＵ１１Ａは、後述するように、画像取得部１２、焦点距離取得部１３、カメラパラメータ取得部１４、三次元化部１５、疑似画像生成部１６、およびズーム制御部１７としても機能する。

ＣＰＵ１１Ａは、これらの機能部によって、各種校正用の画像および立体視用画像生成の対象である被写体についてのステレオ画像などの取得、ズームカメラ３２の焦点距離を制御する駆動制御値とズームカメラ３２の焦点距離との対応関係を表現した駆動制御値対応情報ｔ１のフィールド校正、ズームカメラ３２の焦点距離のフィールド校正、ならびにステレオカメラ３００Ａ（３００Ｂ）の撮像動作およびズームカメラ３２のズーム動作などの制御を行う。

また、ＣＰＵ１１Ａは、ステレオカメラ３００Ａ（３００Ｂ）が撮像した被写体の距離情報５２の生成、距離情報５２の生成に使用されるズームカメラ３２についてのカメラパラメータである第２カメラパラメータｐ２の取得、ズームカメラ３２が被写体について第２画像ｇ２を撮像した第１の視点とは異なる仮想視点から仮想カメラが被写体を撮像したときの画像に対応した疑似画像５３（図２）の生成、ならびに第２画像ｇ２と疑似画像５３とから成る立体視用画像組の表示部４３への表示なども行う。

ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６等のそれぞれは、信号線４９を介して電気的に接続されている。したがって、ＣＰＵ１１Ａは、例えば、入出力部４１を介したステレオカメラ３００Ａ（３００Ｂ）の制御およびステレオカメラ３００Ａ（３００Ｂ）からの画像情報の取得、および表示部４３への表示等を所定のタイミングで実行できる。

なお、図１に示される構成例では、画像取得部１２、焦点距離取得部１３、カメラパラメータ取得部１４、三次元化部１５、疑似画像生成部１６、およびズーム制御部１７の各機能部は、ＣＰＵ１１Ａで所定のプログラムを実行することによって実現されているが、これらの各機能部はそれぞれ、例えば、専用のハードウェア回路などによって実現されてもよい。

＜◎情報処理装置２００Ａの各機能部の動作について：＞
図２は、実施形態に係る情報処理装置２００Ａの主な機能構成を例示するブロック図である。以下では、図２に示される情報処理装置２００Ａの各機能部の動作について説明する。

○画像取得部１２の動作：
画像取得部１２は、焦点距離が固定の単焦点カメラ３１が被写体を撮像した第１画像ｇ１と、焦点距離が可変のズームカメラ３２が被写体を撮像した第２画像ｇ２とを入出力部４１を介して取得する。

立体視画像生成時には、画像取得部１２は、第１画像ｇ１を三次元化部１５へと供給するとともに、第２画像ｇ２を三次元化部１５、疑似画像生成部１６、および表示部４３へと供給する。

また、ズームカメラ３２の焦点距離のフィールド校正時には、画像取得部１２は、単焦点カメラ３１が校正用対象物を撮像した画像、または、その撮像光学系９ｂが、物理的な当り位置に在るなど位置再現性が高い光学的状態にあり、かつ、焦点距離が既知の光学的状態にあるズームカメラ３２が、校正用対象物を撮像した画像を基準画像１ａ（または、第１基準画像１ｂおよび第２基準画像１ｃ）として取得する。

また、ズームカメラ３２の焦点距離のフィールド校正時には、画像取得部１２は、ズームカメラ３２が、ズーム動作によって上述した既知の光学的状態とは異なる光学的状態となったときにズームカメラ３２が校正用対象物を撮像した画像を参照画像２ａ(または、第１参照画像２ｂおよび第２参照画像２ｃ)として取得し、これらの画像を焦点距離取得部１３に供給する。

なお、基準画像についての焦点距離は、ステレオカメラ３００Ａ（３００Ｂ）から情報処理装置２００Ａへと供給されて、焦点距離のフィールド校正に必要な情報の１つである基準焦点距離ｆｓとしてフィールド校正用情報格納部４７ａに記憶され、焦点距離のフィールド校正に使用される。

また、画像取得部１２は、予め撮影されて記録媒体に保存された第１画像ｇ１および第２画像ｇ２を、入出力部４１を介して取得してもよい。

○焦点距離取得部１３の動作：
(ａ)ズームカメラ３２の焦点距離のフィールド校正での動作：
焦点距離取得部１３は、ズームカメラ３２の「焦点距離のフィールド校正」において、画像取得部１２から供給された各基準画像および各参照画像とにおける校正用対象物の像サイズの情報、およびフィールド校正用情報格納部４７ａから供給された基準焦点距離ｆｓなどの情報を用いて基準焦点距離ｆｓ（図２）の値をスケーリングする演算処理に基づいて、各参照画像が撮像されたときの参照焦点距離ｆｍ（図２）の値を取得する。

次に、焦点距離取得部１３は、取得した参照焦点距離ｆｍを、各参照画像を撮像したズームカメラ３２についての校正時点の実際の焦点距離として取得する処理を行う。

(ｂ)駆動制御値対応情報ｔ１のフィールド校正での動作：
情報処理システム１００Ａにおいては、ズームカメラ３２の撮像光学系９ｂの所定位置を検出する位置センサの検出特性の変動、駆動機構２６のギアなどの摩耗、およびステレオカメラの姿勢変化などによる駆動機構２６の変位などに起因して、パルス数または制御電圧などの駆動制御値と、該駆動制御値に対するズームカメラ３２の焦点距離との関係を表現した駆動制御値対応情報ｔ１が変動する。

そこで、焦点距離取得部１３は、変動した駆動制御値対応情報ｔ１を校正する「駆動制御値対応情報ｔ１のフィールド校正」を行う。

駆動制御値対応情報ｔ１のフィールド校正において、焦点距離取得部１３は、先ず、所定の駆動制御値５１に従ってズームされたズームカメラ３２に対して焦点距離のフィールド校正を行うことによってズームカメラ３２のフィールド校正時点の焦点距離を取得する。

次に、焦点距離取得部１３は、ズーム制御部１７から取得した駆動制御値５１と、駆動制御値対応情報格納部４７ｂから取得された駆動制御値対応情報ｔ１とに基づいて駆動制御値５１に対応する焦点距離を推定し、推定した焦点距離と、焦点距離のフィールド校正によって取得された焦点距離との差が、所定範囲内であるか否かをチェックする。

チェックの結果、この差が所定範囲を超える場合には、焦点距離取得部１３は、ズームカメラ３２の光学的状態が、駆動制御値対応情報ｔ１が生成されたときの光学的状態から大きくずれていると判断し、他の駆動制御値についても同様に焦点距離のフィールド校正を行う。

焦点距離取得部１３は、一連の焦点距離のフィールド校正によって新たに取得された各焦点距離を各駆動制御値５１に対応させることによって駆動制御値対応情報ｔ１を更新し、更新した駆動制御値対応情報ｔ１を駆動制御値対応情報格納部４７ｂに記憶するとともに、ステレオカメラ３００Ａ（３００Ｂ）の内部の記憶部に記憶された駆動制御値対応情報ｔ１も更新する。

(ｃ)疑似画像生成時の動作：
焦点距離取得部１３は、疑似画像生成時には、２種類の方法によってズームカメラ３２の焦点距離を取得する。

・該２種類の方法のうち１つとして、焦点距離取得部１３は、現時点の駆動制御値５１に対応する焦点距離を駆動制御値対応情報ｔ１に基づいて推定し、ズームカメラ３２の焦点距離として取得する処理を行う（図１８の動作フロー）。

・また、該２種類の方法のうち他の１つとして、焦点距離取得部１３は、疑似画像生成用の画像の撮像時にズームカメラ３２の焦点距離のフィールド校正を行い、得られた焦点距離をズームカメラ３２の焦点距離として取得する処理を行う（図１９の動作フロー）。

該２種類の方法のうち１つの手法の選択は、例えば、予め操作部４２から設定された動作モードなどに基づいて行われる。

取得されたズームカメラ３２の焦点距離は、カメラパラメータ取得部１４へと供給され、該焦点距離に対応したズームカメラ３２のカメラパラメータの取得に供される。

○カメラパラメータ取得部１４の動作：
カメラパラメータ取得部１４は、疑似画像生成用の動作において、焦点距離取得部１３から供給されたズームカメラ３２の焦点距離と、パラメータ対応情報格納部４７ｃに記録されたパラメータ対応情報ｔ２とに基づいて、焦点距離に応じたズームカメラ３２の各種カメラパラメータである第２カメラパラメータｐ２を取得して三次元化部１５へと供給する。

なお、第２カメラパラメータｐ２としては、具体的には、歪曲収差補正係数、像中心位置７ｂ（図３）、焦点距離、Ｓｋｅｗ（撮像光学系と撮像素子面との傾き）、および単焦点カメラ３１とズームカメラ３２との光学中心の位置ずれ量ｄのうち少なくとも１つが採用される。

○三次元化部１５の動作：
三次元化部１５は、カメラパラメータ取得部１４からズームカメラ３２についての第２カメラパラメータｐ２を取得するとともに、三次元化パラメータ格納部４７ｄから、単焦点カメラ３１についての各種カメラパラメータである第１カメラパラメータｐ１と、単焦点カメラ３１とズームカメラ３２の基線長ｂとを取得する。

三次元化部１５は、取得した各パラメータを用いて画像取得部１２から供給された立体視用画像の生成対象の被写体についての第１画像ｇ１および第２画像ｇ２から三角測量の原理によって被写体の距離情報５２を取得し疑似画像生成部１６に供給する。

○疑似画像生成部１６の動作：
疑似画像生成部１６は、被写体の第２画像ｇ２と、被写体の距離情報５２とを、画像取得部１２と三次元化部１５とからそれぞれ供給されて、これらの情報に基づいて、ズームカメラ３２とは別の仮想視点に置かれた仮想カメラが被写体を撮像した画像に相当する疑似画像５３を取得する。

より詳細には、疑似画像生成部１６は、ズームカメラ３２と仮想カメラのそれぞれについての焦点距離、画素数、および画素サイズなどの撮影パラメータと、ズームカメラ３２と仮想カメラとの相互の位置および姿勢の関係である座標系情報とに基づいて、第２画像ｇ２の画像上の各座標と、疑似画像５３の画像上の各座標との対応関係を取得する。

次に、疑似画像生成部１６は、該対応関係と第２画像ｇ２の各画素の画素値に基づいて疑似画像５３の各画素に画素値を付与することなどによって疑似画像５３を生成する。なお、該撮影パラメータおよび該座標系情報は、格納部４７に記憶されている。

疑似画像生成部１６は、生成した疑似画像５３を表示部４３に供給し、表示部４３においては、疑似画像５３と、第２画像ｇ２とが立体視用画像組としてそれぞれ表示される。

○ズーム制御部１７の動作：
ズーム制御部１７は、駆動制御値対応情報ｔ１のフィールド校正時には、駆動制御値対応情報ｔ１を規定している各駆動制御値５１を、入出力部４１を介してステレオカメラ３００Ａ（３００Ｂ）へ供給し、ズームカメラ３２の焦点距離を制御する。

また、ズーム制御部１７は、ズームカメラ３２に供給している駆動制御値５１を焦点距離取得部１３へも供給しており、焦点距離取得部１３は、ズーム制御部１７から供給された駆動制御値に対応する焦点距離を駆動制御値対応情報ｔ１に基づいて取得する。

＜◎焦点距離のフィールド校正について：＞
次に、焦点距離取得部１３が行うズームカメラ３２の焦点距離のフィールド校正について説明する。

情報処理システム１００Ａにおいては、上述したように、ステレオカメラ３００Ａおよび３００Ｂ、さらにこれらから派生した構成、機能を有するステレオカメラを対象として、そのズームカメラ３２が対象物の画像を撮像したときのズームカメラ３２の焦点距離を校正する。

◎焦点距離のフィールド校正ＡおよびＢ：
焦点距離のフィールド校正Ａは、例えば、ずれ量ｄ（図３）が一定であるステレオカメラ３００Ａのうち、ずれ量ｄの値が零または略零であるステレオカメラ３００Ａ（以下、「ステレオカメラ３００Ａ１」と称する）におけるズームカメラ３２などの焦点距離のフィールド校正である。

また、焦点距離のフィールド校正Ｂは、例えば、ずれ量ｄ（図３）が一定であるステレオカメラ３００Ａのうち、ズームカメラ３２の撮像光学系９ｂがズームに係る駆動範囲の端部などの構造的な当り位置、または、位置センサ等により撮像光学系９ｂの光学的状態を検出可能な位置などにおける撮像光学系９ｂの焦点距離ｆ２の値が既知であり、その値をステレオカメラ内部に設けられた不図示の記憶部などを介して情報処理装置２００Ａに供給可能なステレオカメラ３００Ａ（以下、「ステレオカメラ３００Ａ２」と称する）におけるズームカメラ３２などの焦点距離のフィールド校正である。

なお、撮像光学系９ｂの焦点距離ｆ２の値が既知である上述した撮像光学系９ｂの位置（光学的状態）は、撮像光学系９ｂについての位置制御の再現性が高い位置である。

図４は、ステレオカメラ３００Ａ１における焦点距離のフィールド校正Ａ用のデータの取得の１例を説明する図である。

図４では、ある未知の撮像距離に設置された実サイズが未知の１つの校正用対象物６２が、ステレオカメラ３００Ａ１の各カメラのうち、焦点距離が既知の基準焦点距離ｆｓ（焦点距離ｆ１）である単焦点カメラ３１と、焦点距離が未知の参照焦点距離ｆｍである該ズームカメラ３２とのそれぞれによって１回ずつ測定されて基準画像１ａおよび参照画像２ａが得られている。

さらに図４では、ズームカメラ３２の未知の参照焦点距離ｆｍを求めるフィールド校正に使用するために、基準画像１ａおよび参照画像２ａのそれぞれにおける校正用対象物６２の像サイズＷｓおよび像サイズＷｍが取得されている。

図４に示される主光線６ａおよび６ｂは、校正用対象物６２の外縁部からの反射光のうち光学中心３ａおよび３ｂをそれぞれ通る各主光線である。

図４では、単焦点カメラ３１およびズームカメラ３２のそれぞれの光学中心３ａおよび３ｂ、撮像素子５ａおよび撮像素子５ｂ、ならびに校正用対象物６２についての位置関係の把握を容易にするために、光軸４ａと４ｂ、光学中心３ａと３ｂ、主光線６ａと６ｂをそれぞれ重ねて表示している。

図９は、ステレオカメラ３００Ａ２を用いて行われる焦点距離のフィールド校正Ｂ用のデータの取得の１例を説明する図である。

図９では、ある未知の撮像距離に設置された実サイズが未知の１つの校正用対象物６２が、既知の基準焦点距離ｆｓを持つ光学的状態に設定されたステレオカメラ３００Ａ２のズームカメラ３２と、未知の参照焦点距離ｆｍを持つ光学的状態に設定されたステレオカメラ３００Ａ２のズームカメラ３２とによって１回ずつ測定されて基準画像１ａおよび参照画像２ａが得られている。

さらに図９では、ズームカメラ３２の未知の参照焦点距離ｆｍを求めるフィールド校正に使用するために、基準画像１ａおよび参照画像２ａのそれぞれにおける校正用対象物６２の像サイズＷｓおよび像サイズＷｍが取得されている。

なお、図９における基準焦点距離ｆｓは、ズームカメラ３２の撮像光学系９ｂがズームに係る駆動範囲の端部などの構造的な当り位置、または、位置センサ等により撮像光学系９ｂの光学的状態を検出可能な位置などにおける撮像光学系９ｂの既知の焦点距離である。

図９に示される主光線６ｂは、校正用対象物６２がズームカメラ３２によって２回撮像されたときの校正用対象物６２の外縁部からの反射光のうち光学中心３ｂを通る各主光線である。

図９では、焦点距離が既知の基準焦点距離ｆｓであるズームカメラ３２と、焦点距離が未知の参照焦点距離ｆｍである該ズームカメラ３２とのそれぞれの光学中心３ｂ、撮像素子５ｂ、および校正用対象物６２についての位置関係の把握を容易にするために、基準画像１ａと参照画像２ａとのそれぞれの光軸４ｂ、それぞれの光学中心３ｂ、それぞれの主光線６ｂをそれぞれ重ねて表示している。

ここで、図５〜図８を用いて、図４の像サイズＷｓと像サイズＷｍとの取得について説明する。

図５および図６は、像サイズＷｓおよびＷｍの１例をそれぞれ示す図である。

図５および図６にそれぞれ示される基準画像１ａおよび参照画像２ａは、単焦点カメラ３１およびズームカメラ３２がそれぞれ球状の校正用対象物６２（図４）を撮像した画像であり、像６２ｓおよび像６２ｍはそれぞれ、基準画像１ａおよび参照画像２ａにおける校正用対象物６２の円形の像である。

また、像サイズＷｓは、像６２ｓの直径であり、図６に示される像サイズＷｍは、像６２ｍの直径である。

なお、像サイズＷｓおよびＷｍは、例えば、像６２ｓおよび６２ｍのそれぞれの外縁に対して円をフィッティングし、フッティングされた円の直径を取得する手法などによって求められる。

また、図７および図８は、図５および図６に示された例とは異なる像サイズＷｓおよびＷｍの他の１例をそれぞれ示す図である。

図７および図８にそれぞれ示される基準画像１ａおよび参照画像２ａは、単焦点カメラ３１およびズームカメラ３２がそれぞれ立方体状の校正用対象物６８（図７、図８）を撮像した画像であり、像６８ｓおよび像６８ｍはそれぞれ、基準画像１ａおよび参照画像２ａにおける校正用対象物６８の像である。

また、像５４ｓおよび５５ｓは、像６８ｓにおける校正用対象物６８の特徴部５４および５５（図７、図８）のそれぞれ像であり、像５４ｍおよび５５ｍは、像６８ｍにおける特徴部５４および５５のそれぞれの像である。

焦点距離取得部１３は、例えば、基準画像１ａを対象としたエッジ検出処理などの画像処理を行うこと、または、表示部４３に表示された像６８ｓにおいて、操作者が操作部４２を介して指示した像５４ｓおよび５５ｓの座標情報を取得することなどによって像５４ｓおよび５５ｓの座標情報を取得する。

次に、焦点距離取得部１３は、例えば、ＳＡＤ（Sum of Absolute Difference：差分絶対値和）法などを用いた対応点探索手法用いて像５４ｓおよび５５ｓにそれぞれ対応した参照画像２ａ上の像５４ｍおよび５５ｍを探索することなどによって像５４ｍおよび５５ｍの座標情報を取得する。

焦点距離取得部１３は、像５４ｓおよび５５ｓのそれぞれの座標情報から像５４ｓおよび５５ｓ間の距離を像サイズＷｓとして取得するとともに、同様に、像５４ｍおよび５５ｍ間の距離を像サイズＷｍとして取得する。

このように校正用対象物の像の像サイズとして、像の全幅ではなく、像の一部分の像サイズを取得したとしても本発明の有用性を損なうものではない。

なお、図５〜図８を用いて上述した像サイズＷｓと像サイズＷｍとの取得手法は、本明細書において説明する他のフィールド校正Ｂ〜Ｆにおける各像サイズの取得においても、同様に適用される。

フィールド校正Ａまたはフィールド校正Ｂにおいて、像サイズＷｓおよび像サイズＷｍが取得されると、参照焦点距離ｆｍは、上述した各手法などによって取得された像サイズＷｓおよび像サイズＷｍと、フィールド校正用情報格納部４７ａに格納された基準焦点距離ｆｓとを用いて（１）式によって与えられる。

なお、フィールド校正Ａにおける参照焦点距離ｆｍの演算式は、（１）式に限定されず、例えば、サイズＷｓおよびＷｍの歪曲収差補正係数、基準画像１ａおよび参照画像２ａの平行化処理のための係数などが、所望される参照焦点距離ｆｍの精度に応じて（１）式に適宜付加して使用したとしても本発明の有用性を損なうものではない。また、後述する（２）式〜（５）式についても同様である。

次にフィールド校正Ａおよびフィールド校正Ｂに係る情報処理装置２００Ａの動作フローについて説明する。

図２０は、後述する図１６または図１９の動作フローのうちズームカメラ３２の焦点距離のフィールド校正（ステップＳ２４０）に係る動作フローの１例を示す図であり、上述したフィールド校正Ａおよびフィールド校正Ｂに対応した動作フローの１例を示す図でもある。

また、図２４は、図２０の動作フローのうちフィールド校正Ａにおける基準画像１ａと参照画像２ａとの取得（ステップＳ５１０）に係る動作フローの１例を示す図である。

ステレオカメラ３００Ａ１が情報処理装置２００Ａに接続された状態で、図２０に示される処理が開始されると、ステレオカメラ３００Ａ１についての特定情報に基づいて、ステップＳ５１０の基準画像１ａと参照画像２ａとの取得の処理が開始され、処理は、図２４のステップＳ６１０に移される。

ステップＳ６１０においては、ＣＰＵ１１Ａの制御によってステレオカメラ３００Ａ１の各カメラが、ある位置に設置されたサイズが未知の校正用対象物６２を１回ずつ測定する。

なお、このときズームカメラ３２の撮像光学系９ｂは、ズーム制御部１７の制御によって未知の参照焦点距離ｆｍを持つ撮像時の光学的状態に設定されている。

また、単焦点カメラ３１とズームカメラ３２との撮像においては、校正用対象物６２と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係を保った状態で撮像が行われる。

ステレオカメラ３００Ａ１では、例えば、単焦点カメラ３１とズームカメラ３２との撮像を同時または略同時に行うことなどによって、校正用対象物６２と、撮像系との空間的な関係を保った校正用対象物６２の撮像を行う。

次に、焦点距離取得部１３は、ステレオカメラ３００Ａ１の単焦点カメラ３１が撮像した画像（第１画像ｇ１）と、ズームカメラ３２が撮像した画像（第２画像ｇ２）とをそれぞれ基準画像１ａ（図４）と参照画像２ａ（図４）として取得する（ステップＳ６１２）。

基準画像１ａおよび参照画像２ａが取得されると、第１演算処理（図２０のＳ５２０）が開始され、処理は、図３０のステップＳ１０へと移される。

図２５は、図２０の動作フローのうちフィールド校正Ｂにおける基準画像１ａと参照画像２ａとの取得（ステップＳ５１２）に係る動作フローの１例を示す図である。

ステレオカメラ３００Ａ２が情報処理装置２００Ａに接続された状態で、図２０に示される処理が開始されると、ステレオカメラ３００Ａ２についての特定情報に基づいて、ステップＳ５１２の基準画像１ａと参照画像２ａとの取得の処理が開始され、処理は、図２５のステップＳ６１４に移される。

ステップＳ６１４においては、先ず、ズーム制御部１７は、ステレオカメラ３００Ａ２のズームカメラ３２のズーミングを制御して、撮像光学系９ａの状態を、既知の基準焦点距離ｆｓ（図９）を持つ光学的状態に変動させる。

次に、ＣＰＵ１１Ａの制御によって該ズームカメラ３２は、ある位置に設置されたサイズが未知の校正用対象物６２を１回測定する。

次に、焦点距離取得部１３は、該ズームカメラ３２が撮像した画像（第２画像ｇ２）を基準画像１ａ（図９）として取得する。

次に、ズーム制御部１７は、ズームカメラ３２のズーミングを制御して撮像光学系９ｂを、未知の参照焦点距離ｆｍを持つ撮像時の光学的状態に設定する。

次に、ＣＰＵ１１Ａの制御によってズームカメラ３２が校正用対象物６２を測定し、焦点距離取得部１３は、測定された画像（第２画像ｇ２）を参照画像２ａとして取得する（ステップＳ６１６）。

なお、フィールド校正Ｂにおいても、校正用対象物と、各撮像系との空間的な関係を保った状態で基準画像１ａと参照画像２ａとの取得を行うために、ステレオカメラ３００Ａ２に対して校正用対象物６２が相対的に静止した状態で、撮像が行われる。

また、ここでは、基準画像１ａを先に撮像する例を説明したが、参照画像２ａを先に撮像しても本発明の有用性を損なうものではない。

基準画像１ａおよび参照画像２ａが取得されると、処理は、第１演算処理（図２０のＳ５２０）へと移され、さらに図３０のステップＳ１０へと移される。

図３０は、図２０の動作フローのうち第１演算処理（ステップＳ５２０）に係る動作フローの１例を示す図である。

先ず、焦点距離取得部１３は、基準画像１ａについての焦点距離である基準焦点距離ｆｓ（図２、図４、図９）をフィールド校正用情報格納部４７ａから取得する（ステップＳ１０）。

次に、焦点距離取得部１３は、基準画像１ａにおける校正用対象物６２（図４、図９）の像６２ｓ（図４、図９）の像サイズＷｓ（図４、図９）を測定する（ステップＳ１２）。

また、焦点距離取得部１３は、参照画像２ａのうち像６２ｓに対応した像６２ｍ（図４、図９）の像サイズＷｍ（図４、図９）を測定する（ステップＳ１４）。

次に、焦点距離取得部１３は、(１)式に基づいて参照画像２ａについての焦点距離である参照焦点距離ｆｍ（図２、図４、図９）を取得する（ステップＳ１６）。

次に、処理は図２０に戻されて、焦点距離取得部１３は、得られた参照焦点距離ｆｍをステレオカメラ３００Ａ１または３００Ａ２におけるズームカメラ３２の焦点距離として取得する（ステップＳ５３０）。

フィールド校正Ａまたはフィールド校正Ｂによれば、実サイズが未知の校正用対象物が未知の撮像距離において、撮像系との空間的な関係が保たれた状態で撮像されて基準画像１ａおよび参照画像２ａが取得される。

そして、基準画像１ａおよび参照画像２ａにおける校正用対象物６２の像サイズＷｓおよびＷｍを用いて、（１）式、すなわち、基準焦点距離ｆｓの値をスケーリングする演算処理を行うことにより、参照焦点距離ｆｍの値が取得される。

したがって、フィールド校正Ａまたはフィールド校正Ｂによれば、ズームカメラを備えたステレオカメラにおいて、基準画像を得たとき既知の基準焦点距離ｆｓを持つ撮像光学系の光学中心と、参照画像を得たときの未知の参照焦点距離ｆｍを持つ撮像光学系の光学中心との光軸方向における位置が等しい、または略等しくなる場合に、校正対象物の撮像距離および実サイズの情報を必要としない簡素な測定環境で短時間に取得できる校正用のデータに基づいて、高速に参照焦点距離ｆｍを取得することができ、使用現場でのステレオカメラの校正頻度を高めることができる。

また、フィールド校正Ａによれば、単焦点カメラ３１とズームカメラ３２とが撮像に用いられるので、基準画像１ａと第１基準画像１ｂとを同時または略同時に測定することができる。

したがって、校正用対象物６２と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係を保った状態で基準画像１ａと第１基準画像１ｂを取得することができ、参照焦点距離ｆｍの取得精度を向上させることができる。

また、フィールド校正Ａによれば、単焦点カメラ３１とズームカメラ３２とが同時または略同時に校正用対象物を撮像できるので動体を校正用対象物として採用することができる。

また、フィールド校正Ａによれば、校正用対象物６２における同一サイズの部位をそれぞれ１回ずつ単焦点カメラ３１とズームカメラ３２とで同時または略同時に撮像することによって校正用の画像データが取得できるので、疑似画像５３の生成の対象となる被写体自体が、例えば、図７および図８で説明した手法などを適用可能な特徴部を有している場合には、該被写体自体を校正用対象物として採用することができる。

◎焦点距離のフィールド校正Ｃ：
焦点距離のフィールド校正Ｃは、例えば、ズームカメラ３２のズームによってずれ量ｄ（図３）が変動するステレオカメラ３００Ｂのうち、撮像時のずれ量ｄの値を検出して情報処理装置２００Ａへと供給可能なステレオカメラ３００Ｂ（以下、「ステレオカメラ３００Ｂ１」と称する）におけるズームカメラ３２などの焦点距離のフィールド校正として行われる。

なお、フィールド校正Ｃの対象は、ステレオカメラ３００Ｂ１に限定されず、ステレオカメラ３００Ａおよび３００Ｂのうち、撮像時のずれ量ｄの値を情報処理装置２００Ａが取得可能なステレオカメラであれば、フィールド校正Ｃの適用対象となる。

図１０は、ステレオカメラ３００Ｂ１におけるズームカメラ３２の焦点距離のフィールド校正Ｃ用のデータの取得の１例を説明する図である。

図１０では、ある未知の撮像距離に設置された実サイズが既知の１つの校正用対象物６３が、ステレオカメラ３００Ｂ１の各カメラのうち、焦点距離が既知の基準焦点距離ｆｓ（焦点距離ｆ１）である単焦点カメラ３１と、焦点距離が未知の参照焦点距離ｆｍである該ズームカメラ３２とのそれぞれによって１回ずつ測定されて基準画像１ａおよび参照画像２ａが得られている。

さらに、図１０では、ズームカメラ３２の未知の参照焦点距離ｆｍを求めるフィールド校正に使用するために、基準画像１ａおよび参照画像２ａのそれぞれにおける校正用対象物６３の像サイズＷｓおよび像サイズＷｍが取得される様子が示されている。

図１０に示される主光線６ａおよび６ｂは、校正用対象物６３の外縁部からの反射光のうち光学中心３ａおよび３ｂをそれぞれ通る各主光線である。

ここで、ずれ量ｄは、例えば、ズームの駆動制御値５１に応じたずれ量ｄの値を表現した情報と、撮像時の駆動制御値５１とに基づいて推定されるずれ量ｄの値、または、予め操作部４２を介して格納部４７に記憶されたずれ量ｄの既知の値などである。

なお、図１０〜図１２においては、単焦点カメラ３１の光学中心３ａがズームカメラ３２の光学中心３ｂよりも校正用対象物に近い例が表示されているが、光学中心３ｂが光学中心３ａよりも校正用対象物に近い場合でも本願発明の有用性を損なうものではない。

また、校正用対象物６３は、実サイズＳが既知である対象物であり、実サイズＳの値は、予めフィールド校正用情報格納部４７ａに格納されている。

校正用対象物６３としては、具体的には、専用設計された校正用チャートの他、例えば、コインまたはペットボトルのキャップなどの円筒状の大きさ（直径）が規格化されたものを採用することができる。

校正用対象物６３は、単焦点カメラ３１とズームカメラ３２とのそれぞれによって一回ずつ撮像されており、単焦点カメラ３１が撮像素子５ａを用いて撮像したときには、校正用対象物６３の像６３ｓは、第１基準画像１ｂに形成され、その像サイズは、像サイズＷｓである。

また、校正用対象物６３をズームカメラ３２が撮像素子５ｂを用いて撮像したときには、校正用対象物６３の像６３ｍは、参照画像２ａに形成され、その像サイズは、像サイズＷｍである。

なお、像サイズＷｓおよびＷｍの取得については、フィールド校正Ａと同様に行うことができる。

図１０では、単焦点カメラ３１およびズームカメラ３２のそれぞれの光学中心３ａおよび３ｂ、撮像素子５ａおよび撮像素子５ｂ、ならびに校正用対象物６３についての位置関係の把握を容易にするために、光軸４ａおよび４ｂが一致するように表示されている。

フィールド校正Ｃにおいて、像サイズＷｓおよびＷｍ、実サイズＳ、ならびにずれ量ｄが取得されると、参照焦点距離ｆｍは（２）式によって与えられる。

なお、フィールド校正Ａにおける参照焦点距離ｆｍの演算式は、（２）式に限定されず各種補正係数等を追加等可能であることは（１）式と同様である。

次にフィールド校正Ｃに係る情報処理装置２００Ａの動作フローについて説明する。

図２１は、後述する図１６または図１９の動作フローのうちズームカメラ３２の焦点距離のフィールド校正（ステップＳ２４２）に係る動作フローの１例を示す図であり、上述したフィールド校正Ｃに対応した動作フローの１例を示す図でもある。

また、図２６は、図２１の動作フローのうちフィールド校正Ｃにおける基準画像１ａと参照画像２ａとの取得（ステップＳ５１４）に係る動作フローの１例を示す図である。

ステレオカメラ３００Ｂ１が情報処理装置２００Ａに接続された状態で、図２１に示される処理が開始されると、ステレオカメラ３００Ｂ１についての特定情報に基づいて、ステップＳ５１４の基準画像１ａと参照画像２ａとの取得の処理が開始され、処理は、図２６のステップＳ６１８に移される。

ステップＳ６１８においては、ＣＰＵ１１Ａの制御によってステレオカメラ３００Ｂ１の各カメラが、ある位置に設置されたサイズが既知の校正用対象物６３を１回ずつ測定する。

なお、このときズームカメラ３２の撮像光学系９ｂは、ズーム制御部１７の制御によって未知の参照焦点距離ｆｍを持つ撮像時の光学的状態に設定されている。

また、単焦点カメラ３１とズームカメラ３２との撮像動作においては、フィールド校正Ａと同様に校正用対象物６３と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係を保った状態で撮像が行われる。

次に、焦点距離取得部１３は、ステレオカメラ３００Ｂ１の単焦点カメラ３１が撮像した画像（第１画像ｇ１）と、ズームカメラ３２が撮像した画像（第２画像ｇ２）とをそれぞれ基準画像１ａ（図１０）と参照画像２ａ（図１０）として取得する（ステップＳ６２０）。

基準画像１ａおよび参照画像２ａが取得されると、第２演算処理（図２１のＳ５２４）が開始され、処理は、図３１のステップＳ３２へと移される。

図３１は、図２１の動作フローのうち第２演算処理（ステップＳ５２４）に係る動作フローの１例を示す図である。

先ず、焦点距離取得部１３は、基準画像１ａについての焦点距離である基準焦点距離ｆｓ（図２、図１０）をフィールド校正用情報格納部４７ａから取得する（ステップＳ３２）。

次に、焦点距離取得部１３は、基準画像１ａを撮像した単焦点カメラ３１の撮像光学系９ａの光軸４ａ方向における光学中心３ａと、参照画像２ａを撮影したズームカメラ３２の撮像光学系９ｂの光軸４ｂ方向の光学中心３ｂとのずれ量ｄ（図１０）を、フィールド校正用情報格納部４７ａから取得する（ステップＳ３４）。

次に、焦点距離取得部１３は、校正用対象物６３（図１０）の所定部分の実サイズＳ（図１０）をフィールド校正用情報格納部４７ａから取得する（ステップＳ３６）。

次に、焦点距離取得部１３は、基準画像１ａのうち、校正用対象物６３の該所定部分に対応した像６３ｓの像サイズＷｓ（図１０）を測定する（ステップＳ３８）。

次に、焦点距離取得部１３は、参照画像２ａのうち像６３ｓに対応した像６３ｍの像サイズＷｍ（図１０）を測定する（ステップＳ４０）。

次に、焦点距離取得部１３は、(２)式に基づいて参照画像２ａについての焦点距離である参照焦点距離ｆｍ（図１０）を取得する（ステップＳ４２）。

参照焦点距離ｆｍが取得されると、処理は図２１に戻されて、焦点距離取得部１３は、得られた参照焦点距離ｆｍをステレオカメラ３００Ｂ１におけるズームカメラ３２の焦点距離として取得する（ステップＳ５３４）。

フィールド校正Ｃによれば、実サイズが既知の校正用対象物が未知の撮像距離において、撮像系との空間的な関係が保たれた状態でステレオカメラ３００Ｂ１の単焦点カメラ３１およびズームカメラ３２のそれぞれによって１回ずつ撮像されて基準画像１ａおよび参照画像２ａが取得される。

そして、基準画像１ａおよび参照画像２ａにおける校正用対象物６２の像サイズＷｓおよびＷｍと、校正用対象物６３の実サイズＳ、ならびに既知のずれ量ｄを用いて（２）式、すなわち、基準焦点距離ｆｓの値をスケーリングする演算処理を行うことにより、参照焦点距離ｆｍの値が取得される。

したがって、フィールド校正Ｃによれば、ズームカメラを備えたステレオカメラにおいて、基準画像を得たとき既知の基準焦点距離ｆｓを持つ撮像光学系の光学中心と、参照画像を得たときの未知の参照焦点距離ｆｍを持つ撮像光学系の光学中心とのずれ量ｄが既知であり、校正用対象物の実サイズが既知である場合には、校正対象物の撮像距離の情報を必要としない簡素な測定環境で短時間に取得できる校正用のデータに基づいて、高速に参照焦点距離ｆｍを取得することができ、使用現場でのステレオカメラの校正頻度を高めることができる。

また、フィールド校正Ｃによれば、単焦点カメラ３１とズームカメラ３２とが撮像に用いられるので、基準画像１ａと第１基準画像１ｂとを同時または略同時に測定することができる。

従って、校正用対象物６３と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係を保った状態で基準画像１ａと第１基準画像１ｂを取得することができ、参照焦点距離ｆｍの取得精度を向上させることができる。

また、単焦点カメラ３１とズームカメラ３２とが同時または略同時に校正用対象物を撮像できるので動体を校正用対象物として採用することができる。

また、フィールド校正Ｃによれば、校正用対象物６３における既知サイズの所定部位をそれぞれ１回ずつ単焦点カメラ３１とズームカメラ３２とで同時または略同時に撮像することによって校正用の画像データが取得できるので、疑似画像５３の生成の対象となる被写体自体が、図７および図８で説明した手法を適用可能な特徴部を有している場合には、該被写体自体を校正用対象物として採用することができる。

なお、ステレオカメラ３００Ｂ１においては、ステレオカメラ３００Ａ２についてのフィールド校正Ｂと同様に、基準画像１ａを撮像する撮像装置として、単焦点カメラ３１に代えて、撮像光学系９ｂの駆動範囲の端部または、近接スイッチ位置などの撮像光学系９ｂの位置制御の再現性が高いポジションであって、かつ、撮像光学系９ｂの焦点距離が既知であるズームカメラ３２を採用したとしても、本発明の有用性を損なうものではない。

◎焦点距離のフィールド校正ＤおよびＥ：
焦点距離のフィールド校正Ｄは、例えば、ずれ量ｄ（図３）が変動するステレオカメラ３００Ｂにおけるズームカメラ３２などの焦点距離のフィールド校正である。

また、焦点距離のフィールド校正Ｅは、例えば、ずれ量ｄ（図３）が変動するステレオカメラ３００Ｂのうち、ズームカメラ３２の撮像光学系９ｂがズームに係る駆動範囲の端部などの構造的な当り位置、または、位置センサ等により撮像光学系９ｂの光学的状態を検出可能な位置などにおける撮像光学系９ｂの焦点距離ｆ２の値が既知であり、その値をステレオカメラ内部に設けられた不図示の記憶部などを介して情報処理装置２００Ａに供給可能なステレオカメラ３００Ｂ（以下、「ステレオカメラ３００Ｂ２」と称する）におけるズームカメラ３２などの焦点距離のフィールド校正である。

なお、撮像光学系９ｂの焦点距離ｆ２の値が既知である上述した撮像光学系９ｂの位置（光学的状態）は、撮像光学系９ｂについての位置制御の再現性が高い位置である。

図１１は、ステレオカメラ３００Ｂ（図３）における焦点距離のフィールド校正Ｄ用のデータの取得の１例を説明する図である。

図１１では、１つの校正用対象物６４が、互いに異なる２つの未知の撮像距離に設置されて、各撮像距離毎にステレオカメラ３００Ｂの各カメラのそれぞれによって１回ずつ測定され、合計４枚の画像がフィールド校正用に測定される様子が、各カメラの光学中心３ａ、３ｂの配置関係を分かりやすく表示するために、１つの図に表示されている。

さらに、図１１の表示においては、図１１の左側に表示された校正用対象物６４およびステレオカメラ３００Ｂと、図１１の右側に表示された校正用対象物６４およびステレオカメラ３００Ｂとのそれぞれについて、単焦点カメラ３１およびズームカメラ３２のそれぞれの光学中心３ａおよび３ｂ、撮像素子５ａおよび撮像素子５ｂ、ならびに校正用対象物６４についての位置関係の把握を容易にするために、光軸４ａおよび４ｂが一致するように表示されている。

図１１に示される主光線６ａおよび６ｂは、２つの異なる撮像距離に設置された各校正用対象物６４のそれぞれの外縁部からの反射光のうち光学中心３ａおよび３ｂをそれぞれ通る各主光線である。

ここでは、先ず、図１１の左側に表示された校正用対象物６４を撮像するステレオカメラ３００Ｂから説明する。

図１１の左側の図において、第１基準画像１ｂは、単焦点カメラ３１が校正用対象物６４を撮像素子５ａによって撮像した画像であり、像６４ｓ１は、第１基準画像１ｂにおける校正用対象物６４の像である。また、像サイズＷｓ１は、像６４ｓ１の像サイズである。

また、第１参照画像２ｂは、ズームカメラ３２が校正用対象物６４を撮像素子５ｂによって撮像した画像であり、像６４ｍ１は、第１参照画像２ｂにおける校正用対象物６４の像である。像６４ｍ１の像サイズは像サイズＷｍ１である。

ここで、第１基準画像１ｂと第１参照画像２ｂとは、例えば、単焦点カメラ３１とズームカメラ３２とが同時または略同時に撮像を行うことによって、校正用対象物６４と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係が保たれた状態で撮像が行われている。

次に、図１１の右側に表示された校正用対象物６４を撮像するステレオカメラ３００Ｂについて説明する。

なお、図１１の右側の図に表示された校正用対象物６４は、図１１の左側に表示された校正用対象物６４に対してＺ軸方向の負側に配置されており、図１１の左側の校正用対象物６４よりも近い撮像距離で撮像されている。

なお、図１１の右側の図に表示された校正用対象物６４が、図１１の左側に表示された校正用対象物６４に対してＺ軸方向の正側に配置されてもよい。

図１１の右側の図において、第２基準画像１ｃは、単焦点カメラ３１が校正用対象物６４を撮像素子５ａによって撮像した画像であり、像６４ｓ２は、第２基準画像１ｃにおける校正用対象物６４の像である。また、像６４ｓ２の像サイズは像サイズＷｓ２である。

また、第２参照画像２ｃは、ズームカメラ３２が校正用対象物６４を撮像素子５ｂによって撮像した画像であり、像６４ｍ２は、第２参照画像２ｃにおける校正用対象物６４の像である。像６４ｍ２から測定された像サイズは像サイズＷｍ２である。

ここで、第２基準画像１ｃと第２参照画像２ｃとは、例えば、単焦点カメラ３１とズームカメラ３２とが同時または略同時に撮像を行うことによって、校正用対象物６４と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係が保たれた状態で撮像が行われている。

なお、図１１では、１つの校正用対象物６４が２つの異なる撮像距離に設置されて、撮像距離毎に順次に、ステレオカメラ３００Ｂによる撮像が行われているが、相互に異なる撮像距離に設置された同一または略同一サイズの２つの校正用対象物の両方を、ステレオカメラ３００Ｂの単焦点カメラ３１とズームカメラ３２とのそれぞれによって１回ずつ撮像したとしても、撮像された計２つの画像から上述した像サイズＷｓ１およびＷｓ２、ならびに像サイズＷｍ１およびＷｍ２を取得することができるので本発明の有用性を損なうものではない。

図１２は、ステレオカメラ３００Ｂ２を用いて行われる焦点距離のフィールド校正Ｅ用のデータの取得の１例を説明する図である。

図１２では、１つの校正用対象物６４が、互いに異なる２つの未知の撮像距離に設置されて、各撮像距離毎に校正用対象物６４がステレオカメラ３００Ｂのうちズームカメラ３２のみによって２回ずつ測定され、合計４枚の画像がフィールド校正用に測定される様子が、各カメラの光学中心３ａ、３ｂの配置関係を分かりやすく表示するために、図１１と同様に１つの図に表示されている。

なお、ズームカメラ３２は、ズームカメラ３２が撮像光学系９ｂの駆動範囲の端部または、近接スイッチ位置などの撮像光学系９ｂの位置制御の再現性が高いポジションであって、かつ、焦点距離が既知の基準焦点距離ｆｓである光学的状態と、ズーミングによって焦点距離が未知の参照焦点距離ｆｍである光学的状態とのそれぞれの光学的状態において校正用対象物６４の撮像に使用されている。

さらに、図１２の表示においては、図１２の左側に表示された校正用対象物６４およびズームカメラ３２と、図１２の右側に表示された校正用対象物６４およびズームカメラ３２とのそれぞれについて、異なる２つ焦点距離を持つズームカメラ３２のそれぞれ各光学中心３ｂ、撮像素子５ｂ、ならびに校正用対象物６４についての位置関係の把握を容易にするために、異なる２つの焦点距離についての光軸４ｂが一致するように表示されている。

図１２の左側の図において、第１基準画像１ｂは、既知の基準焦点距離ｆｓをもつズームカメラ３２が校正用対象物６４を撮像素子５ｂによって撮像した画像であり、像６４ｓ１は、第１基準画像１ｂにおける校正用対象物６４の像である。また、像サイズＷｓ１は、像６４ｓ１の像サイズである。

また、第１参照画像２ｂは、未知の参照焦点距離ｆｍをもつズームカメラ３２が校正用対象物６４を撮像素子５ｂによって撮像した画像であり、像６４ｍ１は、第１参照画像２ｂにおける校正用対象物６４の像である。また、像６４ｍ１の像サイズは像サイズＷｍ１である。

ここで、第１基準画像１ｂと第１参照画像２ｂとは、例えば、校正用対象物６４がズームカメラ３２に対して相対的に静止した状態で、各焦点距離を持つズームカメラ３２が撮像を行うことによって、校正用対象物６４と、撮像系（ズームカメラ３２）との空間的な関係が保たれた状態で撮像が行われている。

次に、図１２の右側に表示された校正用対象物６４を撮像するステレオカメラ３００Ｂについて説明する。

なお、図１２の右側の図に表示された校正用対象物６４は、図１１の場合と同様に、図１２の左側の校正用対象物６４よりも近い撮像距離で撮像されている。

図１２の右側の図において、第２基準画像１ｃは、既知の基準焦点距離ｆｓを持つズームカメラ３２が校正用対象物６４を撮像素子５ｂによって撮像した画像であり、像６４ｓ２は、第２基準画像１ｃにおける校正用対象物６４の像である。また、像６４ｓ２の像サイズは像サイズＷｓ２である。

また、第２参照画像２ｃは、未知の参照焦点距離ｆｍを持つズームカメラ３２が校正用対象物６４を撮像素子５ｂによって撮像した画像であり、像６４ｍ２は、第２参照画像２ｃにおける校正用対象物６４の像である。像６４ｍ２から測定された像サイズは像サイズＷｍ２である。

ここで、図１２の左側の場合と同様にして、校正用対象物６４と、撮像系（ズームカメラ３２）との空間的な関係が保たれた状態で撮像が行われている。

また、図１２においても、図１１の場合と同様に、異なる焦点距離を持つズームカメラ３２の光学的状態毎に、それぞれ異なる撮像距離に配置された同一またはほぼ同一サイズの２つの校正用対象物を同時に撮像したとしても本発明の有用性を損なうものではない。

フィールド校正Ｄまたはフィールド校正Ｅにおいて、像サイズＷｓ１、Ｗｓ２、Ｗｍ１、およびＷｍ２が取得されると、参照焦点距離ｆｍは、各像サイズと、フィールド校正用情報格納部４７ａに格納された基準焦点距離ｆｓとを用いて（３）式によって与えられる。

なお、フィールド校正ＤおよびＥにおける参照焦点距離ｆｍの演算式は、（３）式に限定されず、フィールド校正Ａと同様に、例えば、歪曲収差補正係数、平行化処理のための係数などを、所望される参照焦点距離ｆｍの精度に応じて（３）式に適宜付加したとしても本発明の有用性を損なうものではない。

次にフィールド校正ＤおよびＥに係る情報処理装置２００Ａの動作フローについて説明する。

図２２は、後述する図１６または図１９の動作フローのうちズームカメラ３２の焦点距離のフィールド校正（ステップＳ２４４）に係る動作フローの１例を示す図であり、上述したフィールド校正ＤおよびＥに対応した動作フローの１例を示す図でもある。

また、図２７は、図２２の動作フローのうちフィールド校正Ｄにおける第１基準画像１ｂ、第２基準画像１ｃ、第１参照画像２ｂおよび第２参照画像２ｃの取得（ステップＳ５１６）に係る動作フローの１例を示す図である。

ステレオカメラ３００Ｂが情報処理装置２００Ａに接続された状態で、図２０に示される処理が開始されると、ステレオカメラ３００Ｂについての特定情報に基づいて、ＣＰＵ１１Ａがフィールド校正ＤまたはＦ（後述）の実施が可能であることを表示部４３に表示し、操作者がフィールド校正Ｄを選択した校正手法特定情報に従って、ステップＳ５１６における各画像の取得の処理が開始され、処理は、図２７のステップＳ６２２に移される。

ステップＳ６２２においては、ＣＰＵ１１Ａの制御によってステレオカメラ３００Ｂの各カメラが、ある位置に設置されたサイズが未知の校正用対象物６４を１回ずつ測定する。

なお、このときズームカメラ３２の撮像光学系９ｂは、ズーム制御部１７の制御によって未知の参照焦点距離ｆｍを持つ撮像時の光学的状態に設定されている。

また、単焦点カメラ３１とズームカメラ３２との撮像においては、例えば、単焦点カメラ３１とズームカメラ３２との撮像を同時または略同時に行うことなどによって、校正用対象物６４と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係を保った状態で撮像が行われる。

次に、焦点距離取得部１３は、ステレオカメラ３００Ａ１の単焦点カメラ３１が撮像した画像（第１画像ｇ１）と、ズームカメラ３２が撮像した画像（第２画像ｇ２）とをそれぞれ第１基準画像１ｂ（図１１）と第１参照画像２ｂ（図１１）として取得する（ステップＳ６２４）。

次に、ＣＰＵ１１Ａの制御によりステレオカメラ３００Ａの各カメラが設置位置が移動された該校正用対象物を１回ずつ測定する（ステップＳ６２６）。

次に、焦点距離取得部１３は、単焦点カメラ３１が撮像した画像を第２基準画像１ｃとして、ズームカメラ３２が撮像した画像を第２参照画像２ｃとして取得する（ステップＳ６２８）。

第１基準画像１ｂ、第２基準画像１ｃ、第１参照画像２ｂ、および第２参照画像２ｃが取得されると、第３演算処理（図２２のステップＳ５２２）が開始され、処理は、図３２のステップＳ２０へと移される。

また、図２８は、図２２の動作フローのうちフィールド校正Ｅにおける第１基準画像１ｂ、第２基準画像１ｃ、第１参照画像２ｂおよび第２参照画像２ｃの取得（ステップＳ５１７）に係る動作フローの１例を示す図である。

ステレオカメラ３００Ｂ２が情報処理装置２００Ａに接続された状態で、図２２に示される処理が開始されると、ステレオカメラ３００Ｂ２についての特定情報に基づいて、ステップＳ５１７の第１基準画像１ｂ、第２基準画像１ｃ、第１参照画像２ｂおよび第２参照画像２ｃの取得の処理が開始され、処理は、図２８のステップＳ６３０に移される。

ステップＳ６３０においては、先ず、ズーム制御部１７は、ステレオカメラ３００Ｂ２のズームカメラ３２のズーミングを制御して、撮像光学系９ｂの状態を、既知の基準焦点距離ｆｓ（図１２）を持つ光学的状態に変動させる。

次に、ＣＰＵ１１Ａの制御によって該ズームカメラ３２は、ある位置に設置されたサイズが未知の校正用対象物６４を１回測定する。

次に、焦点距離取得部１３は、該ズームカメラ３２が撮像した画像（第２画像ｇ２）を第１基準画像１ｂ（図１２）として取得する。

次に、ズーム制御部１７は、ズームカメラ３２のズーミングを制御して撮像光学系９ｂを、未知の参照焦点距離ｆｍを持つ撮像時の光学的状態に設定する。

次に、ＣＰＵ１１Ａの制御によってズームカメラ３２が校正用対象物６４を測定し、焦点距離取得部１３は、測定された画像（第２画像ｇ２）を第１参照画像２ｂとして取得する（ステップＳ６３２）。

なお、フィールド校正Ｅにおいても、校正用対象物と、各撮像系との空間的な関係を保った状態で第１基準画像１ｂと第１参照画像２ｂとの取得を行うために、校正用対象物６４がズームカメラ３２に対して相対的に静止した状態で、第１基準画像１ｂと第１参照画像２ｂとが撮像される。

また、ここでは、第１基準画像１ｂを先に撮像する例を説明したが、第１参照画像２ｂを先に撮像しても本発明の有用性を損なうものではない。

次に、ズーム制御部１７は、ステレオカメラ３００Ｂ２のズームカメラ３２のズーミングを制御して、撮像光学系９ｂの状態を、既知の基準焦点距離ｆｓ（図１２）を持つ光学的状態に再度変動させる。

次に、ＣＰＵ１１Ａの制御によって該ズームカメラ３２は、異なる撮像位置に設置された校正用対象物６４を１回測定し、焦点距離取得部１３は、該ズームカメラ３２が撮像した画像（第２画像ｇ２）を第２基準画像１ｃ（図１２）として取得する（ステップＳ６３４）。

次に、ズーム制御部１７は、ズームカメラ３２のズーミングを制御して撮像光学系９ｂを、未知の参照焦点距離ｆｍを持つ撮像時の光学的状態に再度設定する。

次に、ＣＰＵ１１Ａの制御によってズームカメラ３２が校正用対象物６４を測定し、焦点距離取得部１３は、測定された画像（第２画像ｇ２）を第２参照画像２ｃとして取得する（ステップＳ６３６）。

なお、フィールド校正Ｅにおいても、校正用対象物と、各撮像系との空間的な関係を保った状態で第２基準画像１ｃと第２参照画像２ｃとの取得を行うために、校正用対象物６４がズームカメラ３２に対して相対的に静止した状態で、第２基準画像１ｃと第２参照画像２ｃとが撮像される。

また、ここでは、第２基準画像１ｃを先に撮像する例を説明したが、第２参照画像２ｃを先に撮像しても本発明の有用性を損なうものではない。

第１基準画像１ｂ、第２基準画像１ｃ、第１参照画像２ｂ、および第２参照画像２ｃが取得されると、第３演算処理（図２２のステップＳ５２２）が開始され、処理は、図３２のステップＳ２０へと移される。

図３２は、図２２の動作フローのうち第３演算処理（ステップＳ５２２）に係る動作フローの１例を示す図である。

先ず、焦点距離取得部１３は、第１基準画像１ｂ（図２、図１１、図１２）および第２基準画像１ｃ（図２、図１１、図１２）についての焦点距離である基準焦点距離ｆｓ（図２、図１１、図１２）をフィールド校正用情報格納部４７ａから取得する（ステップＳ２０）。

次に、焦点距離取得部１３は、第１基準画像１ｂにおける校正用対象物６４（図１１、図１２）の像６４ｓ１（図１１、図１２）の像サイズＷｓ１（図１１、図１２）を測定する（ステップＳ２２）。

次に、焦点距離取得部１３は、第１参照画像２ｂのうち像６４ｓ１に対応した像６４ｍ１（図１１、図１２）の像サイズＷｍ１（図１１、図１２）を測定する（ステップＳ２４）。

次に、焦点距離取得部１３は、第２基準画像１ｃにおける校正用対象物６４の像６４ｓ２（図１１、図１２）の像サイズＷｓ２（図１１、図１２）を測定する（ステップＳ２６）。

次に、焦点距離取得部１３は、第２参照画像２ｃのうち像６４ｓ２に対応した像６４ｍ２の像サイズＷｍ２（図１１、図１２）を測定する（ステップＳ２８）。

次に、焦点距離取得部１３は、(３)式に基づいて各参照画像についての焦点距離である参照焦点距離ｆｍを取得する（ステップＳ３０）。

次に、処理は図２２に戻されて、焦点距離取得部１３は、得られた参照焦点距離ｆｍをステレオカメラ３００Ｂまたは３００Ｂ２におけるズームカメラ３２の焦点距離として取得する（ステップＳ５３２）。

フィールド校正Ｄまたはフィールド校正Ｅによれば、実サイズが未知の校正用対象物６４が異なる２つの未知の撮像距離のそれぞれにおいて撮像系との空間的な関係が保たれた状態で撮像されて第１基準画像１ｂおよび第１参照画像２ｂと、第２基準画像１ｃおよび第２参照画像２ｃとが取得される。

そして、第１基準画像１ｂおよび第１参照画像２ｂにおける校正用対象物６４の像サイズＷｓ１およびＷｍ１と、第２基準画像１ｃおよび第２参照画像２ｃとにおける校正用対象物６４の像サイズＷｓ２およびＷｍ２とを用いて、（３）式、すなわち、基準焦点距離ｆｓの値をスケーリングする演算処理を行うことにより、参照焦点距離ｆｍの値を取得できる。

したがって、フィールド校正Ｄまたはフィールド校正Ｅによれば、ズームカメラを備えたステレオカメラにおいて、基準画像を得たとき既知の基準焦点距離ｆｓを持つ撮像光学系の光学中心と、参照画像を得たときの未知の参照焦点距離ｆｍを持つ撮像光学系の光学中心とのずれ量ｄが未知である場合でも、校正対象物の撮像距離および実サイズの情報を必要としない簡素な測定環境で短時間に取得できる校正用のデータに基づいて、高速に参照焦点距離ｆｍを取得することができ、使用現場でのステレオカメラの校正頻度を高めることができる。

フィールド校正Ｄによれば、単焦点カメラ３１とズームカメラ３２とが撮像に用いられるので、第１基準画像１ｂおよび第１参照画像２ｂ、ならびに第２基準画像１ｃおよび第２参照画像２ｃのそれぞれを同時または略同時に測定することができる。

従って、校正用対象物６４と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係を保った状態で基準画像１ａと第１基準画像１ｂを取得することが容易となり、参照焦点距離ｆｍの取得精度を向上させることができる。

また、フィールド校正Ｄによれば、単焦点カメラ３１とズームカメラ３２とが同時または略同時に校正用対象物を撮像できるので動体を校正用対象物として採用することができる。

また、フィールド校正Ｄによれば、校正用対象物６４における同一サイズの部位を、校正用対象物６４が異なる位置に置かれた状態で、それぞれ１回ずつ単焦点カメラ３１とズームカメラ３２とで同時または略同時に撮像することによって校正用の画像データが取得できるので、疑似画像５３の生成の対象となる被写体自体が、例えば、図７および図８で説明した手法を適用可能な特徴部を有している場合などには、該被写体自体を校正用対象物として採用することができ、校正頻度を向上させることができる。

◎焦点距離のフィールド校正Ｆ：
焦点距離のフィールド校正Ｆは、フィールド校正Ｄと同様に、ずれ量ｄ（図３）が変動するステレオカメラ３００Ｂにおけるズームカメラ３２の焦点距離のフィールド校正である。ただし、フィールド校正Ｆでは、ずれ量ｄの値も取得することができる。

図１３は、ステレオカメラ３００Ｂ（図３）における焦点距離のフィールド校正Ｆ用のデータの取得の１例を説明する図である。

図１３では、実サイズが既知の実サイズＳ１である第１校正用対象物６６と、実サイズが既知の実サイズＳ２である第２校正用対象物６７とが、互いに異なる２つの未知の撮像距離に設置されて、各校正用対象物毎にステレオカメラ３００Ｂの各カメラのそれぞれによって１回ずつ測定され、合計４枚の画像がフィールド校正用に測定される様子が、各カメラの光学中心３ａ、３ｂの配置関係を分かりやすく表示するために、１つの図に表示されている。

さらに、図１３の表示においては、図１３の左側に表示された第１校正用対象物６６およびステレオカメラ３００Ｂと、図１３の右側に表示された第２校正用対象物６７およびステレオカメラ３００Ｂとのそれぞれについて、単焦点カメラ３１およびズームカメラ３２のそれぞれの光学中心３ａおよび３ｂ、撮像素子５ａおよび撮像素子５ｂ、ならびに各校正用対象物についての位置関係の把握を容易にするために、光軸４ａおよび４ｂが一致するように表示されている。

図１３に示される主光線６ａおよび６ｂは、２つの異なる撮像距離に設置された第１および第２校正用対象物６６および６７のそれぞれの外縁部からの反射光のうち光学中心３ａおよび３ｂをそれぞれ通る各主光線である。

ここでは、先ず、図１３の左側に表示された第１校正用対象物６６を撮像するステレオカメラ３００Ｂから説明する。

図１３の左側の図において、第１基準画像１ｂは、単焦点カメラ３１が第１校正用対象物６６を撮像素子５ａによって撮像した画像であり、像６６ｓ１は、第１基準画像１ｂにおける第１第１校正用対象物６６の像である。また、像サイズＷｓ１は、像６６ｓ１の像サイズである。

また、第１参照画像２ｂは、ズームカメラ３２が第１校正用対象物６６を撮像素子５ｂによって撮像した画像であり、像６６ｍ１は、第１参照画像２ｂにおける第１校正用対象物６６の像である。像６６ｍ１の像サイズは像サイズＷｍ１である。

ここで、第１基準画像１ｂと第１参照画像２ｂとは、例えば、単焦点カメラ３１とズームカメラ３２とが同時または略同時に撮像を行うことによって、第１校正用対象物６６と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係が保たれた状態で撮像が行われている。

次に、図１３の右側に表示された第２校正用対象物６７を撮像するステレオカメラ３００Ｂについて説明する。

図１３の右側の図に表示された第２校正用対象物６７は、図１３の左側に表示された第１校正用対象物６６に対してＺ軸方向の負側に配置されており、図１３の左側の第１校正用対象物６６よりも近い撮像距離で撮像されている。

なお、第１校正用対象物６６が第２校正用対象物６７に対してＺ軸方向の負側に配置されていてもよい。

図１３の右側の図において、第２基準画像１ｃは、単焦点カメラ３１が第２校正用対象物６７を撮像素子５ａによって撮像した画像であり、像６７ｓ２は、第２基準画像１ｃにおける第２校正用対象物６７の像である。また、像６７ｓ２の像サイズは像サイズＷｓ２である。

また、第２参照画像２ｃは、ズームカメラ３２が第２校正用対象物６７を撮像素子５ｂによって撮像した画像であり、像６７ｍ２は、第２参照画像２ｃにおける第２校正用対象物６７の像である。像６７ｍ２から測定された像サイズは像サイズＷｍ２である。

ここで、第２基準画像１ｃと第２参照画像２ｃとは、例えば、単焦点カメラ３１とズームカメラ３２とが同時または略同時に撮像を行うことによって、第２校正用対象物６７と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係が保たれた状態で撮像が行われている。

なお、図１３では、第１および第２校正用対象物６６および６７がそれぞれ異なる撮像距離に設置されて、校正用対象物毎に順次に、ステレオカメラ３００Ｂによる撮像が行われているが、相互に異なる撮像距離に設置された第１第１校正用対象物６６および６７の両方を、ステレオカメラ３００Ｂの単焦点カメラ３１とズームカメラ３２とのそれぞれによって１回ずつ撮像したとしても、撮像された計２つの画像から上述した像サイズＷｓ１およびＷｓ２、ならびに像サイズＷｍ１およびＷｍ２を取得することができるので本発明の有用性を損なうものではない。

フィールド校正Ｆにおいて、像サイズＷｓ１、Ｗｓ２、Ｗｍ１、およびＷｍ２と、実サイズＳ１およびＳ２と、基準焦点距離ｆｓとが取得されると、参照焦点距離ｆｍは（４）式によって与えられる。

なお、フィールド校正Ｆにおける参照焦点距離ｆｍの演算式は、（４）式に限定されず、フィールド校正Ａと同様に、例えば、歪曲収差補正係数、平行化処理のための係数などを、所望される参照焦点距離ｆｍの精度に応じて（４）式に適宜付加したとしても本発明の有用性を損なうものではない。

また、ステレオカメラ３００Ｂにおいては、ステレオカメラ３００Ａ２についてのフィールド校正Ｂと同様に、第１基準画像１ｂおよび第２基準画像１ｃを撮像する撮像装置として、単焦点カメラ３１に代えて、撮像光学系９ｂの駆動範囲の端部または、近接スイッチ位置などの撮像光学系９ｂの位置制御の再現性が高いポジションであって、かつ、撮像光学系９ｂの焦点距離が既知であるズームカメラ３２を採用したとしても、本発明の有用性を損なうものではない。

また、第１校正用対象物６６および第２校正用対象物６７としては、具体的には、専用設計された校正用チャートの他、例えば、コインまたはペットボトルのキャップなどの円筒状の大きさ（直径）が規格化されたものを採用することができる。

次にフィールド校正Ｆに係る情報処理装置２００Ａの動作フローについて説明する。

図２３は、後述する図１６または図１９の動作フローのうちズームカメラ３２の焦点距離のフィールド校正（ステップＳ２４６）に係る動作フローの１例を示す図であり、上述したフィールド校正Ｆに対応した動作フローの１例を示す図でもある。

また、図２９は、図２３の動作フローのうちフィールド校正Ｅにおける第１基準画像１ｂ、第２基準画像１ｃ、第１参照画像２ｂおよび第２参照画像２ｃの取得（ステップＳ５１８）に係る動作フローの１例を示す図である。

ステレオカメラ３００Ｂが情報処理装置２００Ａに接続された状態で、図２０に示される処理が開始されると、ステレオカメラ３００Ｂについての特定情報に基づいて、ＣＰＵ１１Ａがフィールド校正ＤまたはＦの実施が可能であることを表示部４３に表示し、操作者がフィールド校正Ｆを選択した校正手法特定情報に従って、ステップＳ５１８における各画像の取得の処理が開始され、処理は、図２９のステップＳ６４０に移される。

ステップＳ６４０においては、ＣＰＵ１１Ａの制御によってステレオカメラ３００Ｂの各カメラが、ある未知の撮像距離に設置された第１校正用対象物６６を１回ずつ測定する。

なお、このときズームカメラ３２の撮像光学系９ｂは、ズーム制御部１７の制御によって未知の参照焦点距離ｆｍを持つ撮像時の光学的状態に設定されている。

また、単焦点カメラ３１とズームカメラ３２との撮像においては、例えば、単焦点カメラ３１とズームカメラ３２との撮像を同時または略同時に行うことなどによって、第１校正用対象物６６と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係を保った状態で撮像が行われる。

次に、焦点距離取得部１３は、ステレオカメラ３００Ｂの単焦点カメラ３１が撮像した画像（第１画像ｇ１）と、ズームカメラ３２が撮像した画像（第２画像ｇ２）とをそれぞれ第１基準画像１ｂ（図１３）と第１参照画像２ｂ（図１３）として取得する（ステップＳ６４２）。

次に、第１校正用対象物６６に代えて第２校正用対象物６７が第１校正用対象物６６とは異なる未知の撮像距離に設置され、ＣＰＵ１１Ａの制御によってステレオカメラ３００Ｂの各カメラが、設置された第２校正用対象物６７を１回ずつ測定する（ステップＳ６４４）。

次に、焦点距離取得部１３は、ステレオカメラ３００Ｂの単焦点カメラ３１が撮像した画像（第１画像ｇ１）と、ズームカメラ３２が撮像した画像（第２画像ｇ２）とをそれぞれ第２基準画像１ｃ（図１３）と第２参照画像２ｃ（図１３）として取得する（ステップＳ６４６）。

第１基準画像１ｂ、第２基準画像１ｃ、第１参照画像２ｂ、および第２参照画像２ｃが取得されると、第４演算処理（図２３のステップＳ５２６）が開始され、処理は、図３３のステップＳ５０へと移される。

図３３は、図２３の動作フローのうち第４演算処理（ステップＳ５２６）に係る動作フローの１例を示す図である。

先ず、焦点距離取得部１３は、第１基準画像１ｂ（図２、図１３）および第２基準画像１ｃ（図２、図１３）についての焦点距離である基準焦点距離ｆｓ（図２、図１３）をフィールド校正用情報格納部４７ａから取得する（ステップＳ５０）。

次に、焦点距離取得部１３は、第１校正用対象物６６の所定部分の実サイズＳ１をフィールド校正用情報格納部４７ａから取得する（ステップＳ５２）。

次に、焦点距離取得部１３は、第２校正用対象物６７の所定部分の実サイズＳ２をフィールド校正用情報格納部４７ａから取得する（ステップＳ５４）。

次に、焦点距離取得部１３は、第１基準画像１ｂのうち第１校正用対象物６６の所定部分に対応した像６６ｓ１（図１３）の像サイズＷｓ１（図１３）を測定する（ステップＳ５６）。

次に、焦点距離取得部１３は、第１参照画像２ｂのうち像６６ｓ１に対応した像６６ｍ１（図１３）の像サイズＷｍ１（図１３）を測定する（ステップＳ５８）。

次に、焦点距離取得部１３は、第２基準画像１ｃのうち第２校正用対象物６７の所定部分に対応した像６７ｓ２（図１３）の像サイズＷｓ２（図１３）を測定する（ステップＳ６０）。

次に、焦点距離取得部１３は、第２参照画像２ｃのうち像６７ｓ２に対応した像６７ｍ２の像サイズＷｍ２（図１３）を測定する（ステップＳ６２）。

次に、焦点距離取得部１３は、（４）式に基づいて各参照画像についての焦点距離である参照焦点距離ｆｍを取得する（ステップＳ６４）。

次に、処理は図２３に戻されて、焦点距離取得部１３は、得られた参照焦点距離ｆｍをステレオカメラ３００Ｂにおけるズームカメラ３２の焦点距離として取得する（ステップＳ５３６）。

次に、焦点距離取得部１３は、（５）式に基づいて、光学中心３ａと光学中心３ｂとの光軸４ａ（４ｂ）方向のずれ量ｄ（図３）を取得する。

なお、（５）式に代えて、フィールド校正Ａと同様に、例えば、歪曲収差補正係数、平行化処理のための係数などを、所望されるずれ量ｄの取得精度などに応じて（５）式に適宜付加した演算式を用いたとしても本発明の有用性を損なうものではない。

フィールド校正Ｆによれば、実サイズが既知の第１校正用対象物６６と第２校正用対象物６７とが異なる未知の撮像距離にそれぞれ設置され、撮像系との空間的な関係が保たれた状態で撮像されて第１基準画像１ｂおよび第１参照画像２ｂと、第２基準画像１ｃおよび第２参照画像２ｃとが取得される。

そして、第１基準画像１ｂおよび第１参照画像２ｂにおける第１校正用対象物６６の像サイズＷｓ１およびＷｍ１と、第２基準画像１ｃおよび第２参照画像２ｃとにおける第１校正用対象物６６の像サイズＷｓ２およびＷｍ２と、実サイズＳ１と、実サイズＳ２とを用いて、（４）式、すなわち、基準焦点距離ｆｓの値をスケーリングする演算処理を行うことにより、参照焦点距離ｆｍの値を取得できる。

したがって、フィールド校正Ｆによれば、ズームカメラを備えたステレオカメラにおいて、基準画像を得たとき既知の基準焦点距離ｆｓを持つ撮像光学系の光学中心と、参照画像を得たときの未知の参照焦点距離ｆｍを持つ撮像光学系の光学中心とのずれ量ｄが未知である場合でも、校正対象物の撮像距離の情報を必要としない簡素な測定環境で短時間に取得できる校正用のデータに基づいて、高速に参照焦点距離ｆｍを取得することができ、使用現場でのステレオカメラの校正頻度を高めることができる。

さらにフィールド校正Ｆによれば、取得された参照焦点距離ｆｍに基づいて、簡易かつ高速にカメラパラメータの１つである光学中心３ａと光学中心３ｂとの光軸方向のずれ量ｄを取得することができるので、該ずれ量ｄを用いてパラメータ対応情報ｔ２におけるずれ量ｄの値を更新することなどによって、ステレオカメラの測定画像に基づいて取得される距離情報の精度を向上させることができる。

フィールド校正Ｆによれば、単焦点カメラ３１とズームカメラ３２とが撮像に用いられるので、第１基準画像１ｂおよび第１参照画像２ｂ、ならびに第２基準画像１ｃおよび第２参照画像２ｃのそれぞれを同時または略同時に測定することができる。

従って、第１校正用対象物６６および第２校正用対象物６７と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係を保った状態で第１基準画像１ｂおよび第１参照画像２ｂ、ならびに第２基準画像１ｃおよび第２参照画像２ｃを取得することが容易となり、参照焦点距離ｆｍの取得精度を向上させることができる。

また、フィールド校正Ｆによれば、単焦点カメラ３１とズームカメラ３２とが同時または略同時に校正用対象物を撮像できるので動体を校正用対象物として採用することができる。

＜◎情報処理システム１００Ａが行う各処理の動作フロー：＞
次に、情報処理システム１００Ａが行う各処理の動作フローを、フローチャートを用いて説明する。

◎校正から立体視画像生成までの動作フロー：
図１４は、情報処理システム１００Ａの校正から立体視用画像の生成までの動作フローの１例を示す図である。

図１４に示されるように、情報処理システム１００Ａの校正から立体視用画像の生成までの動作は、例えば、３つの処理ステップによって行われる。

ステップＳ１００：ステレオカメラの製造時校正。

ステップＳ２００：駆動制御値対応情報のフィールド校正。

ステップＳ３００：立体視用画像の生成。

◎ステレオカメラの製造時校正の動作フロー：
図１５は、図１４の動作フローのうちステップＳ１００に示されるステレオカメラの製造時校正の動作フローの１例を示す図である。ステレオカメラの製造時校正においては、例えば、ステレオカメラ３００Ａ（３００Ｂ）が完成した後、製造時校正用の情報処理装置にステレオカメラ３００Ａ（３００Ｂ）を接続し、ステレオカメラ３００Ａ（３００Ｂ）の校正を行う。

図１５の動作フローにおいては、該校正用の情報処理装置は、先ず、該ズームカメラ３２のズームの駆動制御値が離散的に設定された駆動制御値テーブルを取得する（ステップＳ１１０）。

次に、該校正用の情報処理装置は、駆動制御値テーブルの１つの駆動制御値５１をズームカメラ３２のズームの駆動制御値として設定し（ステップＳ１２０）、駆動制御値５１に基づいてズームカメラ３２をズーミング（ステップＳ１３０）する。

次に、該校正用の情報処理装置は、ステレオカメラ３００Ａ（３００Ｂ）の三次元化パラメータを校正する（ステップＳ１４０）。

ステレオカメラ３００Ａ（３００Ｂ）のカメラパラメータの校正は、例えば、Zhengyou Zhang: "A flexible new technique for camera calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11,pp.1330-1334, 2000などに開示された格子パターンを用いた公知のカメラキャリブレーション手法などによって行うことができる。

ここで、ズームカメラ３２においては、焦点距離可変の範囲の、例えば、広角端と望遠端とにおける校正において、一様なパターンを有する校正用チャートを使用すると、画像中に含まれるパターン数が焦点距離によって異なるため、推定されるカメラパラメータの精度に差が生じてしまう。

このため、情報処理システム１００Ａにおいては、例えば、中心になればなるほど格子などのパターンが密に描画された校正用チャートが使用される。

該校正用チャートの中心を予めズームカメラ３２の光軸と合わせておくことで、ズーム駆動にともなってズームカメラ３２の撮像画角が変動したとしても、該校正用チャートを撮像した画像上では、ズームカメラ３２の広角端と望遠端とでほぼ同様のパターン分布を持つ画像が撮影できる。

従って、該校正用チャートを使用することによって、キャリブレーションで求められるズームカメラ３２のカメラパラメータの精度が、ズームカメラ３２の焦点距離によって異なる現象の発生を抑制することが可能となる。

全ての駆動制御値についての校正が終了すると、該校正用の情報処理装置は処理をステップＳ１６０へ移し、全ての駆動制御値についての校正が終了していない場合には、ステップＳ１２０に処理を戻して、他の駆動制御値について校正を行う（ステップＳ１５０）。

処理がステップＳ１６０に移されると、該校正用の情報処理装置は、駆動制御値テーブルの各駆動制御値と、校正されたズームカメラ３２の各焦点距離との対応関係を表現した駆動制御値対応情報ｔ１を生成する（ステップＳ１６０）とともに、校正されたズームカメラ３２の各焦点距離について、焦点距離と、校正されたズームカメラ３２の各カメラパラメータとの対応関係を表現したパラメータ対応情報ｔ２を生成する（ステップＳ１７０）。

次に、該校正用の情報処理装置は、駆動制御値対応情報ｔ１と、パラメータ対応情報ｔ２その他の三次元化パラメータとをステレオカメラ３００Ａ（３００Ｂ）に保存し（ステップＳ１８０）ステレオカメラの製造時校正を終了する。

◎駆動制御値対応情報ｔ１のフィールド校正の動作フロー：
図１６は、図１４の動作フローのうち駆動制御値対応情報ｔ１のフィールド校正（ステップＳ２００）の動作フローの１例を示す図である。

先ず、焦点距離取得部１３は、駆動制御値対応情報格納部４７ｂから駆動制御値対応情報ｔ１を取得する（ステップＳ２１０）。

また、ズーム制御部１７は、駆動制御値対応情報ｔ１に基づいて、１つの駆動制御値５１をズームカメラ３２のズームの駆動制御値５１として設定する（ステップＳ２２０）とともに、駆動制御値５１に基づいてズームカメラ３２をズーミングする（ステップＳ２３０）。

次に、焦点距離取得部１３は、ズームカメラ３２の焦点距離について既述したフィールド校正（ステップＳ２４０、Ｓ２４２、Ｓ２４４、Ｓ２４６）を行う。

焦点距離取得部１３は、取得したズームカメラ３２の焦点距離と、該駆動制御値５１に対応した駆動制御値対応情報ｔ１における焦点距離との差が、記憶装置４６に記憶された所定の閾値以下か否かを判断し（ステップＳ２５０）、該差が、所定の閾値以下であった場合は、駆動制御値対応情報ｔ１により推定される焦点距離と、実際の焦点距離との差は、許容範囲内であると判断して駆動制御値対応情報ｔ１のフィールド校正を終了する。

該差が、所定の閾値を超える場合には、焦点距離取得部１３は、駆動制御値対応情報ｔ１により推定される焦点距離と、実際の焦点距離との差は、許容範囲を超えていると判断し、処理をステップＳ２６０へと移す。

焦点距離取得部１３は、駆動制御値対応情報ｔ１の他の駆動制御値についてもズームカメラ３２の焦点距離のフィールド校正を実施（ステップＳ２６０）し、校正されたズームカメラ３２の焦点距離に基づいて駆動制御値対応情報格納部４７ｂに格納された駆動制御値対応情報ｔ１を更新（ステップＳ２７０）して、駆動制御値対応情報ｔ１のフィールド校正を終了する。

駆動制御値対応情報ｔ１のフィールド校正によれば、駆動制御値５１と、ズームカメラ３２の焦点距離ｆ２との関係における経時変化等による誤差を校正することができ、駆動制御値５１に基づいて真値に近いズームカメラ３２の焦点距離ｆ２を取得することができる。

◎立体視用画像の生成の動作フロー：
図１７は、図１４の動作フローのうち立体視用画像の生成（ステップＳ３００）に係る動作フローの１例を示す図である。

先ず、ズーム制御部１７は、ズームカメラ３２をズーミングすることによってズームカメラ３２の画角を設定する（ステップＳ３１０）。

次に、焦点距離取得部１３は、予め操作部４２から設定された動作モードに基づいてステップＳ３２０またはステップＳ３２２において、被写体測定時のズームカメラ３２の焦点距離の取得を行う。

○被写体測定時のズームカメラ３２の焦点距離の取得：
図１８は、図１７の動作フローのうち被写体測定時のズームカメラ３２の焦点距離の取得を行う（ステップＳ３２０）に係る動作フローの１例を示す図である。

動作モードに基づいて、図１７のステップＳ３２０が開始されると、処理は、図１８のステップＳ４１０に移されて、焦点距離取得部１３は、ズーム制御部１７からズームカメラ３２のズームの駆動制御値５１を取得する。

次に、焦点距離取得部１３は、取得した駆動制御値５１と、駆動制御値対応情報格納部４７ｂに記憶された駆動制御値対応情報ｔ１とからズームカメラ３２の焦点距離ｆ２（図２）を取得し（Ｓ４２０）、処理は、図１７のステップＳ３３０へ移される。

図１９は、図１７の動作フローのうち被写体測定時のズームカメラ３２の焦点距離の取得を行う（ステップＳ３２２）に係る動作フローの１例を示す図である。

動作モードに基づいて、図１７のステップＳ３２２が開始されると、処理は、図１９の動作フローに移されて、ＣＰＵ１１Ａは、ステレオカメラの特性情報および操作部４２から設定される動作モードに応じて、既述したズームカメラ３２の焦点距離のフィールド校正を行い（ステップＳ２４０、Ｓ２４２、Ｓ２４４、またはＳ２４６）、処理は、図１７のステップＳ３３０へ移される。

なお、この場合は、参照焦点距離ｆｍが被写体測定時のズームカメラ３２の焦点距離ｆ２となる。

次に、図１７に戻って、カメラパラメータ取得部１４は、取得された被写体測定時のズームカメラ３２の焦点距離と、パラメータ対応情報ｔ２とからズームカメラ３２の第２カメラパラメータｐ２を推定する（ステップＳ３３０）。

○カメラパラメータの推定：
なお、焦点距離取得部１３による第２カメラパラメータｐ２の推定は、例えば、以下のように行われる。

先ず、パラメータ対応情報ｔ２に定義されている焦点距離情報からズームカメラ３２の焦点距離ｆ２よりも小さい焦点距離ｆａと、焦点距離ｆ２よりも大きい焦点距離ｆｂとを取得し、（６）式によって、重みｗを取得する。

次に、焦点距離ｆａおよびｆｂにそれぞれ対応する第２カメラパラメータｐａおよびｐｂをパラメータ対応情報ｔ２に基づいて取得し、重みｗと、第２カメラパラメータｐａおよびｐｂとを用いて、（７）式によって第２カメラパラメータｐ２が推定される。

図１７に戻って、第２カメラパラメータｐ２が推定されると、ＣＰＵ１１Ａは、ステレオカメラ３００Ａ（３００Ｂ）による被写体の撮像を実施する（ステップＳ３４０）。

被写体の撮像が実施されると、焦点距離取得部１３は、単焦点カメラ３１とズームカメラ３２とがそれぞれが撮像した第１画像ｇ１と第２画像ｇ２とを取得し（ステップＳ３５０）、第１画像ｇ１を三次元化部１５に供給するとともに、第２画像ｇ２を三次元化部１５、疑似画像生成部１６、および表示部４３へと供給する。

次に、三次元化部１５は、ズームカメラ３２の第２カメラパラメータｐ２と、三次元化パラメータ格納部４７ｄから取得される単焦点カメラ３１の第１カメラパラメータｐ１およびステレオカメラの基線長ｂとを用いて、三角測量の原理によって第１画像ｇ１と第２画像ｇ２から被写体の距離情報５２を取得する（ステップＳ３６０）。

次に、疑似画像生成部１６は、距離情報５２に基づいて、第２画像ｇ２について、別視点からの撮影に対応した疑似画像５３を生成する（ステップＳ３７０）。

疑似画像５３が生成されると、ＣＰＵ１１Ａは、第２画像ｇ２と疑似画像５３とを立体視用画像として表示部４３に表示する（ステップＳ３８０）。

＜変形例について：＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。

実施形態で説明された各ステレオカメラは、単焦点カメラ３１とズームカメラ３２とを備えているが、例えば、単焦点カメラ３１に代えてズームカメラ３２と異なる他のズームカメラを採用し、既知の焦点距離を持つ光学的状態にある該他のズームカメラを用いて基準画像を撮像したとしても本願発明の有用性を損なうものではない。

１００Ａ 情報処理システム
２００Ａ 情報処理装置
３００Ａ，３００Ｂ ステレオカメラ
１ａ 基準画像
１ｂ 第１基準画像
１ｃ 第２基準画像
２ａ 参照画像
２ｂ 第１参照画像
２ｃ 第２参照画像
３ａ，３ｂ 光学中心
４ａ，４ｂ 光軸
５ａ，５ｂ 撮像素子
６ａ，６ｂ 主光線
７ａ，７ｂ 像中心位置
９ａ，９ｂ 撮像光学系
Ｐａ，Ｐｂ 像点
２６ 駆動機構
３１ 単焦点カメラ
３２ ズームカメラ
４９ 信号線
５１ 駆動制御値
５２ 距離情報
５３ 疑似画像
５４，５５ 特徴部
５４ｓ，５５ｓ，５４ｍ，５５ｍ 像
６１ 被写体
６２，６３，６４，６８ 校正用対象物
６６ 第１校正用対象物
６７ 第２校正用対象物
６２ｓ，６３ｓ，６４ｓ１，６４ｓ２ 像
６６ｓ１，６６ｓ２，６７ｓ２，６８ｓ，６８ｍ 像
６２ｍ，６３ｍ，６４ｍ，６４ｍ１，６４ｍ２ 像
Ｄ１ 撮像距離
Ｍ 物点
ｆ１ 焦点距離
ｆ２ 焦点距離
ｆｓ 基準焦点距離
ｆｍ 参照焦点距離
Ｗｍ，Ｗｍ１，Ｗｍ２ 像サイズ
Ｗｓ，Ｗｓ１，Ｗｓ２ 像サイズ
Ｓ，Ｓ１，Ｓ２ 実サイズ
ｇ１ 第１画像
ｇ２ 第２画像
ｂ 基線長
ｄ ずれ量
ｐ１ 第１カメラパラメータ
ｐ２ 第２カメラパラメータ
ｔ１ 駆動制御値対応情報
ｔ２ パラメータ対応情報

Claims (16)

1. 撮像系との空間的な関係を保った状態で対象物を、
   （ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、
   （ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、
   を取得する画像取得部と、
   前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部と、
   を備え、
   前記基準画像が、前記対象物を異なる撮像距離でそれぞれ撮像して得た第１および第２基準画像を含む一方、
   前記参照画像が、前記対象物を前記第１および第２基準画像における撮像距離と同じ撮像距離でそれぞれ撮像して得た第１および第２参照画像を含んでいる情報処理装置。
2. 撮像系との空間的な関係を保った状態で対象物を、
   （ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、
   （ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、
   を取得する画像取得部と、
   前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部と、
   を備え、
   前記対象物が、異なる撮像距離に配置されるとともに同一のサイズを有する第１および第２対象物を有しており、
   前記基準画像は、前記第１および第２対象物を同時に撮像して得た画像であり、
   前記参照画像は、前記第１および第２対象物を同時に撮像して得た画像である情報処理装置。
3. 撮像系との空間的な関係を保った状態で対象物を、
   （ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、
   （ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、
   を取得する画像取得部と、
   前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部と、
   を備え、
   前記基準画像が、前記対象物を撮像した単一の基準画像である一方、
   前記参照画像が、前記対象物を撮像した単一の参照画像であり、
   前記焦点距離取得部は、
   前記基準焦点距離と、
   前記基準画像と前記参照画像とにおける前記対象物の所定部分の像サイズと、
   前記対象物の実サイズと、
   前記基準画像を撮像した撮像装置の光軸方向における光学中心位置と前記参照画像を撮像した撮像装置の撮像光学系の光軸方向における光学中心位置とのずれ量とに基づいて前記演算処理を行う情報処理装置。
4. 撮像系との空間的な関係を保った状態で対象物を、
   （ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、
   （ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、
   を取得する画像取得部と、
   前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部と、
   を備え、
   前記対象物は、第１および第２対象物を有しており、
   前記基準画像は、前記第１および第２対象物を個別に撮像して得た第１および第２基準画像を含む一方、
   前記参照画像は、前記第１および第２対象物を個別に撮像して得た第１および第２参照画像を含んでおり、
   前記焦点距離取得部は、
   前記第１基準画像と前記第１参照画像とにおける前記第１対象物の第１部分の像サイズと、
   前記第２基準画像と前記第２参照画像とにおける前記第２対象物の第２部分の像サイズと、
   前記第１および第２対象物のそれぞれの実サイズと、
   に基づいて前記演算処理を行う情報処理装置。
5. 撮像系との空間的な関係を保った状態で対象物を、
   （ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、
   （ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、
   を取得する画像取得部と、
   前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部と、
   を備え、
   前記対象物は、第１および第２対象物を有しており、
   前記基準画像は、前記第１および第２対象物を同時に撮像して得た画像であり、
   前記参照画像は、前記第１および第２対象物を同時に撮像して得た画像であり、
   前記焦点距離取得部は、
   前記基準画像と前記参照画像とにおける前記第１対象物の第１部分の像サイズと、
   前記基準画像と前記参照画像とにおける前記第２対象物の第２部分の像サイズと、
   前記第１対象物と前記第２対象物とのそれぞれの実サイズと、
   に基づいて前記演算処理を行う情報処理装置。
6. 請求項４に記載された情報処理装置であって、
   前記焦点距離取得部は、
   前記第１基準画像と前記第１参照画像とにおける前記第１対象物の第１部分の像サイズと、
   前記第２基準画像と前記第２参照画像とにおける前記第２対象物の第２部分の像サイズと、
   前記第１対象物と前記第２対象物とのそれぞれの実サイズと、
   に基づいて、
   前記基準画像を撮像した撮像装置の撮像光学系の光軸方向における光学中心位置と前記参照画像を撮像した撮像装置の撮像光学系の光軸方向における光学中心位置とのずれ量、
   をさらに取得する情報処理装置。
7. (Ａ)請求項１から請求項５の何れか１つの請求項に記載された情報処理装置と、
   (Ｂ)固定焦点距離の第１の撮像光学系を備えた第１の撮像装置と、可変焦点距離の第２の撮像光学系を備えた第２の撮像装置とを備えたステレオカメラと、
   を備えた情報処理システムであって、
   前記画像取得部は、
   前記第１の撮像装置による撮像に基づいて前記基準画像を取得するとともに、
   前記第２の撮像装置による撮像に基づいて前記参照画像を取得する情報処理システム。
8. (Ａ)請求項１から請求項５の何れか１つの請求項に記載された情報処理装置と、
   (Ｂ)固定焦点距離の第１の撮像光学系を備えた第１の撮像装置と、可変焦点距離の第２の撮像光学系を備えた第２の撮像装置とを備えたステレオカメラと、
   を備えた情報処理システムであって、
   前記画像取得部は、前記第２の撮像装置から前記基準画像と前記参照画像とを取得する情報処理システム。
9. 請求項７に記載された情報処理システムであって、
   前記第１の撮像光学系の光軸である第１の光軸と、前記第２の撮像光学系の光軸である第２の光軸とが平行である情報処理システム。
10. 請求項９に記載された情報処理システムであって、
    前記情報処理装置は、請求項１から請求項５の何れか１つの請求項に記載された情報処理装置であり、
    前記第１の光軸方向における前記第１の撮像光学系の光学中心の位置と、
    前記第２の光軸方向における前記第２の撮像光学系の光学中心の位置と、
    が互いに等しい情報処理システム。
11. 請求項８に記載された情報処理システムであって、
    前記情報処理装置は、請求項１から請求項５の何れか１つの請求項に記載された情報処理装置であり、
    前記基準画像と前記参照画像とを撮像した際における、前記第２の撮像光学系の光軸方向における光学中心の位置が互いに等しい情報処理システム。
12. 請求項７または請求項８に記載された情報処理システムであって、
    前記ステレオカメラによって撮像された被写体のステレオ画像から前記被写体の三次元形状を求めるための三次元化パラメータが、
    前記第１の撮像装置についての第１カメラパラメータと、
    前記第２の撮像装置についての第２カメラパラメータと、
    を含み、
    前記第２カメラパラメータを前記参照焦点距離に基づいて取得するパラメータ取得部をさらに備えた情報処理システム。
13. 請求項１２に記載された情報処理システムであって、
    前記第２カメラパラメータが、歪曲収差補正係数、像中心位置、焦点距離、Ｓｋｅｗ、および光学中心の位置ずれ量のうち少なくとも１つを含む情報処理システム。
14. 請求項１２に記載された情報処理システムであって、
    前記パラメータ取得部は、
    前記第２カメラパラメータと前記第２の撮像光学系の焦点距離との対応関係を表現したパラメータ対応情報と、
    前記参照焦点距離と、
    に基づいて、前記第２カメラパラメータを取得する情報処理システム。
15. 請求項７または請求項８に記載された情報処理システムであって、
    前記焦点距離取得部は、
    前記第２の撮像装置における駆動制御値と焦点距離との対応関係を表現した駆動制御値対応情報を、前記演算処理によって決定された前記参照焦点距離に基づいて更新する情報処理システム。
16. 情報処理装置に搭載されたコンピュータにおいて実行されることにより、当該情報処理装置を請求項１から請求項６のいずれか１つの請求項に記載の情報処理装置として機能させることを特徴とするプログラム。

Images