WO2012165491A1

WO2012165491A1 - ステレオカメラ装置、および、コンピュータ読み取り可能な記録媒体

Info

Publication number: WO2012165491A1
Application number: PCT/JP2012/063964
Authority: WO
Inventors: 一馬原口; 伸裕見市; 智治中原
Original assignee: パナソニック株式会社
Priority date: 2011-05-30
Filing date: 2012-05-30
Publication date: 2012-12-06
Also published as: CN103582802A; US20140043444A1; EP2717013A1; JP2012247364A; EP2717013A4

Abstract

　ステレオカメラ装置は、一対のカメラと、カメラの撮像画像を第１変換画像に変換する第１変換部と、撮像画像を第２変換画像に変換する第２変換部と、視差推定部とを備える。第１変換画像は、カメラの光学中心同士を結ぶ直線で定義される第１軸の周りの第１角度とカメラの光軸で定義される第２軸の周りの第２角度とで画素の位置が定義される二次元直交座標で表される画像である。第２変換画像は、第１角度と第３軸の周りの第３角度とで画素の位置が定義される二次元直交座標で表される画像である。第３軸は、第１軸と第２軸にそれぞれ直交する。視差推定部は、第１変換画像と第２変換画像とに基づいて、空間内の着目点に関する視差を求める。

Description

ステレオカメラ装置、および、コンピュータ読み取り可能な記録媒体

　本発明は、ステレオカメラ装置およびコンピュータ読み取り可能な記録媒体に関し、特に、複数台のカメラで撮像した画像を用いて三角測量の原理により空間の３次元情報を取得するステレオカメラ装置およびコンピュータを用いてステレオカメラ装置を構成するプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。

　従来から、空間の３次元情報を取得する技術としてステレオビジョンが知られている。ステレオビジョンは、複数台のカメラを用いて実空間を撮像した画像に、三角測量の原理を適用することにより、３次元の実空間における着目する部位までの距離を計測する技術である。すなわち、ステレオビジョンでは、視野の少なくとも一部が重複するように配置された複数台のカメラを用いて３次元の実空間が撮像される。そして、実空間において着目する部位の像が各カメラの撮像素子上に形成されている場合、実空間における光学中心から着目する部位への方向と、カメラ同士の相対位置、姿勢とを用いて三角測量の原理により、実空間において着目する部位までの距離が計測される。

　ここで、２台のカメラで撮像した画像（以下、「撮像画像」という）に注目する。２枚の撮像画像から着目する部位までの距離を計測するには、２台のカメラの光学中心を結ぶ線分の長さ（以下、「ベースライン長」という）と、２枚の撮像画像の中で、実空間において着目する部位に対応する像の位置のずれの距離との情報が必要である。像の位置のずれの距離は、実空間において着目する部位を２台のカメラから見込んだときの視差であって、２枚の撮像画像にそれぞれ規定した基準位置からの距離差を用いる。

　撮像画像から視差を求めるには、撮像画像の中で実空間において着目する部位に対応する像の位置を探し出す必要がある。すなわち、２台のカメラで撮像された２枚の撮像画像において同部位に対応する対応点を特定する必要がある。２枚の撮像画像から対応点を探索する処理をステレオマッチングと呼んでいる。ステレオマッチングにおいて撮像画像上で対応点を探索する範囲は、２台のカメラの光学中心と実空間において着目する部位とを結ぶエピポーラ平面を考えると、撮像画像にエピポーラ平面を投影した線上に限定することができる。

　ステレオビジョンでは、多くの場合、２台のカメラが、光軸を平行にし、かつ両カメラの光学中心を結ぶ直線（以下、「ベースライン」という）を両光軸に直交させて配置された平行ステレオ法が採用されている。以下では、ベースラインの方向を各カメラが撮像した撮像画像の水平方向に一致させた平行ステレオ法を、単に平行ステレオ法と呼ぶ。

　ここで、撮像画像にはカメラに設けた光学系（レンズなど）による歪みがないと仮定する。この場合、図１９に示すように、実空間において着目する部位Ｐ１に対応して形成されるエピポーラ平面４０３を各撮像画像（等価画像面）４０１、４０２に投影した線は、撮像画像４０１、４０２の水平方向に平行な直線になる。以下では、撮像画像４０１、４０２について、水平方向をｘ方向、垂直方向をｙ方向とする。つまり、ｘ方向はベースライン４０４と平行になる。したがって、エピポーラ平面４０３を撮像画像４０１、４０２に投影して得られる直線はｘ方向に平行であって、ｙ方向の座標値は一定になる。

　つまり、一方の撮像画像４０１の中に実空間の部位Ｐ１に対応する像Ｇ１があるとき、他方の撮像画像４０２の中で部位Ｐ１に対応する像Ｄ１の探索範囲は、ｙ方向の座標値が像Ｇ１と同じになる水平方向の直線上に限定される。たとえば、図１９において、像Ｇ１は一方のカメラの光学中心Ｏ１と像Ｇ１とを通る直線４０５に対応するから、この直線４０５の上の部位Ｐ１、Ｐ２、Ｐ３などは像Ｇ１に対応する。これに対して、他方のカメラの光学中心Ｏ２と部位Ｐ１、Ｐ２、Ｐ３とを通る直線は、撮像画像４０２における像Ｄ１、Ｄ２、Ｄ３に対応する。ここに、像Ｇ１と像Ｄ１、Ｄ２、Ｄ３とはｙ方向の座標値が一致する。

　上述したように、平行ステレオ法でのステレオマッチングでは、実空間において着目する部位は、各カメラの撮像画像において、垂直方向の同じ位置に対応することになる。つまり、２台のカメラが実空間の同じ部位を撮像していると、撮像画像内で当該部位に対応する画素の位置は、水平方向については撮像画像ごとに異なるが、垂直方向については両撮像画像で一致する。つまり、平行ステレオ法では、両カメラで得られた撮像画像について実空間の同じ部位に対応する点を、撮像画像の水平方向についてのみ探索すればよく、ステレオマッチングの処理効率がよいという利点を有している。

　ところで、上述した平行ステレオ法の技術は、カメラの光学系に歪みがないという仮定を設定している。したがって、上述のようにステレオマッチングにおいて高い処理効率が得られるのは、カメラの光学系の歪みの影響を考慮しなくてもよい程度に視野角が小さいか、光学系に歪みがあっても補正すれば歪みの影響を除去できる場合に限られる。言い換えると、視野角を広げるために魚眼レンズのように歪みの大きい光学系をカメラに用いると、ステレオマッチングにおける処理負荷が大幅に増加するという問題が生じる。

　一般に魚眼レンズのように視野角の広い光学系を用いて撮像した画像は、画像の周辺に近付くほど湾曲の程度が大きくなる湾曲歪みが生じるから、ステレオマッチングの際には画像の湾曲歪みを考慮して対応点を探索することが必要になる。すなわち、対応点を探索する際に、ｘ方向とｙ方向との両方の座標値を変化させるから、対応点を探索する際の処理効率が低い上に、対応付けを誤る可能性が高くなる。その結果、距離の計測を誤ることになり、計測性能の低下につながるという問題が生じる。

　そこで、上述した問題を解決するために、エピポーラ平面が画像内の一直線上に投影されるように撮像画像に対する座標変換を行った変換画像を生成し、変換画像を用いてステレオマッチングを行う技術が提案されている。変換画像は、エピポーラ平面が横軸に平行な直線になるように座標軸が選択される（たとえば、文献１:日本国公開特許公報２００７－２４６４７号、文献２：日本国公開特許公報２００９－１３９２４６号、文献３：Fish-Eye-Stereo Calibration and Epipolar Rectification, Abraham, S. Forstner,W. International Journal of Photogrammetry and Remote Sensing, Vol.59，Issue5， August 2005参照）。

　これらの文献１－３に記載された技術では、視野角の広い画像から視差を効率よく推定するために、図２０に示すように、ベースライン４０４の方向（ｘ方向）の軸周りの角度βを変換画像の垂直方向の軸に対応付けている。このような変換画像を用いると、３次元の実空間における部位Ｐ１が２枚の撮像画像４０１、４０２において同じ角度βに対応付けられるので、平行ステレオ法と同様に、対応点の探索が容易になり、視差を効率よく推定することができる。なお、図２０の半球は光学系を示している。

　一方、変換画像の水平方向の軸については、文献１、文献３では、図２１に示すように、エピポーラ平面４０３内における角度γを用いている。この角度γは、カメラの受光面における垂直方向（ｙ方向）と光軸の方向（ｚ方向）とで規定される平面（ｙｚ平面）に対して、着目する部位Ｐ１とカメラの光学中心Ｏとを結ぶ直線の間の角度である。

　また、文献２では、図２２に示すように、撮像画像の垂直方向（ベースライン４０４の方向と光軸の方向とに直交する方向）の軸周りの角度αの正接ｔａｎαを変換画像の水平方向の軸に用いている。

　ところで、実空間の３次元情報を取得する技術を用いることにより室内の人の動きを検出すると、室内の負荷機器の制御などに用いることができる。たとえば、空調負荷であれば、室内で人が存在する場所を特定することによって、冷気や暖気を人の存在する場所に集中的に流すことが可能になる。また、映像を表示する負荷機器であれば、人の存在する場所に応じて向きを変えたり、表示のサイズを変えたりすることが可能になる。

　負荷機器を制御する場合に限らず、室内の３次元情報を得ようとする場合には、全体を視野とし、しかも人や物体によって視野が妨げられないようにするために、たとえば、カメラの光軸を鉛直下向きにして天井の中央付近に設置することが望ましい。この配置を採用すると、撮像画像の中心部では、床面や床上に存在する物体のように水平方向の情報が多く得られ、撮像画像の周辺部では、壁面や柱のように鉛直方向の情報が多く得られることになる。

　一方、上述した文献１、文献２、文献３に記載された技術を採用すると、視野角の広い光学系を採用したことによる撮像画像の歪みの影響を軽減することが可能である。しかしながら、依然として撮像画像の歪みが十分に解消されることはない。

　たとえば、図２３（ａ）のように光軸（ｚ方向）に平行な直線Ｌ１を撮像すると、変換画像では図２３（ｂ）のように歪んだ曲線Ｌ２として撮像される。図２３は文献１に対応する例であって、変換画像は、角度γが水平方向の軸に対応付け、角度βが垂直方向の軸に対応付けられている。したがって、文献１に記載された技術では、直線Ｌ１がβ＝γの関係を満たす場合を除いて、変換画像では直線Ｌ１が曲線Ｌ２に変換されることになる。文献２、文献３に記載された変換画像についても同様であって、変換画像には歪みが生じる。

　ここに、図２３（ｂ）によれば、変換画像の中心部は直線性が比較的よいが、周辺部では直線性が低下しており、このことから変換画像の周辺部に存在する壁や柱のような鉛直方向の部材については、対応点を探索する処理の効率が低下することになる。

　しかも、図２４に示すように、２枚の撮像画像からそれぞれ得られる変換画像は、同じ直線Ｌ１（図２３参照）を撮像しても、異なる形状の曲線Ｌ２１、Ｌ２２に変換されるから、２枚の変換画像から対応点を探し出すのは容易ではない。結局、文献１、文献２、文献３の技術のいずれを採用したとしても、対応点を探索する処理は容易ではない。

　本発明は、複数台のカメラで撮像した撮像画像における対応点の探索を従来よりも容易にしたステレオカメラ装置、および、コンピュータ読み取り可能な記録媒体を提供することを目的とする。

　本発明に係る第１の形態のステレオカメラ装置は、ステレオカメラ部と、演算処理部と、を備える。前記ステレオカメラ部は、所定の空間を撮像する一対のカメラを有し、前記一対のカメラでそれぞれ撮像された撮像画像を前記演算処理部に出力するように構成される。前記演算処理部は、第１変換部と、第２変換部と、視差推定部と、を備える。前記第１変換部は、前記一対のカメラのそれぞれに関して、前記カメラで撮像された撮像画像を第１変換画像に変換するように構成される。前記第１変換画像は、画素の位置が、第１軸の周りの第１角度と第２軸の周りの第２角度とで定義される二次元直交座標で表される画像である。前記第２変換部は、前記一対のカメラのそれぞれに関して、前記カメラで撮像された撮像画像を第２変換画像に変換するように構成される。前記第２変換画像は、画素の位置が、前記第１角度と第３軸の周りの第３角度とで定義される二次元直交座標で表される画像である。前記第１軸は、前記一対のカメラの光学中心同士を結ぶ直線で定義される。前記第２軸は、前記カメラの光軸で定義される。前記第３軸は、前記第１軸と前記第２軸とにそれぞれ直交する軸である。前記視差推定部は、前記第１変換部で得られた前記第１変換画像と前記第２変換部で得られた前記第２変換画像とに基づいて、前記空間内の着目点に関する視差を求めるように構成される。

　本発明に係る第２の形態のステレオカメラ装置では、第１の形態において、前記視差推定部は、前記一対のカメラにそれぞれ対応する２つの前記第１変換画像から前記着目点の対応点をそれぞれ求め、前記対応点に基づいて前記着目点に関する第１視差を算出するとともに、２つの前記第１変換画像の前記対応点間の第１一致度を評価するように構成される。前記視差推定部は、前記一対のカメラにそれぞれ対応する２つの前記第２変換画像から前記着目点の対応点をそれぞれ求め、前記対応点に基づいて前記着目点に関する第２視差を算出するとともに、２つの前記第２変換画像の前記対応点間の第２一致度を評価するように構成される。前記視差推定部は、同一の着目点に関して前記第１一致度を前記第２一致度と比較し、前記第１一致度が前記第２一致度より高ければ前記着目点に関する視差として前記第１視差を採用し、前記第１一致度が前記第２一致度より低ければ前記着目点に関する視差として前記第２視差を採用するように構成される。

　本発明に係る第３の形態のステレオカメラ装置では、第２の形態において、前記演算処理部は、さらに、領域評価部を備える。前記領域評価部は、前記第１変換画像の第１画素についての輝度値の変化に関する第１評価値と、前記第１画素に対応する前記第２変換画像の第２画素についての輝度値の変化に関する第２評価値とを求めるように構成される。前記領域評価部は、前記第１評価値と前記第２評価値との差を求めて規定の閾値と比較するように構成される。前記領域評価部は、前記差が前記閾値を超えていれば、前記第１画素の輝度値の変化と前記第２画素の輝度値の変化とを比較するように構成される。前記領域評価部は、前記第１画素の輝度値の変化が前記第２画素の輝度値の変化より大きければ前記第１画素および前記第２画素に関して第１条件を選択するように構成される。前記領域評価部は、前記第１画素の輝度値の変化が前記第２画素の輝度値の変化より小さければ前記第１画素および前記第２画素に関して第２条件を選択するように構成される。前記領域評価部は、前記差が前記閾値以下であれば前記第１画素および前記第２画素に関して第３条件を選択するように構成される。前記視差推定部は、前記第１画素および前記第２画素に関して前記第１条件が選択されると前記第１画素および前記第２画素に関して前記第１変換画像を用いて対応点を求めるように構成される。前記視差推定部は、前記第１画素および前記第２画素に関して前記第２条件が選択されると前記第１画素および前記第２画素に関して前記第２変換画像を用いて対応点を求めるように構成される。前記視差推定部は、前記第１画素および前記第２画素に関して前記第３条件が選択されると前記第１画素および前記第２画素に関して前記第１変換画像および前記第２変換画像を用いて対応点を求めるように構成される。

　本発明に係る第４の形態のステレオカメラ装置は、第２の形態において、前記第１変換部は、予め定められた第１決定条件に従って前記第１変換画像から対応点の抽出に用いられる第１抽出領域を決定し、前記第１抽出領域に含まれる画素について画素値を算出し、前記第１抽出領域に含まれない画素については画素値を算出しないように構成される。前記第２変換部は、予め定められた第２決定条件に従って前記第２変換画像から対応点の抽出に用いられる第２抽出領域を決定し、前記第２抽出領域に含まれる画素について画素値を算出し、前記第２抽出領域に含まれない画素については画素値を算出しないように構成される。

　本発明に係る第５の形態のステレオカメラ装置は、第１～第４のうちいずれか１つの形態において、複数の前記ステレオカメラ部を備える。前記複数の前記ステレオカメラ部は、前記第１軸が互いに交差し、かつ、前記第２軸が互いに平行するように配置される。前記視差推定部は、前記複数の前記ステレオカメラ部毎に前記着目点に関する視差を求めるように構成される。前記演算処理部は、選択処理部を備える。前記選択処理部は、前記視差推定部で求められた視差毎に信頼度を求め、前記視差推定部で求められた視差のうち最も信頼度が高い視差を採用するように構成される。

　本発明に係る第６の形態のステレオカメラ装置では、第５の形態において、前記複数のステレオカメラ部のうちの１つの前記２つのカメラの一方は、他のステレオカメラ部のカメラとして用いられる。

　本発明に係る第７の形態のコンピュータ読み取り可能な記録媒体は、ステレオカメラ部に接続されるコンピュータに用いられるプログラムが記録されたコンピュータ読み取り可能な記録媒体である。前記ステレオカメラ部は、所定の空間を撮像する一対のカメラを有し、前記一対のカメラでそれぞれ撮像された撮像画像を前記演算処理部に出力するように構成される。前記一対のカメラは、互いの光軸が平行し、かつ、それぞれの視野が重複するように配置される。前記プログラムは、第１変換部と、第２変換部と、視差推定部として機能させるように構成される。前記第１変換部は、前記一対のカメラのそれぞれに関して、前記カメラで撮像された撮像画像を第１変換画像に変換するように構成される。前記第１変換画像は、画素の位置が、第１軸の周りの第１角度と第２軸の周りの第２角度とで定義される二次元直交座標で表される画像である。前記第２変換部は、前記一対のカメラのそれぞれに関して、前記カメラで撮像された撮像画像を第２変換画像に変換するように構成される。前記第２変換画像は、画素の位置が、前記第１角度と第３軸の周りの第３角度とで定義される二次元直交座標で表される画像である。前記第１軸は、前記一対のカメラの光学中心同士を結ぶ直線で定義される。前記第２軸は、前記カメラの光軸で定義される。前記第３軸は、前記第１軸と前記第２軸とにそれぞれ直交する軸である。前記視差推定部は、前記第１変換部で得られた前記第１変換画像と前記第２変換部で得られた前記第２変換画像とに基づいて、前記空間内の着目点に関する視差を求めるように構成される。

実施形態１のステレオカメラ装置を示すブロック図である。同上の原理説明図である。同上に用いる座標系の関係を示す図である。同上に用いる座標系の関係を示す図である。同上における撮像画像の例を示す図である。同上における第１変換画像の例を示す図である。同上における第２変換画像の例を示す図である。同上におけるブロックマッチングの説明図である。同上におけるブロックマッチングの説明図である。同上の動作の概要を示す図である。実施形態２のステレオカメラ装置を示すブロック図である。同上の動作説明図である。同上による領域の区分例を示す図である。実施形態３のステレオカメラ装置における領域を示す説明図である。同上の領域を示す説明図である。実施形態４のステレオカメラ装置を示すブロック図である。実施形態５のステレオカメラ装置を示す概略構成図である。同上のブロック図である。ステレオビジョンの概念を説明する図である。従来の技術を説明する図である。同上に用いる座標系を示す図である。同上に用いる座標系を示す図である。同上の動作を説明する図である。同上の動作を説明する図である。

　（実施形態１）
　本実施形態のステレオカメラ装置は、図１に示されるように、一対のカメラ（第１のカメラおよび第２のカメラ）１，２を有するステレオカメラ部１３と、演算処理部１０と、記憶装置１１，１２とを備える。以下、本実施形態のステレオカメラ装置について詳細に説明する。

　本実施形態のステレオカメラ装置は、図１に示すように、３次元の実空間に対する視野がほぼ重複するように配置された２台のカメラ（第１のカメラおよび第２のカメラ）１、２を備える。両カメラ１、２は、光軸を平行、かつ光学中心（撮影中心）を結ぶ直線の方向（ベースライン方向）と光軸を垂直にして配置される。

　カメラ１，２は、互いの光軸が平行するように配置される。また、カメラ１，２は、カメラ１，２の光学中心Ｏ１，Ｏ２同士を結ぶ直線（ベースライン）がカメラ１，２それぞれの光軸と直交するように配置される。さらに、カメラ１，２は、それぞれの視野が重複するように配置される。

　各カメラ１、２は、画角が１８０度に近い魚眼レンズないし魚眼レンズに相当する機能を有した光学系を備える。光学系の射影方式はとくに問わないが、以下では等距離射影方式を用いて説明する。また、２台のカメラ１、２は、ベースライン方向と受光面（画像面）における水平方向とを一致させるように配置される。すなわち、平行ステレオを想定する。

　また、以下では、３次元の実空間において、受光面の水平方向に沿う方向（つまり、ベースライン方向）をｘ方向、受光面の垂直方向に沿う方向をｙ方向とし、受光面に直交する方向をｚ方向とする。なお、受光面の水平方向は受光面を定義する二次元直交座標系の第１の軸の方向を意味し、実空間における水平方向を意味するわけではない。受光面の垂直方向は受光面を定義する二次元直交座標系の第２の軸の方向を意味し、実空間における垂直方向を意味するわけではない。

　各カメラの撮像画像をモニタ装置に表示したときに、水平方向の右向きがｘ方向の正の向き、垂直方向の下向きがｙ方向の正の向きになるように座標系を定めている。ｚ方向についてはカメラの受光面から遠ざかる向きを正の向きとする。すなわち、ｚ方向における正の向きは、カメラの正面方向である。

　カメラ１、２が撮像した撮像画像における画素の位置は、たとえば、受光面（撮像面）の左上隅を原点とした２次元の直交座標系である第１座標系（画像座標系）で表される。第１座標系は、画像（撮像画像）の水平方向がｘ方向に沿っており、画像（撮像画像）の垂直方向がｙ方向に沿うように設定され、撮像画像の画素の位置は、座標（ｕ，ｖ）で表される。なお、撮像画像の水平方向は第１座標系の第１の軸の方向を意味し、実空間における水平方向を意味するわけではない。撮像画像の垂直方向は第１座標系の第２の軸の方向を意味し、実空間における垂直方向を意味するわけではない。

　また、実空間において着目する部位（たとえば、図２の点Ｐ１）を各カメラ１、２から見込む方向を規定するために、上述したｘ方向、ｙ方向、ｚ方向に平行な軸（第１軸、第３軸、第２軸）をカメラ１、２ごとに規定し、カメラ１、２ごとの光学中心を原点とする第２座標系（カメラ座標系）が規定される。

　第２座標系はカメラ１、２ごとに規定され、ｚ方向の軸（第２軸）は光軸に一致する。

　各カメラ１、２に規定された第２座標系の原点（光学中心）Ｏ１、Ｏ２から点（着目点）Ｐ１を見込む方向（視方向）は、３本の各軸周りのそれぞれの角度の組み合わせによって表される。以下では、ｘ方向の軸周りの角度（第１角度）はβ、ｙ方向の軸周りの角度（第３角度）はα、ｚ方向の軸（光軸）周りの角度（第２角度）はφとする。

　すなわち、ｘ方向の軸は、一対のカメラ１，２の光学Ｏ１，Ｏ２中心同士を結ぶ直線で定義される軸（第１軸）である。カメラ１に関して、ｚ方向の軸は、カメラ１の光軸で定義される軸（第２軸）である。カメラ２に関して、ｚ方向の軸は、カメラ２の光軸で定義される軸（第２軸）である。ｙ方向の軸は、第１軸（ｘ方向の軸）と第２軸（ｚ方向の軸）とにそれぞれ直交する軸（第３軸）である。

　各カメラ１、２が撮像した撮像画像のデータは、演算処理部１０に入力される。

　本実施形態では、演算処理部１０が濃淡画像を扱う例を説明するが、カラー画像を扱う場合も以下に説明する技術思想は適用可能である。

　演算処理部１０は、ハードウェア資源としてのコンピュータを有し、コンピュータを以下に説明する処理を行う装置として機能させるためのプログラムを実行する。ただし、演算処理部１０は専用のハードウェアを備える構成であってもよい。また、マイコンを備えるコンピュータのほか、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）のようにプログラムを実行する機能を備えるデバイスを用いて構成してもよい。

　カメラ１と演算処理部１０との間にはインターフェース３が設けられ、カメラ２と演算処理部１０との間にはインターフェース４が設けられる。

　各インターフェース３、４は、カメラ１、２が撮像した撮像画像のデータを、それぞれ演算処理部１０で処理するためのデータに変換する。インターフェース３、４は、たとえば、アナログ信号をデジタル信号に変換する機能を備える。

　演算処理部１０を動作させるためのシステムプログラムおよびアプリケーションプログラムは記憶装置（第１記憶装置）１１に記憶され、演算処理部１０の処理対象である撮像画像データや演算過程のデータは、データメモリおよび作業用メモリである記憶装置（第２記憶装置）１２に記憶される。

　記憶装置１１は、フラッシュメモリやハードディスクドライブ装置のように、無給電で記憶内容が保持される記憶装置が用いられる。また、記憶装置１１は、処理の実行時にシステムプログラムやアプリケーションプログラムを置くための主記憶として揮発性メモリも備える。

　記憶装置１２は、とくに制限はないが、少なくとも一部は作業用に用いるための揮発性メモリが用いられる。

　本実施形態では、２台のカメラ１、２がそれぞれ撮像した撮像画像に基づいて実空間の３次元の情報を取得しなければならないから、演算処理部１０は、２台のカメラ１、２が同時刻に撮像するようにインターフェース３、インターフェース４に対してトリガ信号を与え、同時刻に撮像された対になる撮像画像を記憶装置１２に保存する。

　ところで、カメラ１、２の受光面上での画素の位置は、左上隅を原点として水平方向と垂直方向との画素の個数で表される。画像上に投影された光軸上の点の座標を（ｕｃ，ｖｃ）とすると、（ｕｃ，ｖｃ）と任意の画素（ｕ，ｖ）との距離ｒは、次式（１）で表される。

　また、カメラ１、２は魚眼レンズないし魚眼レンズに相当する機能を有する光学系を備えるから、３次元の実空間における１点がカメラ１、２の光学中心を中心とする半径１の球面上に射影されるモデルを用いることができる。

　カメラ１、２の光学系に歪みのない等距離射影方式の魚眼レンズを用いる場合を想定すると、図３のように実空間の点Ｐの球面ＳＰ上への射影である点Ｑと、カメラ１（２）の光学中心（第２座標系の原点）Ｏ１（Ｏ２）とを結ぶ直線が光学系の光軸（ｚ方向の軸）となす角度θ［ｒａｄ］は、距離ｒを用いて、次式（２）で表される。

　ただし、上式（２）において、距離Ｌ０は、３次元空間におけるＺ＝０上の点の画像ＰＬへ投影した結果の円の半径を示す。点Ｒは点Ｑを画像ＰＬへ投影した画素の位置を示す。

　実空間における１点が撮像画像における位置（ｕ，ｖ）の画素に対応付けられるようにキャリブレーションが行われている場合を想定すると、モデルとして用いる球面上に実空間の１点を射影した点Ｐ１の位置は座標（Ｘ，Ｙ，Ｚ）で表される。Ｘ，Ｙ，Ｚは、それぞれ次式（３），（４），（５）で表される。

　ところで、図４に示しているように、点Ｐ１の位置（Ｘ，Ｙ，Ｚ）は、画素の位置（ｕ，ｖ）に代えてｘ軸、ｙ軸、ｚ軸の３軸のうちの２軸の周りの角度の組み合わせとして表すことが可能である。上述したように、ｘ軸周りの角度（ｙｚ平面内での角度）をβ、ｙ軸周りの角度（ｚｘ平面内での角度）をα、ｚ軸周りの角度（ｘｙ平面内での角度）をφとする。角度α、βはｚ軸を０度とし、角度φはｙ軸を０度とし、左回りに大きくなる。画素の位置（ｕ，ｖ）に代えて用いる角度の組み合わせは、（φ，β）と（α，β）との２種類を用いる。角度α，β，φへの変換式は、上式（３），（４），（５）の計算結果を用いてそれぞれ次式（６），（７），（８）で表される。

　演算処理部１０は、２台のカメラ１、２がそれぞれ撮像した撮像画像内での画素の位置（ｕ，ｖ）を、上述した３次元の実空間における角度の組（φ，β）、（α，β）に変換した画像を生成するために第１変換部１０１および第２変換部１０２を備える。

　第１変換部１０１は、ｚ軸（光軸）周りの角度（第２角度）φと、ｘ軸周りの角度（第１角度）βとの組（φ，β）で位置が表される画像（以下、「第１変換画像」という）を出力する。第１変換部１０１は、一対のカメラ１，２のそれぞれに関して、カメラで撮像された撮像画像を第１変換画像に変換するように構成される。すなわち、第１変換部１０１は、第１のカメラ１で撮像された撮像画像を第１変換画像に変換するとともに、第２のカメラ２で撮像された撮像画像を第１変換画像に変換する。本実施形態では、第１変換部１０１は、２枚の第１変換画像を生成する。

　また、第２変換部１０２は、ｙ軸周りの角度（第３角度）αと、ｘ軸周りの角度（第１角度）βとの組（α，β）で位置が表される画像（以下、「第２変換画像」という）を出力する。第２変換部１０２は、一対のカメラ１，２のそれぞれに関して、カメラで撮像された撮像画像を第２変換画像に変換するように構成される。すなわち、第２変換部１０２は、第１のカメラ１で撮像された撮像画像を第２変換画像に変換するとともに、第２のカメラ２で撮像された撮像画像を第２変換画像に変換する。本実施形態では、第２変換部１０２は、２枚の第２変換画像を生成する。

　なお、第１変換部１０１において角度（第１角度）βを求めているから、第１変換部１０１による演算後に第２変換部１０２による演算を行う場合は、第２変換部１０２は第１変換部１０１から角度βを取得すればよい。

　第１変換画像の画素値および第２変換画像の画素値は、カメラ１、２の受光面上で、第１変換部１０１において求めた位置（座標）（φ，β）および第２変換部１０２において求めた位置（座標）（α，β）に対応する位置に位置する画素の画素値を用いる。

　すなわち、第１変換部１０１は、第１変換画像の画素の位置（座標）（φ，β）から撮像画像の画素の位置（座標）（ｕ，ｖ）を求め、当該位置（ｕ，ｖ）に位置する撮像画像の画素の画素値を位置（φ，β）に対応付けた第１変換画像を生成する。

　また、第２変換部１０２は、第２変換画像の画素の位置（座標）（α，β）から撮像画像の画素の位置（座標）（ｕ，ｖ）を求め、当該位置（ｕ，ｖ）に位置する撮像画僧の画素の画素値を位置（α，β）に対応付けた第２変換画像を生成する。

　第１変換画像および第２変換画像を求めるには、すべての位置（φ，β）、（α，β）について画素値を求める処理を行う。

　図５のような撮像画像が得られている場合、第１変換画像は図６のようになり、第２変換画像は図７のようになる。

　図５は室内において天井面の中央部にカメラ１、２を配置することによって、室内の全体を撮像した場合の撮像画像を示している。

　カメラ１、２をこのように設置した場合、第１変換画像は、図６のように、縦方向（β方向）の両端部において鉛直方向に沿った壁面や柱などについて他の領域よりも歪みが少なくなる。

　また、第２変換画像は、図７のように、中央部において水平面に沿った床面や机の上面などについて他の領域よりも歪みが少なくなる。

　ところで、第１変換部１０１および第２変換部１０２が求めた位置（φ，β）、（α，β）から画素の位置（ｕ，ｖ）を求めても、多くの場合、１つの画素には対応しない。

　そのため、第１変換画像および第２変換画像の画素値を求めるには補間演算が必要である。補間演算には、バイリニア補間や最近傍法などの一般的なアルゴリズムを用いる。

　ここに、記憶装置１２には濃淡画像が保存されるから、位置（ｕ，ｖ）の画素値は輝度値であって、第１変換画像および第２変換画像の画素値も輝度値になる。

　第１変換部１０１から出力される第１変換画像および第２変換部１０２から出力される第２変換画像は、記憶装置１２に保存される。

　演算処理部１０は、記憶装置１２に保存された第１変換画像および第２変換画像を用いて、カメラ１、２の視差を推定する視差推定部１０３を備える。

　視差推定部１０３は、各カメラ１、２で撮像した撮像画像から得られた第１変換画像から視差（第１視差）を推定し、また第２変換画像から視差（第２視差）を推定する。さらに、２種類の方法で求めた視差を総合して最終的に視差を決定し、実空間の３次元情報の算出に利用する。

　視差推定部１０３は、２台のカメラ１、２で得られた２枚の第１変換画像から画素ごとの視差を推定し、推定した視差値を画素値に持つ１枚の画像（以下、「第１視差画像」という）を生成する。また、視差推定部１０３は、画素ごとの一致度を推定し、推定した一致度を画素値に持つ１枚の画像（以下、「第１一致度画像」という）を生成する。

　同様にして、視差推定部１０３は、２枚の第２変換画像から画素ごとの視差および一致度を推定し、推定した視差値を画素値に持つ１枚の画像（以下、「第２視差画像」）および推定した一致度を画素値に持つ１枚の画像（以下、「第２一致度画像」という）を生成する。

　視差推定部１０３は、視差の決定には、第１視差画像と第２視差画像とを用いる。

　第１変換画像は、画像の垂直方向の軸がｘ軸周りの角度（第１角度）βに対応し、画像の水平方向の軸がｚ軸（光軸）周りの角度（第２角度）φに対応する。平行ステレオであるから、図２に示すように、実空間における同一の点（着目点）を２台のカメラ１、２で撮像したときに、第１変換画像における角度βの値は等しくなる。したがって、２枚の第１変換画像から対応点を推定するには、同じ角度βを有する範囲内のみを探索すればよい。

　このように、視差推定部１０３は、第１変換画像を用いることにより、対応点を推定するにあたって、探索範囲を狭めることができる。

　視差推定部１０３は、対応点か否かを評価するために、ブロックマッチングの技術を採用している。すなわち、図８（ａ）のように、一方の第１変換画像（たとえば、第１のカメラ１に対応する第１変換画像）において対応点の評価を行おうとする部位の周囲に複数画素を含むウインドウＷ１が形成される。ウインドウＷ１は、対応点の評価を行おうとする画素の周囲で矩形領域として設定するのが望ましい。

　また、図８（ｂ）のように、他方の第１変換画像（たとえば、第２のカメラ２に対応する第１変換画像）には、ウインドウＷ１に対応する大きさの走査領域Ｗ２が形成され、走査領域Ｗ２が横軸（角度φの軸）に沿って走査される。

　上述したように、対応点の角度βは２枚の第１変換画像において等しいから、角度φのみを変化させて対応点が探索される。

　ここで、ウインドウＷ１の中心位置が（φＬ，βＬ）にあり、走査領域Ｗ２の中心位置が（φＲ，βＲ）にある場合に、ウインドウＷ１内の画素の相対位置（ｊ，ｉ）に対応する走査領域Ｗ２の画素の位置（ｊ，ｉ）について、画素値（輝度値）Ｉ１（φＬ＋ｊ，βＬ＋ｉ）、Ｉ２（φＲ＋ｊ，βＲ＋ｉ）の差分（絶対値）の総和であるＳＡＤ値Ｖｓを求める。

　ただし、平行ステレオ法であるからβＬ＝βＲとなる。それぞれのウインドウ中心の相対位置を（０，０）とすると、ＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）値Ｖｓは次式（９）で表される。ここで、ウインドウＷ１と走査領域Ｗ２との大きさは等しく（２ｍ＋１，２ｎ＋１）（ｍ、ｎは０以上の任意の整数）となっているとする。

　走査領域Ｗ２を第１変換画像の横軸に沿って変位させると、図９に示すように、ＳＡＤ値Ｖｓが変化する。そして、走査領域Ｗ２に含まれる画素の画素値とウインドウＷ１に含まれる画素の画素値との一致度が高い位置では、ＳＡＤ値Ｖｓは極小になる。

　そこで、視差推定部１０３は、ＳＡＤ値Ｖｓが規定した閾値以下であって、かつ探索範囲内において最小値であるときに、対応点として決定する。なお、ＳＡＤ値Ｖｓが最小値であるにもかかわらず、閾値以下ではない場合は、対応点を不定として扱う。

　たとえば、ウインドウＷ１の中心位置が（φＬ１，βＬ１）である場合に、走査領域Ｗ２の中心位置が（φＲ１，βＲ１）であるときにＳＡＤ値Ｖｓが規定した閾値以下であって、かつ探索範囲内において最小値であったとする。

　この場合、第２のカメラ２に対応する第１変換画像の画素（φＲ１，βＲ１）が、第１のカメラ１に対応する第１変換画像の画素（φＬ１，βＬ１）の対応点として決定される。

　逆に言えば、第１のカメラ１に対応する第１変換画像の画素（φＬ１，βＬ１）が、第２のカメラ２に対応する第１変換画像の画素（φＲ１，βＲ１）の対応点として決定される。

　すなわち、本実施形態では、視差推定部１０３は、第１のカメラ１に対応する第１変換画像の任意の画素を着目点Ｐ１の対応点として選択する。視差推定部１０３は、選択された画素に対応する着目点Ｐ１の対応点を第２のカメラ２に対応する第１変換画像から探索する。

　このようにして、視差推定部１０３は、２つの第１変換画像のそれぞれについて、着目点Ｐ１の対応点を決定する。

　視差推定部１０３は、第１変換画像を用いて対応点が得られると、２枚の第１変換画像における対応点の座標位置を用いることにより点（着目点）Ｐ１に対する２台のカメラ１、２の視差（第１視差）を求める。

　視差が求められると、視差推定部１０３は、視差を画素値に持つ第１視差画像を生成する。

　さらに、視差推定部１０３は、第１変換画像を用いて得られた対応点ごとに次式（１０）で表される一致度Ｄｓを求める。すなわち、視差推定部１０３は、２つの第１変換画像の対応点同士の一致度Ｄｓを求める。

　第１変換画像において対応点が得られたすべての画素に関して一致度Ｄｓを求め、一致度Ｄｓを画素値に持つ第１一致度画像を生成する。

　視差推定部１０３は、第１変換画像と同様に、第２変換画像からもＳＡＤ値Ｖｓを用いて対応点を求める。第２変換画像についても対応点ごとに視差を求めて第２視差画像を生成し、さらに、対応点ごとに一致度Ｄｓを求め、一致度Ｄｓを画素値に持つ第２一致度画像を生成する。

　すなわち、視差推定部１０３は、２つの第２変換画像のそれぞれについて、着目点の対応点を決定する。視差推定部１０３は、第２変換画像を用いて対応点が得られると、２枚の第２変換画像における対応点の座標位置を用いることにより点（着目点）Ｐ１に対する２台のカメラ１、２の視差（第２視差）を求める。視差が求められると、視差推定部１０３は、視差を画素値に持つ第１視差画像を生成する。

　さらに、視差推定部１０３は、第２変換画像を用いて得られた対応点ごとに上式（１０）で表される一致度Ｄｓを求める。すなわち、視差推定部１０３は、２つの第２変換画像の対応点同士の一致度Ｄｓを求める。

　第１視差画像および第１一致度画像と第２視差画像および第２一致度画像は記憶装置１２に保存される。

　次に、視差推定部１０３は、第１視差画像と第２視差画像とを用いて視差を決定する。視差を決定するには、まず、視差推定部１０３は、第１視差画像の各画素に対応する第２視差画像の画素を抽出し、両方の画素が画素値（視差）を有しているか否かを判断する。

　視差推定部１０３は、第１視差画像の画素に対応する第２視差画像の画素は、以下の関係を用いて抽出する。第１視差画像における画素の位置を（φ１，β１）とするとき、第２視差画像において対応する画素の位置（α２，β２）とする。このときα２，β２はそれぞれ次式（１１），（１２）で表される。

　視差推定部１０３は、第１視差画像と第２視差画像とにおいて対応する画素がともに画素値を有している場合は、両方の画素値について第１一致度画像および第２一致度画像を用いることにより画素値の信頼度を評価する。

　いま、第１視差画像における位置（φ１，β１）と第２視差画像における位置（α２，β２）との両方に画素値（視差）が存在していると仮定する。この場合、視差推定部１０３は、第１一致度画像上の位置（φ１，β１）の画素値（一致度）と、第２一致度画像上の位置（α２，β２）の画素値（一致度）とのうち一致度を比較する。

　視差推定部１０３は、第１一致度画像の一致度が第２一致度画像の一致度よりも大きい場合は、第１視差画像における位置（φ１，β１）の画素値を視差として採用し、第２視差画像における位置（α２，β２）の画素値は不定値として更新する。

　同様にして、視差推定部１０３は、第２一致度画像の一致度が第１一致度画像の一致度よりも大きい場合は、第２視差画像における位置（α２，β２）の画素値を視差として採用し、第１視差画像における位置（φ１，β１）の画素値は不定値として更新する。

　視差推定部１０３は、一致度が等しい場合は、第１視差画像の位置（φ１，β１）と第２視差画像の位置（α２，β２）との画素値の平均値あるいは一方を視差として採用する。

　また、視差推定部１０３は、第１視差画像の位置（φ１，β１）と第２視差画像の位置（α２，β２）との一方のみが画素値（視差）を有している場合には、当該画素値を視差として採用する。

　視差推定部１０３は、第１視差画像と第２視差画像との対応する画素において画素値（視差）がともに存在しない場合は、当該位置の視差は不定とする。

　以上説明した処理を行うことによって、第１視差画像と第２視差画像とにおいて画素ごとに信頼性（すなわち一致度）が高いほうの画素値（視差）が抽出されるから、抽出された画素値を用いて実空間における３次元の位置を求めると、信頼性の高い３次元情報が得られる。

　本実施形態のステレオカメラ装置の動作の概要をまとめると図１０のように表される。すなわち、左右のカメラ１、２により撮像した２枚の撮像画像から、２枚の第１変換画像（βとφとで表される画像）と、２枚の第２変換画像（βとαとで表される画像）とが生成される。次に、２枚の第１変換画像から視差画像（第１視差画像）が求められるとともに、２枚の第２変換画像から視差画像（第２視差画像）が求められる。このようにして求めた２枚の視差画像を統合することにより、１枚の視差画像が得られるのである。

　以上述べた本実施形態のステレオカメラ装置は、光軸を平行にして配置され視野の少なくとも一部が重複する複数台のカメラ１，２と、カメラ１，２がそれぞれ撮像した複数枚の撮像画像から視野内の各部位（着目点）Ｐ１の３次元情報を求めるために当該部位（着目点）Ｐ１に対する視差を求める演算処理部１０とを備える。本実施形態のステレオカメラ装置では、第１座標系と、第２座標系とが用いられる。第１座標系は、撮像画像における画素の位置がカメラ１，２ごとに受光面に規定した２次元の直交座標で表される座標系である。第２座標系は、第１方向と第２方向と第３方向との３軸の回りのそれぞれの角度によって、原点（光学中心）Ｏ１（Ｏ２）から部位（着目点）Ｐ１を見込む方向（すなわち、カメラ１，２の視方向）が表されるようにカメラ１（２）ごとに規定された座標系である。第１方向は、複数台のカメラ１，２から選択される２台のカメラ１，２の光学中心Ｏ１，Ｏ２を結ぶ方向である。第２方向は、カメラ１（２）ごとの光軸の方向である。第３方向は、第１方向および第２方向に直交する方向である。演算処理部１０は、第１変換部１０１と、第２変換部１０２と、視差推定部１０３と、を備える。第１変換部１０１は、撮像画像を第１方向の軸周りの角度βを垂直方向の位置とし第２方向の軸周りの角度φを水平方向の位置として表される第１変換画像に変換するように構成される。第２変換部１０２は、撮像画像を第１方向の軸周りの角度βを垂直方向の位置とし第３方向の軸周りの角度αを水平方向の位置として表される第２変換画像に変換するように構成される。視差推定部１０３は、第１変換画像および第２変換画像を用いて２台のカメラ１，２の視野における部位（着目点）を対応付けることにより部位（着目点）Ｐ１に対する視差を求めるように構成される。

　換言すれば、本実施形態のステレオカメラ装置は、ステレオカメラ部１３と、演算処理部１０と、を備える。ステレオカメラ部１３は、所定の空間を撮像する一対のカメラ１，２を有し、一対のカメラ１，２でそれぞれ撮像された撮像画像を演算処理部１０に出力するように構成される。演算処理部１０は、第１変換部１０１と、第２変換部１０２と、視差推定部１０３と、を備える。第１変換部１０１は、一対のカメラ１，２のそれぞれに関して、カメラ１（２）で撮像された撮像画像を第１変換画像に変換するように構成される。第１変換画像は、画素の位置が、第１軸の周りの第１角度βと第２軸の周りの第２角度φとで定義される二次元直交座標で表される画像である。第２変換部１０２は、一対のカメラ１，２のそれぞれに関して、カメラ１（２）で撮像された撮像画像を第２変換画像に変換するように構成される。第２変換画像は、画素の位置が、第１軸の周りの第１角度βと第３軸の周りの第３角度αとで定義される二次元直交座標で表される画像である。第１軸は、一対のカメラ１，２の光学中心Ｏ１，Ｏ２同士を結ぶ直線で定義される。第２軸は、カメラ１（２）の光軸で定義される。第３軸は、第１軸と第２軸とにそれぞれ直交する軸である。視差推定部１０３は、第１変換部１０１で得られた第１変換画像と第２変換部１０２で得られた第２変換画像とに基づいて、空間内の着目点Ｐ１に関する視差を求めるように構成される。

　以上述べた本実施形態のステレオカメラ装置によれば、カメラ１，２を用いて撮像された画像について、光軸に平行な直線に歪みが生じないように座標変換を行った変換画像（第１変換画像および第２変換画像）を用いるので、２台のカメラ１，２で撮像した画像の対応付けが容易になるという効果がある。

　また、本実施形態のステレオカメラ装置では、視差推定部１０３は、２台のカメラ１，２ごとに撮像した撮像画像からそれぞれ生成される２枚の第１変換画像における対応点を抽出することにより部位Ｐ１に対する視差を求めるとともに当該対応点の一致度を評価し、カメラ１，２ごとに撮像した撮像画像を用いてそれぞれ生成される２枚の第２変換画像における対応点を抽出することにより部位Ｐ１に対する視差を求めるとともに当該対応点の一致度を評価し、第１変換画像と第２変換画像との画素ごとに求めた視差のうち部位Ｐ１が同じである画素については、一致度が高いほうの視差を部位Ｐ１の視差として採用する。

　換言すれば、視差推定部１０３は、一対のカメラ１，２にそれぞれ対応する２つの第１変換画像から着目点Ｐ１の対応点をそれぞれ求め、対応点に基づいて着目点Ｐ１に関する視差（第１視差）を算出するとともに、２つの第１変換画像の対応点間の一致度（第１一致度）Ｄｓを評価するように構成される。視差推定部１０３は、一対のカメラ１，２にそれぞれ対応する２つの第２変換画像から着目点Ｐ１の対応点をそれぞれ求め、対応点に基づいて着目点Ｐ１に関する視差（第２視差）を算出するとともに、２つの第２変換画像の対応点間の一致度（第２一致度）Ｄｓを評価するように構成される。視差推定部１０３は、同一の着目点Ｐ１に関して第１一致度Ｄｓを第２一致度Ｄｓと比較し、第１一致度Ｄｓが第２一致度Ｄｓより高ければ着目点Ｐ１に関する視差として第１視差を採用し、第１一致度Ｄｓが第２一致度Ｄｓより低ければ着目点に関する視差として第２視差を採用するように構成される。

　なお、本実施形態では、ブロックマッチングの技術を採用しているが、第１視差画像と第２視差画像との画素値を求める技術は、ブロックマッチングの技術に限定されず、ステレオマッチングにおいて用いられる他の技術を採用してもよい。

　また、本実施形態のステレオカメラ装置は、さらに、距離測定部（図示せず）を備えていてもよい。距離測定部は、視差推定部１０３で求められた視差を用いて着目点Ｐ１までの距離を求めるように構成される。距離測定部は、複数の着目点Ｐ１までの距離を求めることで、距離画像を作成するように構成されていてもよい。

　上述したように、本実施形態は、第１変換画像の水平方向の位置をカメラ１、２ごとの光軸周りの角度（第２角度）φで表しているので、第１変換画像では、光軸に平行な直線を歪みなく対応付けることができる。そのため、第１変換画像を用いることによって、光軸に平行な面に対するステレオマッチングを容易に行うことができる。さらに、第１変換画像に加えて第２変換画像からも視差を求め、一致度を用いて第１変換画像と第２変換画像の視差の精度を評価することで、従来よりも高い精度で視差を推定することが可能になる。

　上記のコンピュータを動作させるプログラムは、光軸を平行にして配置され視野の少なくとも一部が重複する複数台のカメラ１，２と、カメラ１，２がそれぞれ撮像した複数枚の撮像画像から視野内の各部位（着目点）Ｐ１の３次元情報を求めるために当該部位（着目点）Ｐ１に対する視差を求めるステレオカメラ装置に用いられる。このステレオカメラ装置では、第１座標系と、第２座標系とが用いられる。第１座標系は、撮像画像における画素の位置がカメラ１，２ごとに受光面に規定した２次元の直交座標で表される座標系である。第２座標系は、第１方向と第２方向と第３方向との３軸の回りのそれぞれの角度によって、原点（光学中心）Ｏ１（Ｏ２）から部位（着目点）Ｐ１を見込む方向（すなわち、カメラ１，２の視方向）が表されるようにカメラ１（２）ごとに規定された座標系である。第１方向は、複数台のカメラ１，２から選択される２台のカメラ１，２の光学中心Ｏ１，Ｏ２を結ぶ方向である。第２方向は、カメラ１（２）ごとの光軸の方向である。第３方向は、第１方向および第２方向に直交する方向である。このプログラムは、コンピュータを、第１変換部１０１と、第２変換部１０２と、視差推定部１０３と、を備える演算処理部１０として機能させる。第１変換部１０１は、撮像画像を第１方向の軸周りの角度βを垂直方向の位置とし第２方向の軸周りの角度φを水平方向の位置として表される第１変換画像に変換するように構成される。第２変換部１０２は、撮像画像を第１方向の軸周りの角度βを垂直方向の位置とし第３方向の軸周りの角度αを水平方向の位置として表される第２変換画像に変換するように構成される。視差推定部１０３は、第１変換画像および第２変換画像を用いて２台のカメラ１，２の視野における部位（着目点）を対応付けることにより部位（着目点）Ｐ１に対する視差を求めるように構成される。

　なお、このプログラムは、コンピュータ読み取り可能な記録媒体に記録されていてもよい。このコンピュータ読み取り可能な記録媒体は、ステレオカメラ部に接続されるコンピュータに用いられるプログラムが記録されたコンピュータ読み取り可能な記録媒体である。ステレオカメラ部１３は、所定の空間を撮像する一対のカメラ１，２を有し、一対のカメラ１，２でそれぞれ撮像された撮像画像を演算処理部１０に出力するように構成される。一対のカメラ１，２は、互いの光軸が平行し、かつ、それぞれの視野が重複するように配置される。プログラムは、コンピュータを、第１変換部１０１と、第２変換部１０２と、視差推定部１０３として機能させるように構成される。第１変換部１０１は、一対のカメラ１，２のそれぞれに関して、カメラ１（２）で撮像された撮像画像を第１変換画像に変換するように構成される。第１変換画像は、画素の位置が、第１軸の周りの第１角度βと第２軸の周りの第２角度φとで定義される二次元直交座標で表される画像である。第２変換部１０２は、一対のカメラ１，２のそれぞれに関して、カメラ１（２）で撮像された撮像画像を第２変換画像に変換するように構成される。第２変換画像は、画素の位置が、第１軸の周りの第１角度βと第３軸の周りの第３角度αとで定義される二次元直交座標で表される画像である。第１軸は、一対のカメラ１，２の光学中心Ｏ１，Ｏ２同士を結ぶ直線で定義される。第２軸は、カメラ１（２）の光軸で定義される。第３軸は、第１軸と第２軸とにそれぞれ直交する軸である。視差推定部１０３は、第１変換部１０１で得られた第１変換画像と第２変換部１０２で得られた第２変換画像とに基づいて、空間内の着目点Ｐ１に関する視差を求めるように構成される。

　（実施形態２）
　実施形態１では、視差推定部１０３が、ブロックマッチングの技術を用いることにより対応点を探索している。また、対応点の探索を、第１変換画像と第２変換画像とについてそれぞれ行っている。以下では第１変換画像と第２変換画像とを区別しない場合は、単に変換画像という。

　ブロックマッチングでは、図８のように、対応点を探索しようとする一方の変換画像にウインドウＷ１が設定されるとともに、他方の変換画像に走査領域Ｗ２が設定される。さらに、前記他方の変換画像において走査領域Ｗ２が横軸に沿って走査され、上述した式（９）で定義されたＳＡＤ値Ｖｓが極小になったときの走査領域Ｗ２の位置が対応点として求められる。

　ところで、ブロックマッチングを行う際に、変換画像において走査領域Ｗ２の位置が変化してもＳＡＤ値Ｖｓに変化がほとんど生じなければ、対応点を求めることができない。このような事象は、変換画像の横方向において、輝度値の分布に変化が少ない場合に生じる。たとえば、変換画像において横方向に沿った帯状の領域が存在し、当該領域の輝度が横方向では変化しないような場合には対応点を求めることができない。

　実施形態１において説明したように、第１変換画像では縦方向の両端部においてカメラの光軸に平行な方向の歪みが少なく、第２変換画像では中央部においてカメラの光軸に直交する平面内の歪みが少ないという知見が得られている。

　対応点の探索は、歪みが少ないほうが容易であり、また信頼性も高いと考えられる。したがって、対応点を探索する画素ごとに、第１変換画像の画素が適している場合と第２変換画像の画素が適している場合とがあると言える。

　本実施形態では、視差推定部１０３において対応点を探索する前に、第１変換画像と第２変換画像とのどちらが対応点を求めるのに適しているかを評価するために、図１１に示すように、領域評価部１０４を付加している。すなわち、本実施形態では、演算処理部１０は、さらに、領域評価部１０４を備える。

　領域評価部１０４は、第１変換画像と第２変換画像とについて、横方向の輝度値の変化が比較的大きい領域か否かの評価を行う。

　視差推定部１０３は、領域評価部１０４の評価結果を用いて、第１変換画像と第２変換画像との少なくとも一方を対応点の探索に用いる。

　視差推定部１０３の前置処理として領域評価部１０４で評価を行い、対応点を求める対象を絞り込むから、無駄な処理が低減されることになり、演算量が低減されるとともに、ステレオマッチングの信頼性が高くなる。

　領域評価部１０４は、同じ撮像画像から得られる変換画像（第１変換画像および第２変換画像）における横方向の輝度値の変化を評価するために、次式（１３）で定義されたエッジ強度Ｅ１を第１変換画像の画素（φ，β）の評価値として用いる。また、次式（１４）で定義されたエッジ強度Ｅ２を第２変換画像の画素（α，β）の評価値として用いる。エッジ強度Ｅ１は第１変換画像から求められ、エッジ強度Ｅ２は第２変換画像から求められる。

　なお、Ｉ１（φ，β）は第１変換画像の位置（φ，β）における輝度値（画素値）であり、Ｉ２は第２変換画像の位置（α，β）における輝度値（画素値）である。すなわち、領域評価部１０４は、第１変換画像の画素（第１画素）（φ，β）についての輝度値の変化に関する第１評価値（エッジ強度）Ｅ１と、第１画素（φ，β）に対応する第２変換画像の画素（第２画素）（α，β）についての輝度値の変化に関する第２評価値（エッジ強度）Ｅ２とを求める。

　領域評価部１０４は、図１２に示すように、第１変換画像または第２変換画像の全画素について以下の評価を行うことにより、視差推定部１０３において、第１変換画像と第２変換画像とのどちらを用いて対応点を探索するかを画素ごとに決定する。

　図１２に示す動作では、領域評価部１０４は、第１変換画像の画素（φ，β）に着目してエッジ強度Ｅ１を求め、当該画素（φ，β）に対応する第２変換画像の画素（α，β）に着目してエッジ強度Ｅ２を求めている。なお、第１変換画像の画素に対応する第２変換画像の画素とは、第１変換画像の画素と同じ撮像画像の画素に由来する第２変換画像の画素を意味する。たとえば、第１変換画像の画素（φ１，β１）と第２変換画像の画素（α２，β２）が同じ撮像画像の画素（ｕ０，ｖ０）に由来していれば、第１変換画像の画素（φ１，β１）と第２変換画像の画素（α２，β２）とは互いに対応する画素である。すなわち、第１変換画像と第２変換画像との着目する画素に対して、それぞれ横方向で前後に並ぶ画素の輝度値からエッジ強度Ｅ１、Ｅ２が求められる。

　次に、第１変換画像から求めたエッジ強度Ｅ１と第２変換画像から求めたエッジ強度Ｅ２との差の絶対値が規定の閾値Ｔ１と比較される（Ｓ１１）。すなわち、領域評価部１０４は、第１評価値Ｅ１と第２評価値Ｅ２との差｜Ｅ１－Ｅ２｜を求め、差｜Ｅ１－Ｅ２｜を閾値Ｔ１と比較する。

　エッジ強度Ｅ１、Ｅ２の差の絶対値が閾値Ｔ１以下であるときには、第１変換画像と第２変換画像とのどちらから視差を求めても信頼性は同程度と考えられる。

　したがって、エッジ強度Ｅ１、Ｅ２の差の絶対値が閾値Ｔ１以下である場合は（Ｓ１１：ｎｏ）、着目する画素は、対応点を求める際に、第１変換画像と第２変換画像との両方を用いるように定められる（Ｓ１２）。すなわち、領域評価部１０４は、差｜Ｅ１－Ｅ２｜が閾値Ｔ１以下であれば第１画素（φ，β）および第２画素（α，β）に関して第３条件を選択する。視差推定部１０３は、第１画素（φ，β）および第２画素（α，β）に関して第３条件が選択されると第１画素（φ，β）および第２画素（α，β）に関して第１変換画像および第２変換画像を用いて対応点を求める。

　一方、エッジ強度Ｅ１、Ｅ２の差の絶対値が閾値Ｔ１を超える場合は（Ｓ１１：ｙｅｓ）、エッジ強度Ｅ１、Ｅ２の大小が比較される（Ｓ１３）。すなわち、領域評価部１０４は、差｜Ｅ１－Ｅ２｜が閾値Ｔ１を超えていれば、第１画素（φ，β）の輝度値の変化（本実施形態ではエッジ強度Ｅ１）と第２画素（α，β）の輝度値の変化（本実施形態ではエッジ強度Ｅ２）とを比較する。

　エッジ強度Ｅ１、Ｅ２は大きいほうが対応点の探索が容易であると考えられるから、エッジ強度Ｅ１がエッジ強度Ｅ２よりも大きい場合は（Ｓ１３：ｙｅｓ）、着目する画素は、第１変換画像を用いて対応点の探索が行われるように条件が定められる（Ｓ１４）。すなわち、領域評価部１０４は、第１画素（φ，β）の輝度値の変化（エッジ強度Ｅ１）が第２画素（α，β）の輝度値の変化（エッジ強度Ｅ２）より大きければ第１画素（φ，β）および第２画素（α，β）に関して第１条件を選択する。視差推定部１０３は、第１画素（φ，β）および第２画素（α，β）に関して第１条件が選択されると第１画素（φ，β）および第２画素（α，β）に関して第１変換画像を用いて対応点を求める。

　また、エッジ強度Ｅ１がエッジ強度Ｅ２よりも小さい場合は（Ｓ１３：ｎｏ）、着目する画素について、第２変換画像を用いて対応点の探索が行われるように条件が定められる（Ｓ１５）。すなわち、領域評価部１０４は、第１画素（φ，β）の輝度値の変化（エッジ強度Ｅ１）が第２画素（α，β）の輝度値の変化（エッジ強度Ｅ２）より小さければ第１画素（φ，β）および第２画素（α，β）に関して第２条件を選択する。視差推定部１０３は、第１画素（φ，β）および第２画素（α，β）に関して第２条件が選択されると第１画素（φ，β）および第２画素（α，β）に関して第２変換画像を用いて対応点を求める。

　上述した処理は、第１変換画像のすべての画素について行われる（Ｓ１６）。また、領域評価部１０４での評価結果は、演算処理部１０に設けた記憶装置１２を介して視差推定部１０３に引き渡される。

　図１２の手順で対応点の探索を行う領域を振り分けると、第１変換画像２１は、図１３（ａ）のように、第１変換画像２１のみを用いる領域２１１と、第１変換画像２１および第２変換画像２２の両方を用いる領域２１２と、対応点の探索に用いない領域２１３とに分離される。また、第２変換画像２２は、図１３（ｂ）のように、第２変換画像２２のみを用いる領域２２１と、第１変換画像２１および第２変換画像２２の両方を用いる領域２２２と、対応点の探索に用いない領域２２３とに分離される。

　以上述べた本実施形態のステレオカメラ装置は、領域評価部１０４を備える。領域評価部１０４は、第１変換画像と第２変換画像との両方について着目する画素ごとに周囲の輝度値の変化に関する評価値を求め、評価値の差が規定の閾値Ｔ１を超える場合は第１変換画像と第２変換画像とのうち輝度値の変化が大きいほうを当該画素の対応点の抽出に用い、評価値の差が閾値Ｔ１未満の場合に第１変換画像と第２変換画像との両方を当該画素の対応点の抽出に用いるように条件を定めるように構成される。視差推定部１０３は、領域評価部１０４が定めた条件に従って画素ごとに対応点を抽出するように構成される。

　換言すれば、本実施形態のステレオカメラ装置では、演算処理部１０は、さらに、領域評価部１０４を備える。領域評価部１０４は、第１変換画像の画素（第１画素）（φ，β）についての輝度値の変化に関する第１評価値（エッジ強度）Ｅ１と、第１画素（φ，β）に対応する第２変換画像の画素（第２画素）（α，β）についての輝度値の変化に関する第２評価値（エッジ強度）Ｅ２とを求めるように構成される。領域評価部１０４は、第１評価値Ｅ１と第２評価値Ｅ２との差｜Ｅ１－Ｅ２｜を求めて規定の閾値Ｔ１と比較するように構成される。領域評価部１０４は、差｜Ｅ１－Ｅ２｜が閾値Ｔ１を超えていれば、第１画素（φ，β）の輝度値の変化（本実施形態ではエッジ強度Ｅ１）と第２画素（α，β）の輝度値の変化（本実施形態ではエッジ強度Ｅ２）とを比較する。領域評価部１０４は、第１画素（φ，β）の輝度値の変化（エッジ強度Ｅ１）が第２画素（α，β）の輝度値の変化（エッジ強度Ｅ２）より大きければ第１画素（φ，β）および第２画素（α，β）に関して第１条件を選択するように構成される。領域評価部１０４は、第１画素（φ，β）の輝度値の変化（エッジ強度Ｅ１）が第２画素（α，β）の輝度値の変化（エッジ強度Ｅ２）より小さければ第１画素（φ，β）および第２画素（α，β）に関して第２条件を選択するように構成される。領域評価部１０４は、差｜Ｅ１－Ｅ２｜が閾値Ｔ１以下であれば第１画素（φ，β）および第２画素（α，β）に関して第３条件を選択するように構成される。視差推定部１０３は、第１画素（φ，β）および第２画素（α，β）に関して第１条件が選択されると第１画素（φ，β）および第２画素（α，β）に関して第１変換画像を用いて対応点を求めるように構成される。視差推定部１０３は、第１画素（φ，β）および第２画素（α，β）に関して第２条件が選択されると第１画素（φ，β）および第２画素（α，β）に関して第２変換画像を用いて対応点を求めるように構成される。視差推定部１０３は、第１画素（φ，β）および第２画素（α，β）に関して第３条件が選択されると第１画素（φ，β）および第２画素（α，β）に関して第１変換画像および第２変換画像を用いて対応点を求めるように構成される。

　本実施形態では、視差推定部１０３が対応点を探索して視差を求める処理を行う前に、領域評価部１０４が第１変換画像と第２変換画像とのどちらを用いて対応点を求めるかの条件を定めている。したがって、第１変換画像と第２変換画像とにおいて視差を求める領域が絞り込まれる。すなわち、第１変換画像と第２変換画像との全領域について対応点を求める場合に比較して演算量が低減される。しかも、領域評価部１０４は、画素ごとに求められる視差の信頼性をできるだけ高くするように、第１変換画像と第２変換画像とから対応点を探索する画素を抽出するから、求められる視差の信頼性が高くなる。

　上述した動作では、着目する画素に対して横方向に隣接する画素からエッジ強度Ｅ１、Ｅ２を求めているが、ソーベルオペレータのように、画像処理技術においてエッジ強度を求めたり輝度値の勾配方向を求めるために用いられている他の技術を採用してもよい。他の構成および動作は実施形態１と同様であるから説明を省略する。

　（実施形態３）
　実施形態１は、カメラ１、２で撮像したすべての画素を対象として、第１変換部１０１と第２変換部１０２とにおいて撮像画像の変換を行っているから、計算量が比較的多くなっている。本実施形態では、第１変換部１０１と第２変換部１０２とにおいて撮像画像を変換する領域をあらかじめ制限することにより計算量を低減する技術について説明する。

　第１変換部１０１と第２変換部１０２とは、それぞれ座標を変換する機能と、変換後の座標に輝度値を対応付ける機能とを備えている。座標の変換は、上式（１）～（８）を用いて行うから、一部はルックアップテーブルを用いて比較的簡単な処理で行うことができるが、変換後の座標に輝度値を対応付ける処理は、逆変換を伴うから計算量の増加につながる。

　そこで、第１変換部１０１は、座標の変換を行った後に、図１４のように、第１変換画像２１におけるβ＝０の中心線２１０からみて角度βが規定の閾値ｈ１（たとえば、ｈ１＝３０度）以上になるという条件（第１決定条件）を満たす領域２１４のみで輝度値を対応付ける処理を行う。すなわち、第１変換部１０１は、第１変換画像２１において｜β｜≧ｈ１となる領域２１４にのみ画素値（輝度値）を与える処理を行う。

　つまり、第１変換部１０１は、予め定められた第１決定条件に従って第１変換画像から対応点の抽出に用いられる第１抽出領域（領域２１４）を決定し、第１抽出領域（領域２１４）に含まれる画素について画素値を算出し、第１抽出領域（領域２１４）に含まれない画素については画素値を算出しないように構成される。

　第１変換画像の各画素に輝度値を対応付けるには、第１変換画像の各画素の位置（φ，β）からカメラ１、２が撮像した画像の位置（ｕ，ｖ）を求める処理が必要である。さらに、求めた位置（ｕ，ｖ）の周辺の画素の輝度値を用いて補間演算により輝度値を決定する必要がある。したがって、第１変換画像の各画素に輝度値を対応付ける処理は、撮像された撮像画像の位置（ｕ，ｖ）を第１変換画像の各画素の位置（φ，β）に変換する処理よりも計算量が多くなる。これに対して、本実施形態では、輝度値を対応付ける範囲を制限したことによって、計算量の低減が可能になっている。

　同様にして、第２変換部１０２は、座標の変換を行った後に、図１５のように、第２変換画像２２のβ＝０の中心線２２０からみて角度βが規定の閾値ｈ２（たとえば、ｈ２＝６０度）以下になるという条件（第２決定条件）を満たす領域２２４のみで輝度値を対応付ける処理を行う。すなわち、第２変換部１０２は、第２変換画像２２において｜β｜≦ｈ２となる領域２２４にのみ画素値（輝度値）を与える処理を行う。

　つまり、第２変換部１０２は、予め定められた第２決定条件に従って第２変換画像から対応点の抽出に用いられる第２抽出領域（領域２２４）を決定し、第２抽出領域（領域２２４）に含まれる画素について画素値を算出し、第２抽出領域（領域２２４）に含まれない画素については画素値を算出しないように構成される。

　このように、第２変換画像２２についても輝度値を対応付ける範囲を制限することにより計算量が低減されることになる。

　第１変換画像２１および第２変換画像２２が一部領域になる点を除いて実施形態１と同様であって、第１変換画像２１および第２変換画像２２が得られた後は、第１視差画像および第１一致度画像と第２視差画像および第２一致度画像を求め、視差を決定する処理を行う。

　以上述べたように、本実施形態のステレオカメラ装置では、第１変換部１０１および第２変換部１０２は、第１変換画像と第２変換画像とについて、第１変換画像と第２変換画像との一方を用いて対応点を抽出する第１の領域と、第１変換画像と第２変換画像との両方を用いて対応点を抽出する第２の領域とのうち、少なくとも第１の領域をあらかじめ与えられた条件に従って定める機能を有する。

　換言すれば、本実施形態のステレオカメラ装置では、第１変換部１０１は、予め定められた第１決定条件に従って第１変換画像から対応点の抽出に用いられる第１抽出領域（領域２１４）を決定し、第１抽出領域（領域２１４）に含まれる画素について画素値を算出し、第１抽出領域（領域２１４）に含まれない画素については画素値を算出しないように構成される。第２変換部１０２は、予め定められた第２決定条件に従って第２変換画像から対応点の抽出に用いられる第２抽出領域（領域２２４）を決定し、第２抽出領域（領域２２４）に含まれる画素について画素値を算出し、第２抽出領域（領域２２４）に含まれない画素については画素値を算出しないように構成される。

　また、本実施形態において示した閾値ｈ１，ｈ２は一例であって、これらの閾値ｈ１，ｈ２は適宜に設定することが可能である。とくに、撮像画像全体の視差を求める必要がない場合には、第１変換画像および第２変換画像において輝度値を対応付ける領域をさらに狭めてもよい。また、第１変換画像と第２変換画像とにおいて輝度値を対応付ける領域が重複しないように閾値ｈ１，ｈ２を設定してもよい。他の構成および動作は実施形態１と同様である。

　ここに、本実施形態の構成は、以下の知見に基づいている。すなわち、第１変換画像２１では、角度βが大きい領域２１４で光軸に平行な面が歪みなく反映されるので、ステレオマッチングが容易になる。すなわち、領域２１４では、第２変換画像２２から求めた第２視差画像の画素値（視差）が採用される確率が低く、第１変換画像２１から求めた第１視差画像の画素値が採用される確率が高い。そのため、角度βが大きい領域２１４では第２変換画像よりも第１変換画像２１を用いることが好ましく、領域２１４では第２変換画像２２を用いないようにすれば計算量の低減を図ることができる。

　一方、第２変換画像２２では、角度βが小さい領域において光軸に対して交差する面が歪みなく反映され、光軸に平行な面の歪みも小さい。したがって、角度βが小さい領域においては、第１変換画像２１から得られる第１視差画像の画素値（視差）よりも第２変換画像２２から求められる第２視差画像の画素値が採用される確率が高くなる。そのため、領域２１４を除く領域では、第１変換画像２１を用いないようにすれば計算量の低減を図ることができる。

　（実施形態４）
　本実施形態は、実施形態３と同様に第１変換画像および第２変換画像において一部の領域にのみ輝度値を対応付ける技術を採用することにより計算量を低減させている。実施形態３では、第１変換画像に対して用いる閾値ｈ１と、第２変換画像に対して用いる閾値ｈ２とを異ならせているが、本実施形態では第１変換画像と第２変換画像とに対して同じ閾値ｈ３を用いている点が相違する。

　すなわち、本実施形態では、第１変換画像に対しては角度βが閾値ｈ３以上になるという条件を満たす領域に輝度値を対応付け、第２変換画像に対しては角度βが閾値ｈ３以下になるという条件を満たす領域に輝度値を対応付けている。

　したがって、視差を求める際に第１変換画像と第２変換画像とにおいて重複する領域がなく、それだけ計算量を低減させることができる。閾値ｈ３は、とくに制限はないが、ステレオマッチングでの一致度評価の信頼性の低下を防止するには、たとえば、４５度に設定することが好ましい。

　上述したように、本実施形態の第１変換部１０１および第２変換部１０２の動作は、閾値ｈ３が異なる点を除いて実施形態２と同様である。ただし、第１変換部１０１で得られる第１変換画像と第２変換部で得られる第２変換画像とは角度βの重複する領域がないから、本実施形態は、図１６のように、第１変換部１０１が生成した第１変換画像と第２変換部１０２が生成した第２変換画像とを合成する画像合成部１０５を付加している。すなわち、本実施形態において、演算処理部１０は、さらに、画像合成部１０５を備える。

　したがって、カメラ１、２ごとに撮像した撮像画像から生成した第１変換画像と第２変換画像との４種類の画像を視差推定部１０３に引き渡すのではなく、画像合成部１０５が合成した後の２種類の画像を視差推定部１０３に引き渡すことになる。そのため、視差推定部１０３は、第１視差画像と第２視差画像との２種類の視差画像ではなく１種類の視差画像を生成し、また、第１一致度画像と第２一致度画像との２種類の一致度画像ではなく１種類の一致度画像を生成する。言い換えると、視差推定部１０３は、合成後の２種類の画像（変換画像）を用いて１回だけの対応付けの処理により視差を求める。

　ところで、第１変換画像と第２変換画像とを画像合成部１０５において合成すると、境界において画像が不連続になっている場合に、ステレオマッチングでの一致度評価の信頼性が低下する場合がある。すなわち、境界において画像が不連続である場合、ブロックマッチングの技術を用いたステレオマッチングにおいて、境界を含むウインドウＷ１と走査領域Ｗ２との中に距離の異なる物体が含まれ、結果的に一致度評価の信頼性が低下することになる。

　この問題は、ウインドウＷ１と走査領域Ｗ２との画素数を少なくすれば低減されるが、ウインドウＷ１と走査領域Ｗ２との画素数を少なくするとＳＡＤ値の変化が小さくなり、対応点を抽出する精度が低下することになる。

　一方、合成された変換画像の境界が不連続になるか否かは、閾値ｈ３に依存しており、数４によれば、β＝４５度であれば、Ｙ＝Ｚであるから、α＝φとなり、閾値ｈ３が４５度であれば、変換画像の境界が連続することになる。そのため、上述したように閾値ｈ３は４５度が望ましいと言える。ただし、閾値ｈ３が４５度以外であっても、境界付近の信頼性が低下するだけであって、他の領域については視差の信頼性は低下しない。

　特に、本実施形態のステレオカメラ装置では、第１決定条件は、第２決定条件と等しい。

　他の構成および動作は実施形態１、実施形態２と同様であって、本実施形態では第１変換画像と第２変換画像とが重複しないから、視差推定部１０３での計算量が実施形態２よりも低減される。その結果、実施形態２よりも少ない計算量で実空間の３次元情報を求めることが可能になる。また、第１変換画像と第２変換画像の境界において画素値が一致するから、境界を含む領域でブロックマッチングの技術を用いたステレオマッチングを行う場合でも、一致度の信頼性が高められる。すなわち、一致度の信頼性が高まることによりステレオマッチングの信頼性も向上する。

　（実施形態５）
　実施形態１において説明したように、第１変換画像は縦方向の両端部においてカメラの光軸に平行な方向の歪みが少なく、第２変換画像は中央部においてカメラの光軸に直交する平面内の歪みが少ないという特性を有している。このことから、実施形態３、４のように、第１変換画像と第２変換画像とから適宜に領域を抽出すれば、縦方向の両端部および中央部において歪みの少ない領域を用いて対応点を抽出することができる。ただし、第１変換画像と第２変換画像とのいずれについても、横方向の両端部における歪みは比較的大きく、この領域は、第１変換画像と第２変換画像とのどちらを用いても他の領域と比較すると視差の信頼性が低下する。

　そこで、本実施形態では、カメラの台数を増加させることにより、求められる視差の信頼性を向上させている。いま、室内における天井面の中央部にカメラを配置した場合を想定する。この場合、第１変換画像は、縦方向（β方向）の両端部において鉛直方向に沿った壁面や柱の画像について歪みが少なく、また、第２変換画像は、中央部において水平面に沿った床面や机の上面の画像について歪みが少なくなる。したがって、ステレオビジョンにより３次元情報を計測するカメラを２組設け、第１変換画像の縦方向（β方向）を互いに直交させておけば、室内のすべての壁面や柱について歪みの少ない画像を得ることが可能になる。

　上述した知見では、２台で一組になるカメラを２組設け、合計４台のカメラによって、室内のすべての領域について歪みの少ない画像を得ることが可能になることがわかる。たとえば、ステレオビジョンのための２台のカメラ１１１、１１２を、図１７（ａ）に示すように、図の左右に並べて天井面の中央部に配置した場合、第１変換画像の中で室内の左右方向に沿った壁面３０１、３０２に相当する領域は歪みが少なくなる。一方、ステレオビジョンのためのカメラ１１３、１１４を、図１７（ｂ）に示すように、天井面に沿って図１７（ａ）に示す位置に対して９０度回転させた場合、第１変換画像の中で、上記壁面３０１、３０２に直交する壁面３０３、３０４に相当する領域は歪みが少なくなる。

　本実施形態では、４台のカメラ１１１、１１２、１１３、１１４のうちの１台を両方の組で共用することにより、３台のカメラを用いて４台のカメラを用いる場合と同様の機能を達成する例を示す。図１７に示す例に従って、カメラ１１１とカメラ１１３とが共用されている場合を例示する。したがって、３台のカメラ１１１、１１２、１１４を用いているものとする。３台のカメラ１１１、１１２、１１４は、直角二等辺三角形の頂点の位置に光学中心を位置させるように配置される。すなわち、共用されるカメラ１１１に対して残りのカメラ１１２、１１４が等距離に配置される。ただし、光学中心の位置が直角二等辺三角形の頂点をなすことは必須ではなく、たとえば、３台のカメラ１１１、１１２、１１４の光学中心の位置が正三角形をなすように配置することも可能である。

　以下では、直角二等辺三角形の頂点の位置にカメラ１１１、１１２、１１４が配置されている場合を例として説明する。ステレオビジョンにより３次元情報を計測する際は、３台のカメラ１１１、１１２、１１４のうちの２台ずつを組み合わせて用いる。つまり、２台のカメラ１１１、１１２からなる組と、２台のカメラ１１１、１１４からなる組とをそれぞれ用いてステレオビジョンによる３次元情報の計測を行う。各組ごとの３次元情報の計測は、実施形態１と同様に行われる。

　ところで、４台のカメラを用いる場合は、２台ずつのカメラを撮像画像の水平方向（ｘ方向）に並べて配置することができる。しかしながら、３台のカメラを用いる場合は、２台のカメラ（たとえば、カメラ１１１とカメラ１１２）を撮像画像の水平方向（ｘ方向）に並べると、他の２台のカメラ（たとえば、カメラ１１１とカメラ１１４）は撮像画像の水平方向に並ばなくなる。この場合、カメラ１１４の水平方向は、カメラ１１１、１１２のベースラインの方向と平行させるか、直交させることになる。

　したがって、実施形態１と同じ数式を用いて第１変換画像および第２変換画像を生成するには、図１８のように、第１変換部１０１および第２変換部１０２に前置して、撮像画像を９０度回転させるための回転処理部１０６が必要になる。ベースラインの方向が変換前の画像の水平方向に一致していない場合には、回転処理部１０６を用いて撮像画像を適宜に回転させることによって、ベースラインの方向を変換前の画像の水平方向に一致させることができる。ここに、３台のカメラ１１１、１１２、１１４がそれぞれ撮像した３枚の撮像画像は、記憶装置１２に記憶されているから、回転処理部１０６は、必要に応じて画素を読み出す方向を変更する機能があればよい。

　上述のように、回転処理部１０６が設けられていることにより、実施形態１と同じ数式（変換式）を用いて第１変換画像および第２変換画像を生成することが可能になる。ただし、回転処理部１０６によって撮像画像を回転させる代わりに、第１変換画像および第２変換画像への変換を行うための数式により回転と等価な変換を行ってもよい。

　上述した構成によって、第１変換画像および第２変換画像は２組ずつ生成される。各組ごとの処理は実施形態１と同様であって、第１変換画像の組と第２変換画像の組とを用いて視差が求められる。ここに、視差は組ごとに得られるから、選択処理部１０７を用いて信頼性の高いほうの視差を選択する。視差の信頼性の評価には、実施形態１と同様に、一致度Ｄｓの評価を行えばよい。なお、この動作では選択処理部１０７において一致度Ｄｓの評価を行うから、選択処理部１０７には、第１一致度画像および第２一致度画像も与えられる。

　本実施形態のステレオカメラ装置は、図１８に示されるように、複数（図１８では２つ）のステレオカメラ部１３（１３１，１３２）を備える。複数のステレオカメラ部１３１，１３２は、第１軸が互いに交差し、かつ、第２軸が互いに平行するように配置される。視差推定部１０３は、複数のステレオカメラ部１３１，１３２毎に着目点に関する視差を求めるように構成される。演算処理部１０は、選択処理部１０７を備える。選択処理部１０７は、視差推定部１０３で求められた視差毎に信頼度（本実施形態では一致度Ｄｓ）を求め、視差推定部１０３で求められた視差のうち最も信頼度が高い視差を採用するように構成される。

　また、本実施形態のステレオカメラ装置では、複数のステレオカメラ部１３のうちの１つ（ステレオカメラ部１３１）の２つのカメラの一方（本実施形態ではカメラ１１１）は、他のステレオカメラ部（ステレオカメラ部１３２）のカメラとして用いられる。

　換言すれば、本実施形態のステレオカメラ装置は、ステレオカメラシステムであるともいえる。このステレオカメラシステムは、ステレオカメラ装置を２組備え、ステレオカメラ装置ごとに設けられた２台ずつのカメラが、第１方向を互いに交差させるとともにカメラの光軸を平行にして配置され、ステレオカメラ装置ごとに設けられた視差推定部１０３が推定した視差のうち信頼性の高いほうの視差を選択する選択処理部１０７を備える。

　特に、図１８の例では、２つのステレオカメラ装置の一方の演算処理部１０が他方のステレオカメラ装置の演算処理部１０としても用いられている。すなわち、複数のステレオカメラ装置は、演算処理部１０を共用している。

　また、図１８の例では、選択処理部１０７は、演算処理部１０に含まれているが、必ずしも演算処理部１０に含まれている必要なない。

　また、本実施形態のステレオカメラシステムでは、ステレオカメラ装置ごとに設けられた２台ずつのカメラのうち各１台が共用されている。

　他の構成および動作は実施形態１と同様であるから説明を省略する。また、本実施形態は、実施形態２～４の構成および動作と組み合わせて用いることが可能である。ここに、上述したように、第２変換画像は中央部において水平面に沿った床面や机の上面の歪みが少なく、第１変換画像は縦方向の両端部において鉛直方向に沿った壁面や柱の歪みが少ない。したがって、実施形態３、４のように領域を選択する場合は、各組ごとに第１変換画像の縦方向における両端部の領域を選択すれば、室内全体において対応点の探索が容易になる。さらに、実施形態２のように、対応点の探索が容易になる領域を評価する場合、各組ごとに第１変換画像と第２変換画像との評価を行い、さらに、異なる組について同様の評価を行えばよい。異なる組について評価を行う場合、エッジ強度の差の大小を比較し、エッジ強度の差が大きい組を優先して採用すればよい。

Claims

　ステレオカメラ部と、
　演算処理部と、
　を備え、
　前記ステレオカメラ部は、所定の空間を撮像する一対のカメラを有し、前記一対のカメラでそれぞれ撮像された撮像画像を前記演算処理部に出力するように構成され、
　前記演算処理部は、第１変換部と、第２変換部と、視差推定部と、を備え、
　前記第１変換部は、前記一対のカメラのそれぞれに関して、前記カメラで撮像された撮像画像を第１変換画像に変換するように構成され、
　前記第１変換画像は、画素の位置が、第１軸の周りの第１角度と第２軸の周りの第２角度とで定義される二次元直交座標で表される画像であり、
　前記第２変換部は、前記一対のカメラのそれぞれに関して、前記カメラで撮像された撮像画像を第２変換画像に変換するように構成され、
　前記第２変換画像は、画素の位置が、前記第１角度と第３軸の周りの第３角度とで定義される二次元直交座標で表される画像であり、
　前記第１軸は、前記一対のカメラの光学中心同士を結ぶ直線で定義され、
　前記第２軸は、前記カメラの光軸で定義され、
　前記第３軸は、前記第１軸と前記第２軸とにそれぞれ直交する軸であり、
　前記視差推定部は、前記第１変換部で得られた前記第１変換画像と前記第２変換部で得られた前記第２変換画像とに基づいて、前記空間内の着目点に関する視差を求めるように構成される
　ことを特徴とするステレオカメラ装置。
　前記視差推定部は、前記一対のカメラにそれぞれ対応する２つの前記第１変換画像から前記着目点の対応点をそれぞれ求め、前記対応点に基づいて前記着目点に関する第１視差を算出するとともに、２つの前記第１変換画像の前記対応点間の第１一致度を評価するように構成され、
　前記視差推定部は、前記一対のカメラにそれぞれ対応する２つの前記第２変換画像から前記着目点の対応点をそれぞれ求め、前記対応点に基づいて前記着目点に関する第２視差を算出するとともに、２つの前記第２変換画像の前記対応点間の第２一致度を評価するように構成され、
　前記視差推定部は、同一の着目点に関して前記第１一致度を前記第２一致度と比較し、前記第１一致度が前記第２一致度より高ければ前記着目点に関する視差として前記第１視差を採用し、前記第１一致度が前記第２一致度より低ければ前記着目点に関する視差として前記第２視差を採用するように構成される
　ことを特徴とする請求項１記載のステレオカメラ装置。
　前記演算処理部は、さらに、領域評価部を備え、
　前記領域評価部は、前記第１変換画像の第１画素についての輝度値の変化に関する第１評価値と、前記第１画素に対応する前記第２変換画像の第２画素についての輝度値の変化に関する第２評価値とを求め、
　前記領域評価部は、前記第１評価値と前記第２評価値との差を求めて規定の閾値と比較するように構成され、
　前記領域評価部は、
　　前記差が前記閾値を超えていれば、前記第１画素の輝度値の変化と前記第２画素の輝度値の変化とを比較し、
　　前記第１画素の輝度値の変化が前記第２画素の輝度値の変化より大きければ前記第１画素および前記第２画素に関して第１条件を選択し、
　　前記第１画素の輝度値の変化が前記第２画素の輝度値の変化より小さければ前記第１画素および前記第２画素に関して第２条件を選択するように構成され、
　前記領域評価部は、前記差が前記閾値以下であれば前記第１画素および前記第２画素に関して第３条件を選択するように構成され、
　前記視差推定部は、
　　前記第１画素および前記第２画素に関して前記第１条件が選択されると前記第１画素および前記第２画素に関して前記第１変換画像を用いて対応点を求め、
　　前記第１画素および前記第２画素に関して前記第２条件が選択されると前記第１画素および前記第２画素に関して前記第２変換画像を用いて対応点を求め、
　　前記第１画素および前記第２画素に関して前記第３条件が選択されると前記第１画素および前記第２画素に関して前記第１変換画像および前記第２変換画像を用いて対応点を求めるように構成される
　ことを特徴とする請求項２記載のステレオカメラ装置。
　前記第１変換部は、予め定められた第１決定条件に従って前記第１変換画像から対応点の抽出に用いられる第１抽出領域を決定し、前記第１抽出領域に含まれる画素について画素値を算出し、前記第１抽出領域に含まれない画素については画素値を算出しないように構成され、
　前記第２変換部は、予め定められた第２決定条件に従って前記第２変換画像から対応点の抽出に用いられる第２抽出領域を決定し、前記第２抽出領域に含まれる画素について画素値を算出し、前記第２抽出領域に含まれない画素については画素値を算出しないように構成される
　ことを特徴とする請求項２記載のステレオカメラ装置。
　複数の前記ステレオカメラ部を備え、
　前記複数の前記ステレオカメラ部は、前記第１軸が互いに交差し、かつ、前記第２軸が互いに平行するように配置され、
　前記視差推定部は、前記複数の前記ステレオカメラ部毎に前記着目点に関する視差を求めるように構成され、
　前記演算処理部は、選択処理部を備え、
　前記選択処理部は、前記視差推定部で求められた視差毎に信頼度を求め、前記視差推定部で求められた視差のうち最も信頼度が高い視差を採用するように構成される
　ことを特徴とする請求項１～４のうちのいずれか１項記載のステレオカメラ装置。
　前記複数のステレオカメラ部のうちの１つの前記２つのカメラの一方は、他のステレオカメラ部のカメラとして用いられる
　ことを特徴とする請求項５記載のステレオカメラ装置。
　ステレオカメラ部に接続されるコンピュータに用いられるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
　前記ステレオカメラ部は、所定の空間を撮像する一対のカメラを有し、前記一対のカメラでそれぞれ撮像された撮像画像を前記演算処理部に出力するように構成され、
　前記一対のカメラは、互いの光軸が平行し、かつ、それぞれの視野が重複するように配置され、
　前記プログラムは、第１変換部と、第２変換部と、視差推定部として機能させるように構成され、
　前記第１変換部は、前記一対のカメラのそれぞれに関して、前記カメラで撮像された撮像画像を第１変換画像に変換するように構成され、
　前記第１変換画像は、画素の位置が、第１軸の周りの第１角度と第２軸の周りの第２角度とで定義される二次元直交座標で表される画像であり、
　前記第２変換部は、前記一対のカメラのそれぞれに関して、前記カメラで撮像された撮像画像を第２変換画像に変換するように構成され、
　前記第２変換画像は、画素の位置が、前記第１角度と第３軸の周りの第３角度とで定義される二次元直交座標で表される画像であり、
　前記第１軸は、前記一対のカメラの光学中心同士を結ぶ直線で定義され、
　前記第２軸は、前記カメラの光軸で定義され、
　前記第３軸は、前記第１軸と前記第２軸とにそれぞれ直交する軸であり、
　前記視差推定部は、前記第１変換部で得られた前記第１変換画像と前記第２変換部で得られた前記第２変換画像とに基づいて、前記空間内の着目点に関する視差を求めるように構成される
　ことを特徴とするコンピュータ読み取り可能な記録媒体。