JPWO2011096251A1

JPWO2011096251A1 - ステレオカメラ

Info

Publication number: JPWO2011096251A1
Application number: JP2011552721A
Authority: JP
Inventors: 宏大和
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2010-02-02
Filing date: 2011-01-12
Publication date: 2013-06-10
Anticipated expiration: 2031-01-12
Also published as: JP5472328B2; WO2011096251A1; EP2533541A4; US9109891B2; US20120293633A1; EP2533541A1

Abstract

本発明はステレオカメラに関し、第１の画像を撮影するメインカメラと、メインカメラとは異なるカメラパラメータを有し、第２の画像を撮影するサブカメラと、第１および第２の画像の各画素について対応付けを行って視差情報を含む距離情報を取得する距離情報取得部と、第１および第２の画像の一方と、距離情報とに基づいてステレオ視画像を生成する左右画像生成部とを備えている。

Description

本発明はステレオカメラに関し、特に、異なるカメラパラメータを持つ１対のカメラを備えたステレオカメラに関する。

１対のカメラを備えたステレオカメラは、両カメラによって得られた画像の視差に基づいて被写体までの距離情報を含んだ距離画像を生成することができるが、一般的に、ステレオカメラでは、対となるカメラは同一のカメラパラメータを持つカメラで構成されている。

例えば、特許文献１においては、水平方向に配置された２つのレンズで距離情報を含んだ３次元映像を撮像し、異なるもう１つのレンズで２次元画像を撮像する構成が開示され、焦点距離のある範囲までは３次元映像を取得し、その範囲を超えた場合は２次元画像を取得する構成が開示されているが、３次元映像用の２つのレンズは特性が同じレンズで構成されている。

また、特許文献２においては、ステレオカメラで得た画像と距離情報とに基づいて、任意視点で見たステレオ視用の画像を作成するシステムが開示されているが、ステレオカメラを構成する２つのカメラが同じカメラパラメータを持つことを前提としてステレオ視用の画像作成のための画像処理がなされている。

特開２００４−２９７５４０号公報特開２００９−１２４３０８号公報

以上説明したように、従来のステレオカメラでは、対となるカメラは同一のカメラパラメータを持つカメラで構成されているが、共に高性能なカメラで構成すると、製造コストが増大するという問題があった。

本発明は、上記のような問題点を解決するためになされたものであり、任意の視点からのステレオ視画像を生成することが可能であるとともに、製造コストを抑制したステレオカメラを提供することを目的とする。

本発明に係るステレオカメラの第１の態様は、第１の画像を撮影する第１の撮像部と、前記第１の撮像部とは異なるカメラパラメータを有し、第２の画像を撮影する第２の撮像部と、前記第１および第２の画像の各画素について対応付けを行って視差情報を含む距離情報を取得する距離情報取得部と、前記第１および第２の画像の一方と、前記距離情報とに基づいてステレオ視画像を生成する左右画像生成部とを備えている。

本発明に係るステレオカメラの第２の態様は、前記距離情報取得部が、前記第１および第２の画像の撮影の際の撮影情報に基づいて、対応点探索を行う対応点探索領域を決定する。

本発明に係るステレオカメラの第３の態様は、前記距離情報取得部が、前記第１および第２の画像に対して、一方をテンプレートとして他方とのテンプレートマッチングを行い、最も一致度が高い領域を前記対応点探索領域として決定する。

本発明に係るステレオカメラの第４の態様は、前記距離情報取得部が、前記第１および第２の画像の撮影倍率が異なる場合は、前記テンプレートとなる方の画像の解像度変換処理を行って前記テンプレートを作成する。

本発明に係るステレオカメラの第５の態様は、前記距離情報取得部が、前記第１および第２の画像に対して、オブジェクト認識により物体候補となる物体候補領域を抽出し、得られた物体候補領域どうしの比較を行って、最も一致度が高い領域を前記対応点探索領域として決定する。

本発明に係るステレオカメラの第６の態様は、前記距離情報取得部が、前記第１および第２の画像に対して、一方の画像上に他方の画像の光軸中心を設定し、一方の画像上に設定された前記他方の画像の光軸中心と、前記他方の画像の光軸中心とを合わせ、前記一方の画像を他方の画像を撮影した撮像素子に合う画像サイズに変換して重ね合わせることで、前記対応点探索領域を決定する。

本発明に係るステレオカメラの第７の態様は、前記距離情報取得部が、前記第１および第２の画像に対して、光軸中心を中心とした縦方向の画角の比率で前記対応点探索領域を決定する。

本発明に係るステレオカメラの第８の態様は、前記距離情報取得部が、前記第１および第２の画像に対して、エピポーラ線に沿った１次元の領域を前記対応点探索領域として決定する。

本発明に係るステレオカメラの第９の態様は、前記距離情報取得部が、前記第１および第２の画像のそれぞれの前記対応点探索領域に対して、対応点探索の基準側となる領域内の基準位置を、画素サイズよりも細かいサイズのサブピクセルの位置に設定して対応点探索を行う。

本発明に係るステレオカメラの第１０の態様は、前記距離情報取得部が、前記第１および第２の画像のそれぞれの前記対応点探索領域の画素数が多い方を基準画像として対応点探索を行う。

本発明に係るステレオカメラの第１１の態様は、前記距離情報取得部が、前記第１および第２の画像の撮影の際にズーム撮影が行われた場合には、ズームの程度に合わせて対応点のサンプリング間隔を変更する。

本発明に係るステレオカメラの第１２の態様は、前記距離情報取得部が、ズーム倍率が大きくなるほど対応点のサンプリング間隔を小さくする。

本発明に係るステレオカメラの第１３の態様は、前記距離情報取得部が、前記第１および第２の画像のそれぞれの前記対応点探索領域の画素数が少ない方の画素数に合わせて対応点のサンプリング間隔を変更する。

本発明に係るステレオカメラの第１４の態様は、前記距離情報取得部が、対応点探索に使用されるウインドウの縦横比が、ウインドウを物体面に適用した場合に、物体面での縦横比が等方となるように設定して対応点探索を行う。

本発明に係るステレオカメラの第１５の態様は、前記第１の撮像部が前記第２の撮像部よりも解像度が高く、前記左右画像生成部は、前記第１の画像をメイン画像とし、前記視差情報に従って前記第２の画像内の前記対応点探索領域の画像をずらして新たな第２の画像を生成し、前記第１の画像および前記新たな第２の画像を前記左右画像とする。

本発明に係るステレオカメラの第１６の態様は、前記左右画像生成部が、前記第２の画像の前記対応点探索領域内の画素数が、前記第１の画像の前記対応点探索領域内画素数よりも少ない場合には、前記第１の画像から画素情報を補充する。

本発明に係るステレオカメラの第１７の態様は、前記第１の撮像部が前記第２の撮像部よりも解像度が高く、前記左右画像生成部は、前記第１の画像よりも前記第２の画像の方が撮影倍率が高い場合は、前記第２の画像を前記第１の画像に嵌め込むことで新たな第２の画像を生成し、前記第１の画像および前記新たな第２の画像を前記左右画像とする。

本発明に係るステレオカメラの第１８の態様は、前記第１の撮像部が前記第２の撮像部よりも解像度が高く、前記左右画像生成部は、前記第２の画像よりも前記第１の画像の方が撮影倍率が高い場合は、前記第１の画像を前記第２の画像に嵌め込むことで新たな第１の画像を生成し、前記新たな第１の画像および前記第２の画像を前記左右画像とする。

本発明に係るステレオカメラの第１９の態様は、前記第１の撮像部がズーム機能を有し、前記左右画像生成部は、前記第１の画像がズームされた画像である場合は、ズーム倍率に従って、基線長を変更した画像を生成することで新たな第１の画像を生成する。

本発明に係るステレオカメラの第２０の態様は、前記左右画像生成部が、前記新たな第１の画像を生成する場合に、基線長の変更によっても被写体が画像内に収まるように画像サイズを変更する。

本発明に係るステレオカメラの第２１の態様は、前記第２の撮像部のレンズが中心窩レンズである。

本発明に係るステレオカメラの第２２の態様は、前記第２の撮像部のレンズがアナモフィックレンズである。

本発明に係るステレオカメラの第２３の態様は、前記第１の撮像部は前記第２の撮像部よりも解像度が高く、前記ステレオカメラは、前記第１および第２の撮像部の配列が、水平面に対して平行となる横置きで前記ステレオカメラが配置されたことを感知するセンサをさらに備え、横置きを感知した場合は、前記距離情報取得部の動作を停止し、前記左右画像生成部は、前記第１の画像の情報を前記第２の画像に与えることで、新たな第２の画像を作成し、前記第１の画像および前記新たな第２の画像を前記左右画像とする。

本発明に係るステレオカメラの第１の態様によれば、カメラパラメータの異なる２つの撮像部を有するステレオカメラであってもステレオ視画像を得ることができ、ステレオ視画像を低コストで生成することができる。

本発明に係るステレオカメラの第２の態様によれば、第１および第２の画像の撮影の際の撮影情報、例えばズーム倍率等に基づいて対応点探索領域を決定することができる。

本発明に係るステレオカメラの第３の態様によれば、テンプレートマッチングにより対応点探索領域を決定できる。

本発明に係るステレオカメラの第４の態様によれば、第１および第２の画像の撮影倍率が異なる場合でもテンプレートマッチングにより対応点探索領域を決定できる。

本発明に係るステレオカメラの第５の態様によれば、オブジェクト認識により対応点探索領域を決定できる。

本発明に係るステレオカメラの第６の態様によれば、光軸中心を用いることで容易に対応点探索領域を決定できる。

本発明に係るステレオカメラの第７の態様によれば、第１および第２の画像の光軸中心を中心とした縦方向の画角の比率で対応点探索領域を決定できる。

本発明に係るステレオカメラの第８の態様によれば、第１および第２の画像に対して、エピポーラ線に沿った１次元の領域によって対応点探索領域を決定できる。

本発明に係るステレオカメラの第９の態様によれば、対応点探索の基準側となる領域内の基準位置を、サブピクセルの位置に設定して対応点探索を行うので、基準画像と参照画像とで倍率が異なるような場合でも、サンプリング間隔を一致させることができる。

本発明に係るステレオカメラの第１０の態様によれば、画素数が多い方を基準画像として対応点探索を行うことができる。

本発明に係るステレオカメラの第１１および第１２の態様によれば、ズームの程度に合わせて対応点のサンプリング間隔を変更するので、ズームを使用しない場合には、対応点探索に費やす時間を軽減することができる。

本発明に係るステレオカメラの第１３の態様によれば、対応点探索領域の画素数が少ない方の画素数に合わせて対応点のサンプリング間隔を変更するので、ズームによって第１の画像と第２の画像とで画素数が異なる場合に対応できる。

本発明に係るステレオカメラの第１４の態様によれば、対応点探索に使用されるウインドウの縦横比が、ウインドウを物体面に適用した場合に、物体面での縦横比が等方となるように設定して対応点探索を行うので、対応点探索における対応付け精度を低下させることを防止できる。

本発明に係るステレオカメラの第１５および第１６の態様によれば、第２の画像が、第１の画像と同レベルの高画質の画像となり、両画像をステレオ視画像として用いることで、違和感のない３次元表示を行うことができる。

本発明に係るステレオカメラの第１７および第１８の態様によれば、ステレオ視できる部分の精度を高めることができる。

本発明に係るステレオカメラの第１９および第２０の態様によれば、ズーム倍率に従って基線長を変更した新たな第１の画像を生成することで、違和感のない３次元表示を行うことができる。

本発明に係るステレオカメラの第２１の態様によれば、第２の撮像部のレンズを中心窩レンズとすることで、中心部の情報量が多い画像が得られる。

本発明に係るステレオカメラの第２２の態様によれば、前記第２の撮像部のレンズをアナモフィックレンズとすることで、一方向に画角の広い画像が得られる。

本発明に係るステレオカメラの第２３の態様によれば、簡単な処理でステレオ視画像を得ることができる。

本発明に係るステレオカメラの使用形態を説明する図である。本発明に係るステレオカメラの使用形態を説明する図である。本発明に係るステレオカメラの使用形態を説明する図である。ステレオ視画像の生成の概念を模式的に示す図である。ステレオカメラを横置きで使用する場合の撮影イメージを示す図である。ステレオカメラで得られた画像を示す図である。本発明に係るステレオカメラの構成を示すブロック図である。画像の取得から距離情報取得までの処理手順を示すフローチャートである。対応点探索領域の設定処理を説明する概念図である。対応点探索領域決定の第１の方法を説明する図である。解像度変換処理を説明する図である。対応点探索領域決定の第２の方法を説明する図である。対応点探索領域決定の第２の方法を説明する図である。対応点探索領域決定の第４の方法を説明する図である。対応点探索領域決定の第４の方法を説明する図である。対応点探索領域決定の第５の方法を説明する図である。対応点探索領域決定の第５の方法を説明する図である。対応点探索領域決定の第６の方法を説明する図である。対応点探索処理を説明する概念図である。対応点探索の第１の方法を説明する図である。対応点探索の第２の方法を説明する図である。対応点探索の第３の方法を説明する図である。対応点探索の第３の方法を説明する図である。３次元再構成を説明する図である。左右画像の生成手順を説明するフローチャートである。左右画像の生成の第１の方法を説明する図である。左右画像の生成の第１の方法を説明する図である。左右画像の生成の第１の方法を説明する図である。左右画像の生成の第１の方法の変形例を説明する図である。左右画像の生成の第１の方法の変形例を説明する図である。新たな第１の画像を生成する際の問題点を解決する方法を説明する図である。左右画像の生成の第２の方法を説明する図である。左右画像の生成の第２の方法を説明する図である。左右画像の生成の第２の方法を説明する図である。左右画像の生成の第２の方法の変形例１を説明する図である。左右画像の生成の第２の方法の変形例２を説明する図である。左右画像の生成の第３の方法を説明する図である。左右画像の生成の第４の方法を説明する図である。左右画像の生成の第４の方法を説明する図である。実施の形態の変形例を説明する図である。

＜発明の概要＞
まず、図１〜図６を用いて本発明の概要について説明する。

図１〜図３は、本発明に係るステレオカメラの使用形態を説明する図である。図１では、ステレオカメラＶＣ１を縦置きで使用する例を示しており、図２では、ステレオカメラＶＣ１を縦置きで使用する例を示している。

ステレオカメラＶＣ１は、メインカメラＭＣとサブカメラＳＣとが基線長Ｌ分だけ離れて配置された構成を採り、メインカメラＭＣおよびサブカメラＳＣは、カメラ筐体の一辺に平行となるように配列されている。なお、メインカメラＭＣおよびサブカメラＳＣはステレオカメラＶＣ１内にあっては撮像部と呼称することができる。

メインカメラＭＣは、ハイビジョン放送対応レンズ（ＨＤＴＶレンズ）等の高解像度で、焦点可変のいわゆるズームレンズを有したデジタルカメラシステムである。サブカメラＳＣは、携帯電話等に搭載される小型ユニットカメラや、マイクロカメラユニット（ＭＣＵ）などの低解像度で、単一焦点のデジタルカメラシステムである。なお、サブカメラＳＣのレンズにはズームレンズを用いても良いが、高解像度は要求されない。また、中心窩レンズ(中心画像に比べて端縁部の画像を大幅に圧縮させる特性有している）や魚眼レンズ、アナモフィックレンズなどの変倍率レンズを用いても良い。

中心窩レンズや魚眼レンズを用いることで、中心部の情報量が多い画像が得られ、アナモフィックレンズを用いることで、一方向に画角の広い画像が得られる。

このメインカメラＭＣおよびサブカメラＳＣの配列が、水平面に対して垂直となるようにステレオカメラＶＣ１を配置した状態を縦置きと呼称する。一方、メインカメラＭＣおよびサブカメラＳＣの配列が、水平面に対して平行となるようにステレオカメラＶＣ１を配置した状態を横置きと呼称する。

また、図３に示すステレオカメラＶＣ２は、メインカメラＭＣとサブカメラＳＣとが基線長Ｌ分だけ離れて配置されている点ではステレオカメラＶＣ１と同じであるが、メインカメラＭＣおよびサブカメラＳＣは、カメラ筐体の何れの辺に対しても斜めとなるように配列されている。図３においては、メインカメラＭＣおよびサブカメラＳＣの配列が、水平面に対して垂直よりも傾いた状態となるように配置した状態を示しており、状態を縦置きと呼称する。この状態に対して９０度回転させた状態を横置きと呼称する。なお、上記のような配置状態に対して、上下左右が入れ替わるように配置しても良い。

従来のステレオカメラでは、横置きが一般的であるが、本発明に係るステレオカメラでは縦置きが可能となる。縦置きの利点としては、従来のカムコーダと同様に縦長の構造となり、コンパクトで操作性に違和感がない構成となる。

図４は、図１に示したステレオカメラＶＣ１によるステレオ視画像の生成の概念を模式的に示す図である。図４の（ａ）部には、メインカメラＭＣにより得られた高解像度の２次元画像を示し、図４の（ｂ）部には、サブカメラＳＣにより得られた低解像度の２次元画像が示されている。２つのカメラは同じ被写体ＰＳおよび背景ＢＧを撮像しているが、レンズの倍率が異なるため、被写体ＰＳの大きさや画角が異なった画像が得られる。

図４の（ｃ）部には、図４の（ａ）部および（ｂ）部の画像から作成される画像を示しており、図４の（ｄ）部にはメインカメラＭＣにより得られた画像を示している。このような２つの画像を用いてディスプレイに３次元表示をするので、このような２つの画像をステレオ視画像と呼称する。このようなステレオ視画像を用いてディスプレイ上に３次元表示を行う。

ステレオカメラＶＣ１は、このようなステレオ視画像を用いて、ディスプレイ上において図４の（ｅ）部に示されるような被写体ＰＳが立体視可能な３次元表示を行う。

図５は、ステレオカメラＶＣ１を横置きで使用する場合の撮影イメージを示す図であり、被写体ＰＳおよび背景ＢＧを上方から見た模式図であり、縦軸には被写体ＰＳおよび背景ＢＧまでの距離を、横軸にはメインカメラＭＣの光軸を原点とした場合の、水平方向の長さを示し、メインカメラＭＣおよびサブカメラＳＣで撮影する場合の水平方向の画角を示している。メインカメラＭＣにおいては３段階の倍率で撮影を行う例を示しており、最も倍率の低い（最も画角の広い）状態で撮影した画像を第１のメインカメラ画像と呼称し、その画角をラインＬ１で示している。次に倍率の高い状態で撮影した画像を第２のメインカメラ画像と呼称し、その画角をラインＬ２で示している。そして、最も倍率の高い（最も画角の狭い）状態で撮影した画像を第３のメインカメラ画像と呼称し、その画角をラインＬ３で示している。一方、サブカメラＳＣはズーム機能がないので画角は１種類だけであり、その画角をラインＬ４で示している。

図６には、図５に示した撮影イメージで得られた画像を示す。図６の（ａ）部にはメインカメラＭＣで撮影した第１のメインカメラ画像を、図６の（ｂ）部にはメインカメラＭＣで撮影した第２のメインカメラ画像を、図６の（ｃ）部にはメインカメラＭＣで撮影した第３のメインカメラ画像を示している。

また、図６の（ｄ）部、（ｅ）部および（ｆ）部には、それぞれ（ａ）部〜（ｃ）部の画像を取得した際に、サブカメラＳＣで得られたサブカメラ画像を示している。このサブカメラ画像は、何れも同じ倍率の画像となる。なお、サブカメラＳＣの光軸は、基線長Ｌ分だけメインカメラＭＣから離れているので、サブカメラＳＣで得られた画像とメインカメラＭＣで得られた画像との間には視差に伴う差が見られる。また、メインカメラＭＣとサブカメラＳＣとでは、倍率が異なっており、被写体ＰＳおよび背景ＢＧの大きさも異なっている。

このように、異なるカメラパラメータを有するカメラによって得られた画像を用いて、ステレオ視画像を生成することが本発明の最大の特徴である。

＜実施の形態＞
図７は、ステレオカメラＶＣ１の構成を示すブロック図である。図７に示されるように、メインカメラＭＣおよびサブカメラＳＣは撮影情報取得部１に接続され、それぞれのカメラで得られた画像データとともに撮影情報が撮影情報取得部１に与えられる。そして、メインカメラＭＣおよびサブカメラＳＣで得られた画像の画像データは、一方がメイン画像として撮影情報取得部１を介してメイン画像取得部２に与えられる。また、メインカメラＭＣおよびサブカメラＳＣで得られた画像データは、撮影情報取得部１を介して距離情報取得部３に与えられ、距離情報が取得される。なお、距離情報取得部３には、距離情報取得のため既知のカメラ情報がカメラ情報蓄積部６から与えられる構成となっている。

メイン画像取得部２から出力されるメイン画像および、距離情報取得部３から出力される距離情報は、左右画像生成部４に与えられ、ステレオ視画像が生成される。そして、得られたステレオ視画像（左右画像）は、液晶画面等の３次元表示部５に与えられ、３次元表示される。

＜撮影情報の取得＞
撮影情報取得部１では、図６に示したような画像を取得する際の撮影情報を取得する。このときに取得する撮影情報としては、ズーム倍率、焦点距離、画角などの撮影時に変動する可能性があるパラメータである。ただし、ズーム倍率、焦点距離、画角の全ての情報を必要とするわけではなく、何れか１つの情報があれば、他の情報は計算により算出できる。

例えば、ＣＣＤセンサなどの受光部の縦寸法（ｈ）、横寸法（ｗ）および対角寸法（ｄ）が決まれば、各方向での画角（θ）は以下の数式（１）によって算出できる。

上記数式（１）において、ｆは焦点距離を、ｘは受光部の寸法（ｈ，ｗ，ｄ）を表している。

なお、サブカメラＳＣについては、単一焦点のレンズを使用する場合には、撮影情報を既知カメラ情報としてカメラ情報蓄積部６に保持する構成としても良い。

＜距離情報の取得＞
次に、距離情報取得部３における距離情報の取得について説明する。図８は、画像の取得から距離情報取得までの処理手順を示すフローチャートである。

図８に示すように、まず、ステップＳ１およびＳ２において、それぞれ第１の画像および第２の画像を取得する。なお、以下の説明では、第１の画像はメインカメラＭＣで得られた画像とし、第２の画像はサブカメラＳＣで得られた画像とする。

次に、撮影情報取得部１において、メインカメラＭＣおよびサブカメラＳＣでのそれぞれの撮影時におけるカメラ情報を取得する（ステップＳ３）。

次に、カメラ情報蓄積部６から既知カメラ情報を取得する（ステップＳ４）。この、既知カメラ情報には、サブカメラＳＣにおける固定された撮影情報や、ＣＣＤセンサ等の受光部の寸法および画素の配設間隔（画素ピッチ）の情報が含まれている。

次に、距離情報取得部３において、第１および第２の画像に対する対応点探索を行うための対応点探索領域の設定を行う（ステップＳ５）。

次に、距離情報取得部３において、第１および第２の画像における各画素の対応点探索処理を行う（ステップＳ６）。そして、対応付けられた画素に基づいて距離情報を算出することで、距離情報を取得する（ステップＳ７）。

＜対応点探索領域の設定＞
次に、図９〜図１８を用いて、対応点探索領域の設定処理について説明する。

図９は、対応点探索領域の設定処理を説明する概念図である。図９の（ａ）部にはメインカメラＭＣで撮影した第１のメインカメラ画像を、図９の（ｂ）部には第２のメインカメラ画像を、図９の（ｃ）部には第３のメインカメラ画像を示している。また、図９の（ｄ）部、（ｅ）部および（ｆ）部には、それぞれ（ａ）部〜（ｃ）部の画像を取得した際に、サブカメラＳＣで得られた画像を示している。

図９の（ａ）部に示される第１のメインカメラ画像においては、破線で囲まれた領域Ｒ１が対応点探索領域であり、図９の（ｄ）部に示すサブカメラ画像の全体が領域Ｒ１に対応する領域となる。

図９の（ｅ）部に示されるサブカメラ画像においては、破線で囲まれた領域Ｒ２が対応点探索領域であり、図９の（ｂ）部に示す第２のメインカメラ画像の全体が領域Ｒ２に対応する領域となる。

また、図９の（ｆ）部に示されるサブカメラ画像においては、破線で囲まれた領域Ｒ３が対応点探索領域であり、図９の（ｃ）部に示す第３のメインカメラ画像の全体が領域Ｒ３に対応する領域となる。

このように、第１〜第３のメインカメラ画像とサブカメラ画像とのペアにおいて、対応点探索領域を決定する処理が対応点探索領域の設定処理であり、対応点探索領域の決定には、以下に説明する第１〜第６の方法を採ることができる。

＜第１の方法＞
第１の方法は、テンプレートマッチングにより領域を決定するものであり、メインカメラＭＣによって得られた第１の画像およびサブカメラＳＣによって得られた第２の画像の一方に対して解像度変換処理を行い、複数のテンプレート画像を作成する。そして、他方の画像とのパターンマッチングを行って、最も一致度が高い領域を対応点探索領域として決定する。

図１０に、第１の方法の概念図を示す。図１０の（ａ）部、（ｂ）部および（ｃ）部には、第１の画像を用いて作成したそれぞれ解像度の異なる第１、第２および第３のテンプレート画像Ｇ１１、Ｇ１２およびＧ１３を示しており、図１０の（ｄ）部には、比較対象となるサブカメラ画像を示している。

図１１は解像度変換処理の概念を示す図であり、第１のテンプレート画像Ｇ１１、第２のテンプレート画像Ｇ１２および第３のテンプレート画像Ｇ１３が階層的に示されている。このように、解像度変換処理は、解像度を低くすることで大きな画像を縮小する処理であり、第１の画像がズームされた画像である場合は、第１の画像を用いてテンプレート画像を作成し、第１の画像がズームされていない画像の場合は、第２の画像を用いてテンプレート画像を作成する。この場合は、ズームされていない第１の画像の倍率よりも、第２の画像の倍率の方が高いということが前提である。

図１０においては、（ｂ）部に示される第２のテンプレート画像Ｇ１２と、（ｄ）部のサブカメラ画像の領域Ｒ１とが最も一致度が高いと判断される例を示しており、当該領域Ｒ１が対応点探索領域となる。なお、テンプレートマッチングの技術は周知の技術であるので説明は省略する。

＜第２の方法＞
第２の方法は、メインカメラＭＣによって得られた第１の画像およびサブカメラＳＣによって得られた第２の画像に対してオブジェクト認識により領域を決定するものである。例えばパターン認識を用いて第１および第２の画像での物体候補領域を決定し、物体候補領域内で最も大きな物体領域を特定し、当該物体領域の大きさに基づいて対応点探索領域を決定する。なお、物体候補領域内での最も大きな物体領域の特定は、各画像内で、物体領域ごとに総画素数を算出し、物体領域間での比較を行うことで特定することができる。

図１２は、オブジェクト認識により特定された物体を示す図であり、図１２の（ａ）部には、メインカメラＭＣによって得られた第１の画像における被写体ＰＳの画像を示しており、図１２の（ｂ）部には、サブカメラＳＣによって得られた第２の画像における被写体ＰＳの画像を示している。また、図１２の（ａ）部に示す第１の画像においては、被写体ＰＳの最大部分の幅をａとし、被写体ＰＳの両側面外方の領域の幅をｃおよびｄとして示している。また、図１２の（ｂ）部に示す第２の画像においては、被写体ＰＳの最大部分の幅をｂとし、この寸法と第１の画像における幅ａの寸法との比率に基づいて、対応点探索領域の外縁、すなわち被写体ＰＳの両側面外方の領域の幅ＸおよびＹを決定する。

すなわち、ａ：ｂ＝ｃ：Ｘの関係から、Ｘ（＝ｂｃ／ａ）が決まり、ａ：ｂ＝ｄ：Ｙの関係から、Ｙ（＝ｂｄ／ａ）が決まる。

図１３には、このようにして決定した対応点探索領域を示す。すなわち、図１３の（ａ）部には、メインカメラＭＣによって得られた第１の画像を示し、図１３の（ｂ）部には、サブカメラＳＣによって得られた第２の画像を示しており、第２の画像における破線で囲まれた領域Ｒ１が対応点探索領域である。

なお、上述した方法では視差方向のみ対応点探索領域の外縁を決定することができ、図１２および図１３に示す例は、ステレオカメラＶＣ１を横置きで使用した場合の例であり、横置きで使用する場合には、対応点探索領域の水平方向の外縁は決定できるが、垂直方向の外縁は画像の外縁によって規定される。同様に、ステレオカメラＶＣ１を縦置きで使用した場合は、対応点探索領域の垂直方向の外縁は決定できるが、水平方向の外縁は画像の外縁によって規定される。

＜第３の方法＞
第３の方法は、第２の方法で説明したオブジェクト認識により特定される物体領域をテンプレートとして用いて、第１の方法のテンプレートマッチングにより領域を決定するものである。

この場合、テンプレートが物体領域に限定されるので、テンプレートの大きさが小さくなり、マッチングに要する時間を短縮できる可能性がある。

なお、第１の画像がズームされた画像である場合は、第１の画像を用いてテンプレート画像を作成し、第１の画像がズームされていない画像の場合は、第２の画像を用いてテンプレート画像を作成するという点では第１の方法と同じである。

＜第４の方法＞
第４の方法は、メインカメラＭＣによって得られた第１の画像およびサブカメラＳＣによって得られた第２の画像を、一方の光軸中心に他方の画像が一致するように変換し、変換後に、一方の画像を他方の画像を撮影したカメラの撮像素子に合うような画像サイズに変換して重ね合わせることで対応点探索領域を決定するものである。

図１４に、第４の方法の概念図を示す。図１４の（ａ）部にはメインカメラＭＣおよびサブカメラＳＣのそれぞれの画角を、ラインＬＭおよびＬＳで示すとともに、メインカメラＭＣおよびサブカメラＳＣによってそれぞれ取得された第１の画像Ｇ１および第２の画像Ｇ２を示している。なお、第２の画像Ｇ２に示されている光軸中心は、第１の画像の光軸中心ＯＬを表している。なお、図においては光軸中心は便宜的にラインで示しているが実際には点である。

図１４の（ｂ）部にはサブカメラＳＣによって得られた第２の画像Ｇ２上に示された第１の画像の光軸中心ＯＬを、メインカメラＭＣによって得られた第１の画像Ｇ１の光軸中心に合わせた図を示している。なお、第２の画像Ｇ２上に第１の画像の光軸中心ＯＬを求める方法は、キャリブレーションにより求める。すなわち、第１の画像Ｇ１の光軸中心が第２の画像Ｇ２上でどこに位置するかは、製品出荷時のキャリブレーションにより一義的に決まる。従って、その情報があれば第２の画像Ｇ２上に第１の画像の光軸中心ＯＬを求めることは容易である。なお、後に図１８を用いて説明するエピポーラ線についてもキャリブレーションにより一義的に決めることができる。

このように、第２の画像上に示された第１の画像の光軸中心ＯＬと第１の画像Ｇ１の光軸中心とを一致させた後、一方の画像を他方の画像の撮像素子に合うような画像サイズに変換して重ね合わせる処理の概念図を図１５に示す。

図１５の（ａ）部においては第１の画像Ｇ１を示し、図１５の（ｂ）部においては、第２の画像Ｇ２を、第１の画像Ｇ１の撮像素子に合わせた画像サイズに変換した画像を示しており、両者を重ね合わせることで、重なり合った領域を対応点探索領域Ｒ１としている。

そして、変換後に合わせた側の撮像素子のサイズに画像を正規化する。例えば、撮像素子のサイズは既知カメラ情報として有しており、撮影画角は撮影情報として取得しているので、１画素あたりの画角が判る。すなわち、サブカメラＳＣで得られた第２の画像のサイズをメインカメラＭＣで得られた第１の画像のサイズに変更することができる。

例えば、サブカメラＳＣで得られた第２の画像の画像サイズが１０００×１０００（画素）、横方向の画角が１００度（縦方向も同じ）の場合、撮像素子の画素の配設間隔（画素ピッチ）が０．１であれば、１００×１００（画素）の撮像素子を用いて横方向の画角１００度までを撮影していることになる。

また、メインカメラＭＣで得られた第１の画像の画像サイズが１０００×１０００（画素）、横方向の画角が５０度（縦方向も同じ）の場合、撮像素子の画素ピッチが０．２であれば、２００×２００（画素）の撮像素子を用いて横方向の画角５０度までを撮影していることになる。

この条件で、第２の画像のサイズを第１の画像のサイズに合わせるならば、仮想の４００×４００（画素）の撮像素子で、画角１００度までを撮影することになるので、２０００×２０００（画素）の画像とする。これが画像の正規化である。

なお、上述した第４の方法は、ステレオカメラＶＣ１を横置きで使用する場合に有効な方法である。

＜第５の方法＞
第５の方法は、メインカメラＭＣによって得られた第１の画像およびサブカメラＳＣによって得られた第２の画像に対して、縦方向の画角の比率で領域を限定することで対応点探索領域を決定するものである。

図１６には、メインカメラＭＣおよびサブカメラＳＣの縦方向のそれぞれの画角を、ラインＬＭおよびＬＳで示している。図１６に示されるように、ステレオカメラＶＳ１に比較的近い位置での光軸中心ＯＬから、ラインＬＭまでの距離Ｓ１と、ラインＬＭとラインＬＳとの間の距離Ｓ２との比率は、ステレオカメラＶＳ１に比較的遠い位置での光軸中心ＯＬから、ラインＬＭまでの距離Ｓ１１と、ラインＬＭとラインＬＳとの間の距離Ｓ１２との比率と同じである。

このように、縦方向の画角においては、カメラからの距離に応じて画角の比率が同じであることを利用し、第１および第２の画像に対して対応点探索領域を限定する。

図１７は、画角の比率で領域を限定する概念図であり、図１７の（ａ）部には、第１の画像Ｇ１に対して光軸中心ＯＬの縦方向での位置を示している。この、光軸中心ＯＬの縦方向での位置に対して、上下の比率を算出し、それと同じ比率となるように第２の画像Ｇ２の縦方向の領域を限定することで、図１７の（ｂ）部に示す領域Ｒ１が限定される。この領域Ｒ１が対応点探索領域となる。

なお、光軸中心ＯＬの縦方向での位置は、縦方向の画角の中心ということで一義的に決まる。

＜第６の方法＞
第６の方法は、エピポーラ線を利用して対応点探索領域を決定するものである。すなわち、２つのカメラを用いて１つの３次元空間上の特徴点を撮影した場合、その点と２つのカメラのレンズ中心および、それぞれのカメラで得られた２つの画像平面（image plane）における特徴点の投影が１つの平面上に存在する。この平面はエピポーラ平面(epipolar plane) と呼称され、エピポーラ平面とそれぞれの画像との交線が，エピポーラ線(epipolar line)と呼称される。各画像においてエピポーラ線が交わる点はエピポール(epipole) と呼称される。

ここで、２つのカメラがキャリブレーション済みであり，互いの幾何関係が分かっている場合、一方の画像で１点が与えられると、エピポーラ平面と画像上のエピポーラ線が決まるので、元の特徴点が分からなくても、他方の画像上では対応点がエピポーラ線上に限定される。従って対応点の探索はエピポーラ線に沿って１次元の探索を行えば良い。

図１８には、２つのカメラのレンズ中心ＣＬ１およびＣＬ２と、特徴点Ｐによって規定されるエピポーラ平面ＥＰおよびそれぞれのカメラで得られた２つの画像平面ＩＰ１およびＩＰ２を示している。画像平面ＩＰ１およびＩＰ２に示される斜めの線が、エピポーラ線ＥＬであり、エピポーラ線ＥＬ上に示される２つの点がエピポールである。

このように、エピポーラ線に沿った１次元の領域を対応点探索領域とすることで、２次元平面を対応点探索領域とする場合に比べて探索範囲を限定することができ、対応点探索の効率化を図ることができる。

＜変形例＞
以上説明した第１〜第６の方法においては、メインカメラＭＣによって得られた第１の画像およびサブカメラＳＣによって得られた第２の画像のうちどちらをメイン画像として使用するかは、適宜判断するものとし、メイン画像が第１の画像である場合も、第２の画像である場合でも何れでも良い。

適宜判断する方法としては、対応点探索領域の画素数が多い方をメイン画像としても良いし、取得画像の画角が広い方をメイン画像としても良い。

＜対応点探索処理＞
次に、図１９〜図２３を用いて、対応点探索処理について説明する。

対応点探索処理には、基準画像上の任意の注目点に対応する参照画像上の点（対応点）を探索して求める。なお、参照画像とは、基準画像に対応する画像である。具体的には、ステレオ画像においては、同時刻に撮像した一対の画像のうち一方が基準画像であり、他方は参照画像である。また、時系列画像においては、同一のカメラで撮影された画像のうち、時間的に前の画像が基準画像であり、時間的に後の画像が参照画像である。この基準画像上の注目点に対してテンプレートが設定され、このテンプレートと対応する参照画像上のウインドウが探索され、この探索されたウインドウから対応点が求められる。

図１９は、対応点探索処理を説明する概念図である。図１９の（ａ）部には基準画像としてサブカメラＳＣで得られた第２の画像を示し、図１９の（ｂ）部には参照画像としてメインカメラＭＣで得られた第１の画像を示している。図１９においては注目点をＯＰ、対応点をＡＰとして示している。

上述したように、相関法を用いた対応点探索処理では、基準画像上の注目点に対して参照画像上の対応点を求めるために参照画像上を１画素ずつサンプリングするという処理がなされるが、本願のように、基準画像の倍率が低く、参照画像の倍率が高いような場合にはサンプリング間隔が大幅に異なり、参照画像の情報が抜け落ちて精度の良い距離情報の取得が困難となる。そこで、以下に説明する第１〜第４の方法を採ることで、精度の良い距離情報の取得を可能とする。

＜第１の方法＞
第１の方法は、基準画像上の基準位置を画素サイズよりも細かいサイズを持ったサブピクセルに設定してそれに対応する参照画像上の対応点を求めるものである。

図２０は、基準画像上にサブピクセルを設定する例を模式的に示す図であり、この図では１つの画素を横方向に３分割して３つのサブピクセルを設定した例を示しているが、画素の分割はこれに限定されるものではなく、また、さらに細かく分割することも可能である。これにより、基準画像と参照画像とで倍率が異なるような場合でも、サンプリング間隔を一致させることができる。

サブピクセルを用いる場合、従来から対応点を探索するために用いているウインドウとほぼ同様の探索用テンプレートを設定する。

すなわち、対応点の探索は、対応する画像どうしをそれぞれ一定の範囲の領域で切り出し、その領域どうしの相関値をとることで行うが、この領域をウインドウと呼称している。従来では、この領域であるウインドウは画素単位で生成されていて、画素の一部のみがウインドウに含まれ、それ以外は含まれないということはない。しかし、探索用テンプレートは、重心位置がサブピクセルレベルの位置である注目点であることから、画素単位の領域になるとは限らない。図２０においては、注目点がサブピクセルレベルの位置である場合に、注目点であるサブピクセルＳＰを中心にして探索用テンプレートＴＰを設定した例を示している。

なお、サブピクセルの推定方法としては、特開２００１−１９５５９７号公報に、画像間の相関値を算出後、最も相関値の高い位置とその周辺の相関値との位置関係から、画素と画素との間の相関値を直線式または曲線式に当て嵌めることによって補間し、相関値のピーク位置およびピーク値を推定する方法が開示されている。

＜第２の方法＞
第２の方法は、メインカメラＭＣによって得られた第１の画像およびサブカメラＳＣによって得られた第２の画像について、対応点探索領域内の画素数を比較し、画素数が多い方を基準画像とするものである。

図２１は、画素数が多い方を基準画像とした例を示しており、画素数が多いため注目点ＯＰを増やすことができる例を示している。

＜第３の方法＞
第３の方法は、デフォルトでは対応点探索を行う間隔を粗く設定しておき、カメラ情報としてズーム撮影が行われたという情報を取得した場合は、ズームの程度に合わせて対応点探索を行う間隔が変更されるように対応点のサンプリングの間隔を変更するものである。これは、ズームによりレンズの倍率が大きくなり、対応点探索領域が小さくなった場合には、より小さな間隔で対応点探索を行う必要が生じるからである。

このような方法を採ることで、ズームを使用しない場合には、対応点探索に費やす時間を軽減することができる。

＜第４の方法＞
第４の方法は、メインカメラＭＣによって得られた第１の画像およびサブカメラＳＣによって得られた第２の画像について、対応点探索領域内の画素数を比較し、画素数が少ない方に合わせてサンプリング間隔を設定するものである。

図２２の（ａ）部にはサブカメラＳＣによって得られた第２の画像を示し、図２２の（ｂ）部には、メインカメラＭＣによって得られた第１の画像を示している。

第２の画像において破線で囲まれた領域Ｒ１が対応点探索領域であり、これに対応するのは第１の画像全体である。

このように、ズームされた第１の画像は対応点探索領域内の画素数が多く、一方、第２の画像では対応点探索領域内の画素数が少ない。そこで、図２３に示すように、サンプリング間隔の調整を行う。

図２３の（ａ）部には、比較のため対応点探索領域Ｒ１を拡大して示しており、１つ１つの画素ＰＸも大きく示されている。

図２３の（ｂ）部には、メインカメラＭＣによって得られた第１の画像を示しているが、サンプリング点ＰＰは各画素に設けられるものではなく、画素２つ置きに設けられている。なお、サンプリング点ＰＰの設定は、カメラ情報としてのズーム倍率の情報に基づいて設定すれば良い。

なお、画素数が少ない方に合わせてサンプリング間隔を設定すると、多少の情報が抜け落ちることになるが、サンプリング間隔が広くなり過ぎないように設定することで、距離情報の精度をある程度以上に保つことができる。

＜変形例＞
先に説明したように、サブカメラＳＣのレンズに中心窩レンズや魚眼レンズ、あるいはアナモフィックレンズなどの変倍率レンズを用いた場合には、メインカメラＭＣで得られた第１の画像とサブカメラＳＣで得られた第２の画像とで、対応点探索領域のサイズが極端に異なる可能性がある。

このような場合には、対応点探索に使用されるウインドウの縦横比が、ウインドウを物体面に適用した場合に、物体面での縦横比が等方となるように設定して対応点探索を行っても良い。これにより、対応点探索における対応付け精度を低下させることを防止できる。

相関法を用いた対応点探索処理では、基準画像と対応する参照画像において複数設定されたウインドウとの相関値（類似度）を算出し、当該相関値に基づいて、テンプレートとウインドウとが対応しているか否かが判断される。

ここで、相関値の具体的な算出方法としては、例えば、ＳＡＤ（Sum of Absolute Difference）法、ＳＳＤ(Sum of Squared Difference)法（２乗残差法）、ＮＣＣ（Normalize cross Correlation）法（正規化相互相関法）等が知られている。

ＳＡＤ法は、テンプレートおよびウインドウの輝度値の絶対値による総和を求める関数を用いる方法であって、この関数を用いてテンプレートおよびウインドウごとの相関値が求められる。また、上記ＳＡＤ法等に比べてロバスト性を有する相関値演算の方法もある。具体的には、この方法は、画像パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行う方法である。そして、この方法を用いることで、ステレオ画像における左右カメラの撮影条件の差や、ノイズなどの影響を受けにくく、ロバスト性を有する相関値演算が実現可能である。

なお、画像パターンの周波数分解信号を計算する手法は、例えば高速フーリエ変換（ＦＦＴ）、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、ウエーブレット変換、アダマール変換などが知られている。このようなロバスト性を有する相関値演算として位相限定相関法（ＰＯＣ法）を使用することができる。

ＰＯＣ法においても、基準画像上にテンプレートが設定され、参照画像上に同じ大きさを持つウインドウが設定される。そして、テンプレートと各ウインドウとの相関値（ＰＯＣ値）が計算され、その相関値からテンプレートに対応するウインドウが求められる。まず、基準画像のテンプレートおよび参照画像のウインドウは、それぞれ２次元離散フーリエ変換され、規格化された後、合成され、２次元逆離散フーリエ変換される。このようにして、相関値であるＰＯＣ値が求められる。また、ＰＯＣ値はウインドウ内における画素ごとに離散的に求まるため、画素ごとの相関値を求めることができる。この点が、ウインドウごとの相関値を求める、上述のＳＡＤ法等とは異なる。このように、ＰＯＣ法においては、ウインドウ内における画素ごとに相関値を求めることができるので、ウインドウの設定範囲内の位相情報を用いて輝度変化に強い対応点探索が可能である。一方、ＳＡＤ法では輝度情報を使用するので、本願のように基準画像と参照画像とで、画像サイズが異なるような場合に適している。

＜距離情報の取得＞
上述した対応点探索により得られた注目点と対応点との関係から視差情報を得ることができ、当該視差情報から距離情報を取得することができる。

本願発明においては、図４を用いて説明したようにステレオカメラＳＶ１を縦置きで使用する場合もある。

視差情報が水平方向の視差であれば距離情報の算出は容易であるが、垂直方向の視差の場合は、３次元再構成により水平方向の視差に変更する必要がある。以下、図２４を用いて、この処理について説明する。

図２４においては、２つのカメラＣ１およびＣ２が基線長Ｌとなるように垂直方向に配設された状態にあるものとし、２つのカメラの焦点距離ｆ、撮像素子ＣＤの画素数および１画素の大きさμは等しいものとする。また、撮像面上の視差（ずれ画素数）をｄ（＝ｄ１＋ｄ２）とする。

このときの、物体ＯＢまでの距離Ｚは、以下の数式（２）で求まる。

また、３次元位置（Ｘ，Ｙ，Ｚ）は以下の数式（３）および（４）で計算される。ただし、（ｘ，ｙ）基準とするカメラＣ１の撮像素子ＣＤ上に物体が投影されている位置である。

これらによって得られた３次元情報は縦視差情報に基づくものであるので、横視差情報に変換する。横視差情報への変換は、疑似視点位置への変換となるので平行化状態として扱うことができ、数式（２）を数式（５）のように変換すれば良い。

なお、本願発明では、カメラＣ１とカメラＣ２とで、焦点距離ｆ、撮像素子ＣＤの画素数および１画素の大きさμが異なるので、数式（２）〜（４）の処理を行う前に平行化処理を行う必要がある。なお、３次元再構成や平行化処理は一般的な技術であり、例えば、早稲田大学理工学部電子・情報通信学科、近藤浩介著の平成１７年度卒業論文「ステレオカメラによる屋内混雑環境下での人物移動軌跡抽出に関する検討」に説明がなされている。

＜左右画像の生成＞
次に、距離情報取得部３において得られた距離情報およびメイン画像取得部２において得られたメイン画像に基づいて、左右画像生成部４においてステレオ視画像を得る方法について説明する。

図２５は、左右画像生成部４における左右画像の生成手順を説明するフローチャートである。

図２５に示されるように、ステップＳ２１およびＳ２２において、それぞれメイン画像および距離情報が入力されると、まず、ステップＳ２３において画像生成の対象を決定する。

次に、ステップＳ２４において左右画像の生成を行う。この左右画像の生成については以下に説明する第１〜第４の方法を採ることができる。

＜第１の方法＞
第１の方法は、サブカメラＳＣで得られた第２の画像を、距離情報に基づいて第１の画像並みの高画質な新たな第２の画像を生成するものである。

図２６は、第１の方法を概念的に示す図である。図２６の（ａ）部および（ｂ）部には、それぞれメインカメラＭＣで得られた第１の画像およびサブカメラＳＣで得られた第２の画像を示している。

この例では第１の画像をメイン画像とし、第２の画像からは距離情報を取得するものとしており、図２６の（ｃ）部にはメイン画像を、図２６の（ｄ）部には距離情報が得られた領域を模式的に示している。

ここで、距離情報は視差情報であるので、視差の値に従って第２の画像をずらし、新たな第２の画像を生成する。第１の方法においては、立体視できる領域（対応点を求めて視差情報が得られている領域）だけに着目し、その領域のみで左右の画像を構成する。すなわち、図２６の（ｄ）部に示されるように、第２の画像のうち、距離情報（視差情報）が得られている領域のみに着目し、その領域の画像を視差の値に従ってずらす。このとき、第２の画像では当該領域の画素数が少ないので、対応する第１の画像から画素情報を補充することで、第１の画像と同レベルの解像度を有した新たな第２の画像が得られる。

図２６の（ｅ）部には第１の画像を、図２６の（ｆ）部には新たな第２の画像を示す。新たな第２の画像は、視差の値に従って被写体ＰＳの位置がずれており、第１の画像および新たな第２の画像によりステレオ視画像を得ることができる。なお、この方法では、解像度の高い新たな第２の画像を生成するので高画質の画像を得ることができる。

上述した第１の方法を、図２７および図２８を用いて、より端的に説明する。図２７は、ステレオ視画像を得るための処理をしない場合の第１および第２の画像を示す図であり、図２７の（ａ）部にはメインカメラＭＣで撮影した第１のメインカメラ画像を、図２７の（ｂ）部には第２のメインカメラ画像を、図２７の（ｃ）部には第３のメインカメラ画像を示している。これらのメインカメラ画像は、倍率の異なる画像となっている。また、図２７の（ｄ）部、（ｅ）部および（ｆ）部には、それぞれ（ａ）部〜（ｃ）部の画像を取得した際に、サブカメラＳＣで得られた画像を示している。

このように、ステレオ視画像を得るための処理をしない場合は、第１の画像と第２の画像とは全く異なる画像となっており、両者からステレオ視画像を得ることはできない。

一方、図２８にはステレオ視画像を得るために、第１の方法を適用した場合の第１および第２の画像を示している。

図２８の（ａ）部にはメインカメラＭＣで撮影した第１のメインカメラ画像を、図２８の（ｂ）部には第２のメインカメラ画像を、図２８の（ｃ）部には第３のメインカメラ画像を示しており、これらのメインカメラ画像は、倍率の異なる画像となっているが、これらにそれぞれ対応する第２の画像も、倍率の異なる画像となっている。

すなわち、図２８の（ｄ）部〜（ｆ）部には、上述した第１の方法によって得られた新たな第２の画像が示されており、それぞれの新たな第２の画像は、第１の画像に対して、視差に相当するずれを含んだ画像となっている。

このように、本来は解像度等でメインカメラＭＣには及ばないサブカメラＳＣで得られた第２の画像が、第１の画像と同レベルの高画質の画像となり、両画像をステレオ視画像として用いることで、違和感のない３次元表示が可能となる。

＜第１の方法の変形例＞
以上説明した第１の方法は、立体視できる領域のみでステレオ視画像を構成する方法であったが、第２の画像をメイン画像とし、第１の画像でカバーしている領域のみでステレオ視画像を生成する方法を採っても良い。

この場合、第１の画像の方が、画角が広い場合は、新たな第２の画像として第１の画像を視差の値に従ってずらした画像を使用する。

上述した第１の方法の変形例を、図２９および図３０を用いて、より端的に説明する。図２９は、ステレオ視画像を得るための処理をしない場合の第１および第２の画像を示す図であり、図２９の（ａ）部にはメインカメラＭＣで撮影した第１のメインカメラ画像を、図２９の（ｂ）部には第２のメインカメラ画像を、図２９の（ｃ）部には第３のメインカメラ画像を示している。これらのメインカメラ画像は、倍率の異なる画像となっている。また、図２９の（ｄ）部、（ｅ）部および（ｆ）部には、それぞれ（ａ）部〜（ｃ）部の画像を取得した際に、サブカメラＳＣで得られた画像を示している。

図３０にはステレオ視画像を得るために、第１の方法の変形例を適用した場合の第１および第２の画像を示している。

図３０の（ａ）部には第１の画像としてメインカメラＭＣで撮影した画像を示しているが、これは図２９の（ｄ）部に示されるサブカメラＳＣで撮影した第２の画像と同じ画角の画像である。従ってこの場合は、図２９の（ｄ）部に示す第２の画像について視差の値だけ被写体ＰＳをずらすことで図３０の（ａ）部に示す新たな第１の画像を生成する。図３０の（ｄ）部において領域Ｒ１０として示す部分が図２９の（ｄ）部に示した第２の画像のデータを使用している。

また、図３０の（ｅ）部に示す画像は、領域Ｒ１１として示す部分に図２９の（ｂ）部に示した第１の画像のデータを使用し、それ以外の領域は第２の画像のデータを使用している。そして、図３０の（ｅ）部に示す画像について視差の値だけ被写体ＰＳをずらすことで図３０の（ｂ）部に示す新たな第１の画像を生成する。

同様に、図３０の（ｆ）部に示す画像は、領域Ｒ１２として示す部分が図２９の（ｃ）部に示した第１の画像のデータを使用し、それ以外の領域は第２の画像のデータを使用している。そして、図３０の（ｆ）部に示す画像について視差の値だけ被写体ＰＳをずらすことで図３０の（ｂ）部に示す新たな第１の画像を生成する。

以上のように、第１の方法の変形例によれば、第２の画像をメイン画像として使用し、第１の画像の方が画角が広い場合（図２９の（ａ）部）、ステレオ視画像は図３０の（ｄ）部のようになり、領域全てが３次元表示できる領域となるか、あるいは第１の画像でカバーされる部分のみが３次元表示できる画像となる。このため、３次元表示できる領域の精度を高めることができる。

ただし、実際問題としては図３０の（ｂ）部に示す新たな第１の画像を生成しようとすると図３１の（ａ）部に示すような画像となってしまう。これは領域Ｒ１１の画像のみは、図２９の（ｂ）部に示した第１の画像のデータを使用しているためである。

このような場合、図３０の（ｂ）部に示すような画像を得るのであれば、図３１の（ｂ）部に示すように、領域Ｒ１１に含まれない被写体ＰＳの画像ＰＳＸについては、例えば、領域Ｒ１１をずらす方向とは反対側にある画像情報をミラーのようにコピーすることで、完全な被写体ＰＳの画像を得るようにすれば良い。この場合、画像ＰＳＸのあった位置には、さらに隣にある周辺画像ＰＨの画像情報をミラーのようにコピーすれば良い。なお、コピーの代わりに画像情報の移動でも良いが、その場合は、周辺画像ＰＨを移動した後には、画像をぼかすような処理をすることで穴埋めしても良い。

また、対応点探索領域の設定処理において説明したオブジェクト認識のような手法を用いることで、被写体ＰＳ全体をオブジェクトとして認識して図３１の（ｃ）部に示されるように領域Ｒ１１に含めるように処理することで、被写体ＰＳの一部だけが分離されることを防止できる。

また、図３１の（ａ）部に示すように、領域Ｒ１１に含まれない被写体ＰＳの画像ＰＳＸが分離した場合、画像ＰＳＸについては削除するようにしても良い。削除の方法としては、領域Ｒ１１をずらす方向とは反対側にある画像情報をミラーのようにコピーしても良いし、画像情報を移動しても良い。

＜第２の方法＞
第２の方法は、メインカメラＭＣで得られた第１の画像およびサブカメラＳＣで得られた第２の画像のうち、画角の広い方をメイン画像とし、立体視できる領域のみをメイン画像に嵌め込むというものである。

図３２は、第２の方法を概念的に示す図である。図３２の（ａ）部および（ｂ）部には、それぞれメインカメラＭＣで得られた第１の画像およびサブカメラＳＣで得られた第２の画像を示している。

この例では、画角の広い第２の画像をメイン画像とし、第１の画像からは距離情報を取得するものとしており、図３２の（ｄ）部にはメイン画像を、図３２の（ｃ）部には距離情報が得られた領域を模式的に示している。

第１の画像を第２の画像に嵌め込むことで新たな第１の画像を生成する。図３２の（ｅ）部には、このようにして得られた新たな第１の画像を示している。図３２の（ｅ）部において領域Ｒ２１で示される領域が、図３２の（ｃ）部に示される距離情報が得られた領域に相当する第１の画像を嵌め込んだ領域である。

このように、第２の方法においては、立体視できる領域を、画角の広いメイン画像に嵌め込むことで新たな第１の画像を生成するので、図３２の（ｆ）部において領域Ｒ２２で示す領域のみで正確な立体視が可能となる。

上述した第２の方法を、図３３および図３４を用いて、より端的に説明する。図３３は、ステレオ視画像を得るための処理をしない場合の第１および第２の画像を示す図であり、図３３の（ａ）部にはメインカメラＭＣで撮影した第１のメインカメラ画像を、図３３の（ｂ）部には第２のメインカメラ画像を、図３３の（ｃ）部には第３のメインカメラ画像を示している。これらのメインカメラ画像は、倍率の異なる画像となっている。また、図３３の（ｄ）部、（ｅ）部および（ｆ）部には、それぞれ（ａ）部〜（ｃ）部の画像を取得した際に、サブカメラＳＣで得られた画像を示している。

一方、図３４にはステレオ視画像を得るために、第２の方法を適用した場合の第１および第２の画像を示している。

図３４の（ａ）部には第１の画像としてメインカメラＭＣで撮影した画像を示しているが、これは図３３の（ｄ）部に示されるサブカメラＳＣで撮影した第２の画像よりも画角が広い画像である。従ってこの場合は、第１の画像をメイン画像とし、第２の画像を、第１の画像に嵌め込むことで図３４の（ｄ）部に示す新たな第２の画像を生成する。図３４の（ｄ）部に示す新たな第２の画像において、領域Ｒ２３が図３３の（ｄ）部に示されるサブカメラＳＣで撮影した第２の画像を嵌め込んだ領域であり、領域Ｒ２３以外の部分がメイン画像である第１の画像の領域となる。この場合、領域Ｒ２３は距離情報が得られた領域に相当する。

また、図３３の（ｅ）部に示されるサブカメラＳＣで撮影した第２の画像は、図３３の（ｂ）部に示されるメインカメラＭＣで撮影した第１の画像よりも画角が広いので、この場合は、第２の画像をメイン画像とし、第１の画像を、第２の画像に嵌め込むことで図３４の（ｂ）部に示す新たな第１の画像を生成する。図３４の（ｂ）部に示す新たな第１の画像において、領域Ｒ２４が図３３の（ｂ）部に示されるメインカメラＭＣで撮影した第１の画像を嵌め込んだ領域であり、領域Ｒ２４以外の部分がメイン画像である第２の画像の領域となる。この場合、領域Ｒ２４は距離情報が得られた領域に相当する。

同様に、図３３の（ｆ）部に示されるサブカメラＳＣで撮影した第２の画像は、図３３の（ｃ）部に示されるメインカメラＭＣで撮影した第１の画像よりも画角が広いので、この場合は、第２の画像をメイン画像とし、第１の画像を、第２の画像に嵌め込むことで図３４の（ｃ）部に示す新たな第１の画像を生成する。図３４の（ｃ）部に示す新たな第１の画像において、領域Ｒ２５が図３３の（ｃ）部に示されるメインカメラＭＣで撮影した第１の画像を嵌め込んだ領域であり、領域Ｒ２５以外の部分がメイン画像である第２の画像の領域となる。この場合、領域Ｒ２５は距離情報が得られた領域に相当する。

なお、上述した第２の方法においても、第１の方法と同様に、新たな第１あるいは第２の画像を生成しようとすると、被写体ＰＳの一部だけが分離される可能性があるが、この場合も、第１の方法において説明したように画像情報のコピーや移動で対応することができる。

＜第２の方法の変形例１＞
以上説明した第２の方法は、メインカメラＭＣで得られた第１の画像およびサブカメラＳＣで得られた第２の画像のうち、画角の広い方をメイン画像とし、立体視できる領域のみをメイン画像に嵌め込むというものであったが、立体視できる領域のみ立体画像として構成し、その他の領域は、擬似３次元データを表示するように画像を生成する方法を採っても良い。

図３５は、第２の方法の変形例１を概念的に示す図である。図３５の（ａ）部および（ｂ）部には、それぞれメインカメラＭＣで得られた第１の画像およびサブカメラＳＣで得られた第２の画像を示している。

この例では、画角の広い第２の画像をメイン画像とし、第１の画像からは距離情報を取得するものとしており、図３５の（ｄ）部にはメイン画像を、図３５の（ｃ）部には距離情報が得られた領域を模式的に示している。

第１の画像を第２の画像に嵌め込むことで新たな第１の画像を生成する。図３５の（ｅ）部には、このようにして得られた新たな第１の画像を示している。図３５の（ｅ）部において領域Ｒ３１で示される領域が、第１の画像を嵌め込んだ領域である。

一方、図３５の（ｆ）部には、距離情報が得られていない領域を塗りつぶして模式的に示している。このように、図３５の（ｅ）部において領域Ｒ３１で示される領域以外は距離情報が得られていないので、その部分は擬似３次元領域で表示する。

この結果、図３５の（ｈ）部に示す第２の画像のように領域Ｒ３２で示される領域が、ステレオ視が可能な領域となる。なお、実際に距離情報を算出した以外の領域も視差情報を有することとなるので、ステレオ視画像を作成する場合には、実際に距離情報を算出した以外の領域もずらす必要がある。第２の画像をメイン画像とし第１の画像に嵌め込む場合、領域Ｒ３１内の画像を視差分だけずらすとともに、領域Ｒ３１以外の領域も視差分だけずらすことになる。図３５の（ｇ）部の例では図に向かって左方向にずらすことになる。この結果、図の右端に有効なデータが存在しない領域ＮＲが存在することになる。

このように、立体視できる領域のみ立体画像として構成し、その他の領域は、擬似３次元データを表示するように画像を生成することで、立体視が可能な領域を広げることができる。

ここで、擬似３次元データの作成は、例えば特開２００５−１５１５３４号公報に開示されている。当該文献には、距離情報が与えられていない２次元画像から奥行き推定データを作成し、この奥行き推定データを用いて擬似立体画像を生成する方法が開示されており、基本となる複数のシーンのそれぞれについて奥行き値を示す複数の基本奥行きモデルを用いて奥行き推定データを作成することが開示されている。

なお、得られた距離情報は、擬似立体画像を生成するための複数の基本奥行きモデル（曲面モデル）から、適切なものを決定するのに使用しても良い。

＜第２の方法の変形例２＞
以上説明した第２の方法は、メインカメラＭＣで得られた第１の画像およびサブカメラＳＣで得られた第２の画像のうち、画角の広い方をメイン画像とし、実際に距離情報を取得した領域を立体視できる領域としてメイン画像に嵌め込むというものであったが、実際に距離情報を取得した領域以外の領域には擬似的な視差情報を与える構成としても良い。

図３６は、第２の方法の変形例２を概念的に示す図である。図３６にはステレオ視画像を得るために、第２の方法の変形例２を適用した場合の第１および第２の画像を示している。

図３６の（ａ）部には第１の画像としてメインカメラＭＣで撮影した画像を示しているが、これは図３３の（ｄ）部に示されるサブカメラＳＣで撮影した第２の画像よりも画角が広い画像である。従ってこの場合は、第１の画像をメイン画像とし、第２の画像を、第１の画像に嵌め込むことで図３６の（ｄ）部に示す新たな第２の画像を生成する。図３６の（ｄ）部に示す新たな第２の画像において、領域Ｒ２３が図３３の（ｄ）部に示されるサブカメラＳＣで撮影した第２の画像を嵌め込んだ領域であり、領域Ｒ２３以外の部分が擬似的に視差情報を与えられた第１の画像の領域となる。この場合、領域Ｒ２３は実際に距離情報が得られた領域であり、これ以外の領域でも擬似的な視差情報を有することとなるので、結果的に、領域Ｒ２３１で示される部分がステレオ視ができる領域となる。

また、図３３の（ｅ）部に示されるサブカメラＳＣで撮影した第２の画像は、図３３の（ｂ）部に示されるメインカメラＭＣで撮影した第１の画像よりも画角が広いので、この場合は、第２の画像をメイン画像とし、第１の画像を、第２の画像に嵌め込むことで図３６の（ｂ）部に示す新たな第１の画像を生成する。図３６の（ｂ）部に示す新たな第１の画像において、領域Ｒ２４が図３３の（ｂ）部に示されるメインカメラＭＣで撮影した第１の画像を嵌め込んだ領域であり、領域Ｒ２４以外の部分が擬似的に視差情報を与えられた第１の画像の領域となる。この場合、領域Ｒ２４は実際に距離情報が得られた領域であり、これ以外の領域でも擬似的な視差情報を有することとなるので、結果的に、領域Ｒ２４１で示される部分がステレオ視ができる領域となる。

同様に、図３３の（ｆ）部に示されるサブカメラＳＣで撮影した第２の画像は、図３３の（ｃ）部に示されるメインカメラＭＣで撮影した第１の画像よりも画角が広いので、この場合は、第２の画像をメイン画像とし、第１の画像を、第２の画像に嵌め込むことで図３６の（ｃ）部に示す新たな第１の画像を生成する。図３６の（ｃ）部に示す新たな第１の画像において、領域Ｒ２５が図３３の（ｃ）部に示されるメインカメラＭＣで撮影した第１の画像を嵌め込んだ領域であり、領域Ｒ２５以外の部分が擬似的に視差情報を与えられた第１の画像の領域となる。この場合、領域Ｒ２５は実際に距離情報が得られた領域であり、これ以外の領域でも擬似的な視差情報を有することとなるので、結果的に、領域Ｒ２５１で示される部分がステレオ視ができる領域となる。

ここで、擬似的な視差情報は距離によって異なる変動値（遠くになるほど与える視差は小さくなる）として与えても良いし、距離に無関係の一律の固定値として与えても良い。ただし、固定値にした場合、被写体より前にあるような物体の視差値を与えると３次元表示した場合に違和感がある画像となるので、視差値はできるだけ小さな値にしておくことが望ましい。

また、実際に距離情報を算出した以外の領域も視差情報を有する場合、ステレオ視画像を作成する場合には、実際に距離情報を算出した以外の領域もずらす必要がある。

例えば、第１の画像をメイン画像とし、図３３の（ｄ）部に示されるサブカメラＳＣで撮影した第２の画像を、第１の画像に嵌め込むことで図３６の（ｄ）部に示す新たな第２の画像を生成する場合、領域Ｒ２３内の画像を視差分だけずらすとともに、領域Ｒ２３以外の領域も視差分だけずらすことになる。図３３の（ｄ）部の例では図に向かって右方向にずらすことになる。この結果、図の左端に有効なデータが存在しない領域ＮＲが存在することになる。

同様の理由から、図３６の（ｂ）部の例では図に向かって左方向にずらすことになる。この結果、図の右端に有効なデータが存在しない領域ＮＲが存在することになる。

また、図３６の（ｃ）部の例では図に向かって左方向にずらすことになる。この結果、図の右端に有効なデータが存在しない領域ＮＲが存在することになる。

＜第３の方法＞
第３の方法は、取得した距離情報を補助データとして用いて擬似３次元データを作成するものである。

図３７は、第３の方法を概念的に示す図である。図３７の（ａ）部および（ｂ）部には、それぞれメインカメラＭＣで得られた第１の画像およびサブカメラＳＣで得られた第２の画像を示している。

この例では、画角の広い第２の画像をメイン画像とし、第１の画像からは距離情報を取得するものとしており、図３７の（ｃ）部には距離情報が得られた領域を模式的に示している。

この距離情報を補助データとして用いて作成した擬似３次元データにより得られた新たな第２の画像を図３７の（ｄ）部に模式的に示す。

この擬似３次元データで構成される新たな第２の画像と第１の画像とを用いることで、ステレオ視が可能な画像を生成することができる。

ここで、上述した特開２００５−１５１５３４号公報には、予め、奥行き値を示す奥行きモデルを準備しておき、当該モデルを用いて奥行き推定データを作成する技術が開示されているが、取得した距離情報を補助データとして用いて擬似３次元データを作成する方法を採ることで、奥行きモデルを予め準備する必要がなくなる。

＜第４の方法＞
第４の方法は、ズーム倍率に従って基線長を変更した画像をステレオ視のための左右の画像とするというものである。

図３８は、ステレオカメラＶＣ１を横置きで使用する場合の撮影イメージを示す図であり、被写体ＰＳおよび背景ＢＧを上方から見た模式図であり、縦軸には被写体ＰＳおよび背景ＢＧまでの距離を、横軸にはメインカメラＭＣの光軸を原点とした場合の、水平方向の長さを示し、メインカメラＭＣおよびサブカメラＳＣで撮影する場合の水平方向の画角を示している。

図３８においては、ズーム撮影とはステレオカメラＶＣ１の位置を変えて撮影を行ったことと等価と考え、被写体ＰＳに対するステレオカメラＶＣ１の位置を種々に変えた例を模式的に示している。

被写体ＰＳとなる物体との距離は、ズーム倍率が高くなるに従い近くなるものであり、距離が近くなる、すなわち視差値が大きくなるということに鑑みて、ステレオ視画像の生成のためには、ズーム倍率に従って、基線長を変更した画像を生成することで、人間の視覚にとって違和感のない画像を生成することができる。

この場合、基線長の変更量に関しては、ズーム倍率に従って、予めテーブルとして与えられた値を用いる。

なお、基線長を変更すると、ズーム倍率次第では、被写体が画角内から外れる場合がある。その場合は、生成する画像サイズを大きくするようにすれば良い。

図３９には、図３８に示した撮影イメージで得られた画像を示す。

図３９の（ａ）部にはメインカメラＭＣで撮影したメインカメラ画像を示し、図３９の（ｂ）部には、図３９の（ａ）部のメインカメラ画像を取得した際に、サブカメラＳＣで得られた画像を示している。

このような画像に対して、基線長を変更して得られた画像を図３９の（ｃ）部および（ｄ）部に示す。

図３９の（ｃ）部には、基線長を変更しない場合にメインカメラＭＣで得られた画像を示し、図３９の（ｄ）部には、基線長を長くした場合にメインカメラＭＣで得られた第１の画像を示している。図３９の（ｄ）部に示されるように、基線長を長くすることで、被写体ＰＳが画角内から外れる可能性があるが、その場合は図３９の（ｅ）部に示されるように被写体ＰＳが画角内に収まるように、図３９の（ｄ）部ではみ出した部分の画像を作成するとともに、画像サイズを広げる処理を行う。なお、はみ出した部分の画像は、基線長を変更しない場合にメインカメラＭＣで得られた画像に基づいて作成すれば良い。

ここで、ステレオ視画像には、図３９の（ｃ）部に示す画像と、図３９の（ｅ）部に示す画像とを使用するが、図３９の（ｅ）部の画像は画像サイズが広くなっているので、画像サイズが左右の画像で異なることとなる。そこで、図３９の（ｅ）部に示すような画像を作成した場合は、図３９の（ｃ）部に示す画像に対しても何らかの画像を付加して画像サイズを大きくしておく。ここで、画像を付加する方法としては、有効なデータが存在しない領域ＮＲを付加する方法や、端の画像をミラーのようにコピーする方法を採ることができる。

以上説明したように、ステレオ視画像の生成においては第１〜第４の方法を採ることで、違和感のない３次元表示を行うことができる。

なお、上述した第１〜第４の方法は、単独で用いても良いが組み合わせて用いても良い。例えば、第１の方法と第４の方法を組み合わせることで、ズームした場合にも違和感のない３次元表示を行うことができる。

＜実施の形態の変形例＞
以上説明した本発明に係る実施の形態においては、第１または第２の画像から取得した距離情報を使用することを前提とするものであったが、距離情報を使用せずにステレオ視画像を生成するものとしても良い。

すなわち、図４０の（ａ）部に示されるようにステレオカメラＶＣ１を横置きで使用し、得られた第１および第２の画像を用いてステレオ視画像を生成しても良い。

図４０の（ｂ）部および（ｃ）部には、それぞれメインカメラＭＣで得られた第１の画像およびサブカメラＳＣで得られた第２の画像を示しており、図４０の（ｄ）部には両画像から得られた高解像度の新たな第２の画像を示している。

すなわち、高解像度の第１の画像の情報を、解像度の低い第２の画像に与えることで、第２の画像の解像度を高めることで新たな第２の画像を作成し、第１の画像および新たな第２の画像をステレオ視画像として用いることで、３次元表示を行うことができる。

なお、上記のような使い方をするためには、ステレオカメラＶＣ１は、縦置き状態、横置き状態を感知するためのセンサを有し、横置き状態をした場合は距離情報を使用せずにステレオ視画像を生成するシステムとなるように、回路接続が変更されるように構成すれば良い。なお、上記センサや回路接続の変更は図７では図示しないマイクロコンピュータ等の制御装置で制御される。

＜付加的機能＞
以上説明したステレオカメラにおいては、撮影者が間違ってサブカメラＳＣを手で隠してしまったような場合に、映像はメインカメラＭＣだけで見ているために気付かない可能性がある。このような場合、メインカメラＭＣで得られた映像と、サブカメラＳＣで得られた映像とを比較し、両画像の類似性を検出し、類似性が全くないような場合には警告を発するような機能を有していても良い。

類似性の検出以外にも、単純に画像の明るさの違いで検出しても良い。サブカメラＳＣが手で隠されている場合には、サブカメラＳＣで得られた映像は暗くなるからである。

また、これが原因でメインカメラＭＣで得られた映像と、サブカメラＳＣで得られた映像とのマッチングが取れない場合には、擬似立体画像の技術を用いて推定したり、時系列的に前後の画像から補間しても良い。

この発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１撮影情報取得部
２メイン画像取得部
３距離情報取得部
４左右画像生成部
ＭＣメインカメラ
ＳＣサブカメラ

本発明に係るステレオカメラの第１の態様は、第１の画像を撮影する第１の撮像部と、前記第１の撮像部とは異なるカメラパラメータを有し、第２の画像を撮影する第２の撮像部と、前記第１および第２の画像の各画素について対応付けを行って視差情報を含む距離情報を取得する距離情報取得部と、前記第１および第２の画像の一方と、前記距離情報とに基づいてステレオ視画像を生成する左右画像生成部とを備え、前記距離情報取得部が、前記第１および第２の画像の撮影の際の撮影情報に基づいて、前記第１および第２の画像に対して、一方をテンプレートとして他方とのテンプレートマッチングを行い、最も一致度が高い領域を対応点探索を行う対応点探索領域として決定する。

本発明に係るステレオカメラの第２の態様は、前記距離情報取得部が、前記第１および第２の画像の撮影倍率が異なる場合は、前記テンプレートとなる方の画像の解像度変換処理を行って前記テンプレートを作成する。

本発明に係るステレオカメラの第３の態様は、第１の画像を撮影する第１の撮像部と、前記第１の撮像部とは異なるカメラパラメータを有し、第２の画像を撮影する第２の撮像部と、前記第１および第２の画像の各画素について対応付けを行って視差情報を含む距離情報を取得する距離情報取得部と、前記第１および第２の画像の一方と、前記距離情報とに基づいてステレオ視画像を生成する左右画像生成部とを備え、前記距離情報取得部が、前記第１および第２の画像の撮影の際の撮影情報に基づいて、対応点探索を行う対応点探索領域を決定し、前記第１および第２の画像の撮影の際の撮影情報に基づいて、前記第１および第２の画像に対して、オブジェクト認識により物体候補となる物体候補領域を抽出し、得られた物体候補領域どうしの比較を行って、最も一致度が高い領域を対応点探索を行う対応点探索領域として決定する。

本発明に係るステレオカメラの第４の態様は、第１の画像を撮影する第１の撮像部と、前記第１の撮像部とは異なるカメラパラメータを有し、第２の画像を撮影する第２の撮像部と、前記第１および第２の画像の各画素について対応付けを行って視差情報を含む距離情報を取得する距離情報取得部と、前記第１および第２の画像の一方と、前記距離情報とに基づいてステレオ視画像を生成する左右画像生成部と、を備え、前記距離情報取得部が、前記第１および第２の画像の撮影の際の撮影情報に基づいて、前記第１および第２の画像に対して、一方の画像上に他方の画像の光軸中心を設定し、一方の画像上に設定された前記他方の画像の光軸中心と、前記他方の画像の光軸中心とを合わせ、前記一方の画像を他方の画像を撮影した撮像素子に合う画像サイズに変換して重ね合わせることで、対応点探索を行う対応点探索領域を決定する。

本発明に係るステレオカメラの第５の態様は、第１の画像を撮影する第１の撮像部と、前記第１の撮像部とは異なるカメラパラメータを有し、第２の画像を撮影する第２の撮像部と、前記第１および第２の画像の各画素について対応付けを行って視差情報を含む距離情報を取得する距離情報取得部と、前記第１および第２の画像の一方と、前記距離情報とに基づいてステレオ視画像を生成する左右画像生成部とを備え、前記距離情報取得部が、前記第１および第２の画像の撮影の際の撮影情報に基づいて、前記第１および第２の画像に対して、光軸中心を中心とした縦方向の画角の比率で対応点探索を行う対応点探索領域を決定する。

本発明に係るステレオカメラの第６の態様は、第１の画像を撮影する第１の撮像部と、前記第１の撮像部とは異なるカメラパラメータを有し、第２の画像を撮影する第２の撮像部と、前記第１および第２の画像の各画素について対応付けを行って視差情報を含む距離情報を取得する距離情報取得部と、前記第１および第２の画像の一方と、前記距離情報とに基づいてステレオ視画像を生成する左右画像生成部とを備え、前記距離情報取得部が、前記第１および第２の画像の撮影の際の撮影情報に基づいて、前記第１および第２の画像に対して、エピポーラ線に沿った１次元の領域を対応点探索を行う対応点探索領域として決定する。

本発明に係るステレオカメラの第７の態様は、前記距離情報取得部が、前記第１および第２の画像のそれぞれの前記対応点探索領域に対して、対応点探索の基準側となる領域内の基準位置を、画素サイズよりも細かいサイズのサブピクセルの位置に設定して対応点探索を行う。

本発明に係るステレオカメラの第８の態様は、前記距離情報取得部が、前記第１および第２の画像のそれぞれの前記対応点探索領域の画素数が多い方を基準画像として対応点探索を行う。

本発明に係るステレオカメラの第９の態様は、第１の画像を撮影する第１の撮像部と、前記第１の撮像部とは異なるカメラパラメータを有し、第２の画像を撮影する第２の撮像部と、前記第１および第２の画像の各画素について対応付けを行って視差情報を含む距離情報を取得する距離情報取得部と、前記第１および第２の画像の一方と、前記距離情報とに基づいてステレオ視画像を生成する左右画像生成部とを備え、前記距離情報取得部は、前記第１および第２の画像の撮影の際の撮影情報に基づいて、対応点探索を行う対応点探索領域を決定し、前記距離情報取得部が、前記第１および第２の画像の撮影の際にズーム撮影が行われた場合には、ズームの程度に合わせて対応点のサンプリング間隔を変更する。

本発明に係るステレオカメラの第１０の態様は、前記距離情報取得部が、ズーム倍率が大きくなるほど対応点のサンプリング間隔を小さくする。

本発明に係るステレオカメラの第１１の態様は、前記距離情報取得部が、前記第１および第２の画像のそれぞれの前記対応点探索領域の画素数が少ない方の画素数に合わせて対応点のサンプリング間隔を変更する。

本発明に係るステレオカメラの第１２の態様は、第１の画像を撮影する第１の撮像部と、前記第１の撮像部とは異なるカメラパラメータを有し、第２の画像を撮影する第２の撮像部と、前記第１および第２の画像の各画素について対応付けを行って視差情報を含む距離情報を取得する距離情報取得部と、前記第１および第２の画像の一方と、前記距離情報とに基づいてステレオ視画像を生成する左右画像生成部とを備え、前記距離情報取得部は、前記第１および第２の画像の撮影の際の撮影情報に基づいて、対応点探索を行う対応点探索領域を決定し、対応点探索に使用されるウインドウの縦横比が、ウインドウを物体面に適用した場合に、物体面での縦横比が等方となるように設定して対応点探索を行う。

【００２２】
本発明に係るステレオカメラの第１３の態様は、第１の画像を撮影する第１の撮像部と、前記第１の撮像部とは異なるカメラパラメータを有し、第２の画像を撮影する第２の撮像部と、前記第１および第２の画像の各画素について対応付けを行って視差情報を含む距離情報を取得する距離情報取得部と、前記第１および第２の画像の一方と、前記距離情報とに基づいてステレオ視画像を生成する左右画像生成部とを備え、前記距離情報取得部は、前記第１および第２の画像の撮影の際の撮影情報に基づいて、対応点探索を行う対応点探索領域を決定し、前記第１の撮像部が前記第２の撮像部よりも解像度が高く、前記左右画像生成部は、前記第１の画像をメイン画像とし、前記視差情報に従って前記第２の画像内の前記対応点探索領域の画像をずらして新たな第２の画像を生成し、前記第１の画像および前記新たな第２の画像を前記左右画像とする。
【００２３】
本発明に係るステレオカメラの第１４の態様は、前記左右画像生成部が、前記第２の画像の前記対応点探索領域内の画素数が、前記第１の画像の前記対応点探索領域内画素数よりも少ない場合には、前記第１の画像から画素情報を補充する。

本発明に係るステレオカメラの第１５の態様は、第１の画像を撮影する第１の撮像部と、前記第１の撮像部とは異なるカメラパラメータを有し、第２の画像を撮影する第２の撮像部と、前記第１および第２の画像の各画素について対応付けを行って視差情報を含む距離情報を取得する距離情報取得部と、前記第１および第２の画像の一方と、前記距離情報とに基づいてステレオ視画像を生成する左右画像生成部とを備え、前記距離情報取得部は、前記第１および第２の画像の撮影の際の撮影情報に基づいて、対応点探索を行う対応点探索領域を決定し、前記第１の撮像部が前記第２の撮像部よりも解像度が高く、前記左右画像生成部は、前記第１の画像よりも前記第２の画像の方が撮影倍率が高い場合は、前記第２の画像を前記第１の画像に嵌め込むことで新たな第２の画像を生成し、前記第１の画像および前記新たな第２の画像を前記左右画像とする。

本発明に係るステレオカメラの第１６の態様は、第１の画像を撮影する第１の撮像部と、前記第１の撮像部とは異なるカメラパラメータを有し、第２の画像を撮影する第２の撮像部と、前記第１および第２の画像の各画素について対応付けを行って視差情報を含む距離情報を取得する距離情報取得部と、前記第１および第２の画像の一方と、前記距離情報とに基づいてステレオ視画像を生成する左右画像生成部とを備え、前記距離情報取得部は、前記第１および第２の画像の撮影の際の撮影情報に基づいて、対応点探索を行う対応点探索領域を決定し、前記第１の撮像部が前記第２の撮像部よりも解像度が高く、前記左右画像生成部は、前記第２の画像よりも前記第１の画像の方が撮影倍率が高い場合は、前記第１の画像を前記第２の画像に嵌め込むことで新たな第１の画像を生成し、前記新たな第１の画像および前記第２の画像を前記左右画像とする。

本発明に係るステレオカメラの第１７の態様は、第１の画像を撮影する第１の撮像部と、前記第１の撮像部とは異なるカメラパラメータを有し、第２の画像を撮影する第２の撮像部と、前記第１および第２の画像の各画素について対応付けを行って視差情報を含む距離情報を取得する距離情報取得部と、前記第１および第２の画像の一方と、前記距離情報とに基づいてステレオ視画像を生成する左右画像生成部とを備え、前記距離情報取得部は、前記第１および第２の画像の撮影の際の撮影情報に基づいて、対応点探索を行う対応点探索領域を決定し、前記第１の撮像部がズーム機能を有し、前記左右画像生成部は、前記第１の画像がズームされた画像である場合は、ズーム倍率に従って、基線長を変更した画像を生成することで新たな第１の画像を生成する。

本発明に係るステレオカメラの第１８の態様は、前記左右画像生成部が、前記新たな第１の画像を生成する場合に、基線長の変更によっても被写体が画像内に収まるように画像サイズを変更する。

本発明に係るステレオカメラの第１９の態様は、前記第２の撮像部のレンズが中心窩レンズである。

本発明に係るステレオカメラの第２０の態様は、前記第２の撮像部のレンズがアナモフィックレンズである。

本発明に係るステレオカメラの第２１の態様は、第１の画像を撮影する第１の撮像部と、前記第１の撮像部とは異なるカメラパラメータを有し、第２の画像を撮影する第２の撮像部と、前記第１および第２の画像の各画素について対応付けを行って視差情報を含む距離情報を取得する距離情報取得部と、前記第１および第２の画像の一方と、前記距離情報とに基づいてステレオ視画像を生成する左右画像生成部とを備え、前記第１の撮像部は前記第２の撮像部よりも解像度が高く、前記ステレオカメラは、前記第１および第２の撮像部の配列が、水平面に対して平行となる横置きで前記ステレオカメラが配置されたことを感知するセンサをさらに備え、横置きを感知した場合は、前記距離情報取得部の動作を停止し、前記左右画像生成部は、前記第１の画像の情報を前記第２の画像に与えることで、新たな第２の画像を作成し、前記第１の画像および前記新たな第２の画像を前記左右画像とする。

本発明に係るステレオカメラの第１の態様によれば、カメラパラメータの異なる２つの撮像部を有するステレオカメラであってもステレオ視画像を得ることができ、ステレオ視画像を低コストで生成することができ、第１および第２の画像の撮影の際の撮影情報、例えばズーム倍率等に基づいて対応点探索領域を決定することができ、また、テンプレートマッチングにより対応点探索領域を決定できる。

図１〜図３は、本発明に係るステレオカメラの使用形態を説明する図である。図１では、ステレオカメラＶＣ１を縦置きで使用する例を示しており、図２では、ステレオカメラＶＣ１を横置きで使用する例を示している。

Claims

第１の画像を撮影する第１の撮像部と、
前記第１の撮像部とは異なるカメラパラメータを有し、第２の画像を撮影する第２の撮像部と、
前記第１および第２の画像の各画素について対応付けを行って視差情報を含む距離情報を取得する距離情報取得部と、
前記第１および第２の画像の一方と、前記距離情報とに基づいてステレオ視画像を生成する左右画像生成部と、を備えるステレオカメラ。
前記距離情報取得部は、
前記第１および第２の画像の撮影の際の撮影情報に基づいて、対応点探索を行う対応点探索領域を決定する、請求項１記載のステレオカメラ。
前記距離情報取得部は、
前記第１および第２の画像に対して、一方をテンプレートとして他方とのテンプレートマッチングを行い、最も一致度が高い領域を前記対応点探索領域として決定する、請求項２記載のステレオカメラ。
前記距離情報取得部は、
前記第１および第２の画像の撮影倍率が異なる場合は、前記テンプレートとなる方の画像の解像度変換処理を行って前記テンプレートを作成する、請求項３記載のステレオカメラ。
前記距離情報取得部は、
前記第１および第２の画像に対して、オブジェクト認識により物体候補となる物体候補領域を抽出し、得られた物体候補領域どうしの比較を行って、最も一致度が高い領域を前記対応点探索領域として決定する、請求項２記載のステレオカメラ。
前記距離情報取得部は、
前記第１および第２の画像に対して、一方の画像上に他方の画像の光軸中心を設定し、一方の画像上に設定された前記他方の画像の光軸中心と、前記他方の画像の光軸中心とを合わせ、前記一方の画像を他方の画像を撮影した撮像素子に合う画像サイズに変換して重ね合わせることで、前記対応点探索領域を決定する、請求項２記載のステレオカメラ。
前記距離情報取得部は、
前記第１および第２の画像に対して、光軸中心を中心とした縦方向の画角の比率で前記対応点探索領域を決定する、請求項２記載のステレオカメラ。
前記距離情報取得部は、
前記第１および第２の画像に対して、エピポーラ線に沿った１次元の領域を前記対応点探索領域として決定する、請求項２記載のステレオカメラ。
前記距離情報取得部は、
前記第１および第２の画像のそれぞれの前記対応点探索領域に対して、対応点探索の基準側となる領域内の基準位置を、画素サイズよりも細かいサイズのサブピクセルの位置に設定して対応点探索を行う、請求項２記載のステレオカメラ。
前記距離情報取得部は、
前記第１および第２の画像のそれぞれの前記対応点探索領域の画素数が多い方を基準画像として対応点探索を行う、請求項２記載のステレオカメラ。
前記距離情報取得部は、
前記第１および第２の画像の撮影の際にズーム撮影が行われた場合には、ズームの程度に合わせて対応点のサンプリング間隔を変更する、請求項２記載のステレオカメラ。
前記距離情報取得部は、
ズーム倍率が大きくなるほど前記対応点のサンプリング間隔を小さくする、請求項１１記載のステレオカメラ。
前記距離情報取得部は、
前記第１および第２の画像のそれぞれの前記対応点探索領域の画素数が少ない方の画素数に合わせて対応点のサンプリング間隔を変更する、請求項２記載のステレオカメラ。
前記距離情報取得部は、
対応点探索に使用されるウインドウの縦横比が、ウインドウを物体面に適用した場合に、物体面での縦横比が等方となるように設定して対応点探索を行う、請求項２記載のステレオカメラ。
前記第１の撮像部は前記第２の撮像部よりも解像度が高く、
前記左右画像生成部は、
前記第１の画像をメイン画像とし、前記視差情報に従って前記第２の画像内の前記対応点探索領域の画像をずらして新たな第２の画像を生成し、前記第１の画像および前記新たな第２の画像を前記左右画像とする、請求項２記載のステレオカメラ。
前記左右画像生成部は、
前記第２の画像の前記対応点探索領域内の画素数が、前記第１の画像の前記対応点探索領域内画素数よりも少ない場合には、前記第１の画像から画素情報を補充する、請求項１５記載のステレオカメラ。
前記第１の撮像部は前記第２の撮像部よりも解像度が高く、
前記左右画像生成部は、
前記第１の画像よりも前記第２の画像の方が撮影倍率が高い場合は、前記第２の画像を前記第１の画像に嵌め込むことで新たな第２の画像を生成し、前記第１の画像および前記新たな第２の画像を前記左右画像とする、請求項２記載のステレオカメラ。
前記第１の撮像部は前記第２の撮像部よりも解像度が高く、
前記左右画像生成部は、
前記第２の画像よりも前記第１の画像の方が撮影倍率が高い場合は、前記第１の画像を前記第２の画像に嵌め込むことで新たな第１の画像を生成し、前記新たな第１の画像および前記第２の画像を前記左右画像とする、請求項２記載のステレオカメラ。
前記第１の撮像部はズーム機能を有し、
前記左右画像生成部は、
前記第１の画像がズームされた画像である場合は、ズーム倍率に従って、基線長を変更した画像を生成することで新たな第１の画像を生成する、請求項２記載のステレオカメラ。
前記左右画像生成部は、
前記新たな第１の画像を生成する場合に、基線長の変更によっても被写体が画像内に収まるように画像サイズを変更する、請求項１９記載のステレオカメラ。
前記第２の撮像部のレンズは、中心窩レンズである、請求項１記載のステレオカメラ。
前記第２の撮像部のレンズは、アナモフィックレンズである、請求項１記載のステレオカメラ。
前記第１の撮像部は前記第２の撮像部よりも解像度が高く、
前記ステレオカメラは、
前記第１および第２の撮像部の配列が、水平面に対して平行となる横置きで前記ステレオカメラが配置されたことを感知するセンサをさらに備え、横置きを感知した場合は、前記距離情報取得部の動作を停止し、
前記左右画像生成部は、
前記第１の画像の情報を前記第２の画像に与えることで、新たな第２の画像を作成し、前記第１の画像および前記新たな第２の画像を前記左右画像とする、請求項１記載のステレオカメラ。