JP6793608B2 - ステレオ画像処理装置 - Google Patents

Description

本発明は、ステレオ画像処理装置に関する。

３次元物体認識技術としてステレオカメラ技術がある。本技術は、異なる位置に配置した２台のカメラの画像の写り方の違いを利用して、三角法に基づき視差を検出し、その視差を用いて物体の奥行きや位置を検出する技術である。本技術を用いることにより、観察対象の位置を正確に検出することができる。一方でステレオカメラ技術は、実効的な視野が狭い課題がある。

下記特許文献１は、『十分な視野を確保しつつ、演算処理内容を低減できて高速処理動作が可能な撮像装置を提供する。』ことを課題として、『左右のカメラ４、６は、撮像素子の中心としての撮像中心を、光学レンズの光軸としての光学中心に対して、基線方向で互いに反対方向に同じ量オフセットさせている。対応点探索においては、右カメラ６の画像で確認された対応点Ｒを、左カメラ４の画像における対応点Ｌを探索する探索開始の基準点とする。このようにすれば、無限遠対応点を基準点とする場合に比べて視差を短くでき、演算処理内容を少なくできて高速処理動作が可能となる。』という技術を記載している（要約参照）。

下記特許文献２は、『ステレオ視の撮像領域から正確な距離情報を取得しつつ、非ステレオ視の撮像領域も活用して広い実効視野を得る。』ことを課題として、『ステレオカメラ１の各カメラ１ａ，１ｂの光軸が同一平面上で非平行となるように配置し、ステレオ視の領域ＲＭと非ステレオ視の領域ＲＳとにより実効視野を拡大し、更にステー２の中心位置に旋回軸３を設け、駆動モータ４によりカメラ系全体を回転させて広域の走査を可能とする。これにより、侵入物監視装置に適用する場合、何れか一方のカメラの視野内に物体が侵入すれば、その侵入物を検知することができ、光軸を平行に配置したステレオカメラを用いた装置に比較し、検知可能範囲を拡大することができる。また、単に、単眼式のカメラを複数台併設した監視装置に比較し、ステレオ法を併用した確実な検知を行うことができ、誤検出を防止して信頼性を向上することができる。』という技術を記載している（要約参照）。

下記特許文献３は、『より広い空間範囲内における検出対象物体の検出が可能であり且つ被写体までの距離算出の精度および物体検出の精度が高いステレオカメラ装置およびステレオカメラ装置を設置した車両を提供する。ステレオカメラ装置（１）は、第１の撮像部（２）と、第１の撮像部（２）が撮像する範囲とは、基線長に沿った方向と異なる方向にずれた範囲を撮像する第２の撮像部（３）と、前記第１の撮像部（２）で撮像した第１の画像と前記第２の撮像部（３）で撮像した第２の画像との重複領域を用いて被写体までの距離を算出する制御部と（４）、を備える。』という技術を開示している（要約参照）。

特開２０１４−２３８５５８号公報 特開２００５−０２４４６３号公報 ＷＯ２０１５／１８２１４７

特許文献１記載の撮像装置は、光を受光するセンサを２つ備えている。左センサは左レンズから受光し、右センサは右レンズから受光する。特許文献１において、左センサの中心は、左レンズの光軸に対して右レンズから離れる方向にシフトして配置されており、右センサの中心は右レンズの光軸に対して左レンズから離れる方向にシフトして配置されている。特許文献１はこの構成により、ステレオ視野を広げることを図っている。他方で特許文献１においては、センサが検出することができる視野範囲はセンササイズに依拠するので、さらに実効視野を増やすためには装置サイズを大きくするなどの工夫が必要であると考えられる。

特許文献２においては、２つのカメラを傾けることにより、ステレオ視野と非ステレオ視野（単眼視野）を生成し、実効的な視野を拡大している。ただし特許文献２記載の構成においては、例えば撮影画像の周辺部が歪んでいる場合、２つのカメラが撮影した画像の歪みが互いに一致しないので、物体の奥行きや位置を検出する精度に関して課題がある。特に、広視野を実現するようなレンズは、中心部に対して周辺部が歪んでいるので、検出精度が大幅に低下してしまう。このような理由により、特許文献２の構成が有用であるのは歪みの小さいレンズを用いる場合のみに限定されると考えられる。

特許文献３においては、センサを垂直方向にシフトさせている。この構成は、歪みのあるレンズを用いて視野を拡大する効果が小さいと考えられる。また水平方向における視野を拡大させる効果は乏しい。

本発明は、上記のような課題に鑑みてなされたものであり、広視野を実現する歪みのあるレンズを用いることにより、実効的な視野を拡大することができる、ステレオ画像処理装置を提供するものである。

本発明に係るステレオ画像処理装置において、２つのセンサはレンズの光軸に対して互いから離れる方向に向かってシフトして配置されており、前記レンズは、視野角が大きい領域においてｆθレンズよりも歪みが大きい特性を有する。

本発明に係るステレオ画像処理装置によれば、広視野を実現する歪みのあるレンズを用いることにより、実効的な視野を拡大することができる。

実施形態１に係るステレオカメラ１の構成図である。 ステレオカメラ１の光軸に対する２つのセンサの位置の模式図である。 実施形態１に係るステレオ画像処理装置が備える処理部２の機能ブロック図である。 距離ｄの距離Ｌに対する依存性を示すグラフである。 センサシフト量と実効的な視野の増加量との間の関係を示すグラフである。 視野角の違いを説明する図である。 実施形態１に係る遮光カバーの構成図である。 実施形態２に係るステレオカメラ１の構成図である。 実施形態３に係るステレオカメラ１の構成図である。 ステレオカメラ１の光軸に対する２つのセンサの位置の模式図である。

＜実施の形態１＞
図１は、本発明の実施形態１に係るステレオカメラ１の構成図である。画像処理部については後述する。ここではステレオカメラ１から見た対象物体１００の奥行きと位置を検知する場合について説明する。ステレオカメラ１は、右側のカメラＣＲと左側のカメラＣＬとその出力を処理する処理部（詳細は後述）を備えている。

右側のカメラＣＲについて説明する。対象物体１００を反射または透過した光１００Ｒは、右側のカメラＣＲのレンズＬＲの中心を経て、センサＣＳＲに入射する。このとき、レンズＬＲの中心を透過した光１００ＲはセンサＣＳＲ上の中心ＭＲ付近ではなく、センサＣＳＲの左側に入射する。図１右下に、センサＣＳＲの平面図を示す。センサＣＳＲはレンズＬＲの光軸ＯＲに対してカメラＣＬから離れる側にシフトして配置されている。したがって光１００Ｒは、センサ中心ＭＲの左側に入射する。

左側のカメラＣＬについて説明する。対象物体１００を反射または透過した光１００Ｌは、左側のカメラＣＬのレンズＬＬの中心を経て、センサＣＳＬに入射する。このとき、レンズＬＬの中心を透過した光１００ＬはセンサＣＳＬ上の中心ＭＬ付近ではなく、センサＣＳＬの右側に入射する。図１左下に、センサＣＳＬの平面図を示す。センサＣＳＬはレンズＬＬの光軸ＯＬに対してカメラＣＲから離れる側にシフトして配置されている。したがって光１００Ｌは、センサ中心ＭＬの右側に入射する。

対象物体１００とレンズとの間の距離をＬ、２つのカメラ間の距離（以下、基線長と呼ぶ）をＤ、レンズとセンサ間（レンズＬＲとセンサＣＳＲ間、レンズＬＬとセンサＣＳＬ間）距離をＬｃ、センサ（センサＣＳＲまたはセンサＣＳＬ）上の光１００Ｒ、光１００Ｌの入射位置と軸ＯＲ、軸ＯＬとの間の距離をｄとする。幾何的な相似の関係からＬ：Ｄ／２＝Ｌｃ：ｄとなる。したがって、ｄ＝ＤＬｃ／（２Ｌ）と表すことができる。レンズの焦点距離をｆとした場合、レンズの公式からＬｃ＝ｆＬ／（Ｌ−ｆ）と表すことができる。これら式により、ｄ＝ＤｆＬ／｛（２Ｌ）（Ｌ−ｆ）｝と表すことができる。

特許文献１においては、ステレオカメラ１が対象物体１００の距離を検出することができる最大距離をＬｍａｘとすると、センサＣＳＲとセンサＣＳＬを互いから離れる方向に向かってＤｆＬｍａｘ／｛（２Ｌ）（Ｌ−ｆ）｝だけシフトしている。同文献においてはこれにより、２つのセンサが検出することができる共通視野（ステレオ視野）を広げることを図っている。

ここでいう最大距離Ｌｍａｘとは、対象物体１００の距離と位置を検出することができるのに足る精度の画像を取得することができる最大距離である。例えば対象物体１００が極端に遠くに存在する場合、センサＣＳＲとセンサＣＳＬが取得する画像がぼやけているので、対象物体１００の距離や位置を正確に検出することができない（検出精度が許容範囲を下回る）。最大距離Ｌｍａｘは、そのような不具合が生じない最大距離である。

本実施形態１においては、センサＣＳＲとセンサＣＳＬを互いから離れる方向にＤｆＬｍａｘ／｛（２Ｌｍａｘ）（Ｌｍａｘ−ｆ）｝よりも大きくシフトして配置している。これにより、２つのセンサが検出することができる共通視野Ｓ（図１の塗りつぶし領域）、センサＣＳＲのみが検出することができる視野Ｔ１（斜線部）、センサＣＳＬのみが検出することができる視野Ｔ２（斜線部）、が生じることになる。視野Ｔ１とＴ２を広げることにより、単眼視野ではあるものの、ステレオカメラ１が検出することができる視野角を広げることができる。

さらに、本実施形態１におけるレンズＬＲとレンズＬＬは、視野角θに対して周辺部が等距離射影（ｆθ（ｆ：焦点距離、θ：視野角））よりも歪んでいる。ｆθレンズは、視野角θが大きくなるのにともなって像高も大きくなる特性を有している。これに対して本実施形態１におけるレンズＬＲとレンズＬＬは、視野角θが小さい領域においては概ねｆθレンズと同じ特性（すなわちθと像高が比例する）を有するが、視野角θが大きい領域（すなわち周辺部）においては像高がｆθレンズよりも小さい。換言すると本実施形態１におけるレンズＬＲとＬＬは、周辺部においてはθが大きくなるにつれて像高の増分が次第に小さくなるような特性を有する。このようなレンズの１例としては正射影（ｆｓｉｎθ）レンズが挙げられる。これにより以下に説明するように、同じセンササイズであっても視野角をｆθレンズよりも広げることができる。

センサの分解能は、センサの画素に対する視野によって決まる。すなわち分解能を小さくすることは、センサの画素に対する視野を大きくすることに相当する。そこで本実施形態１においては、歪みのあるレンズを用いることにより、周辺部の画素に対する視野を大きくして視野を広げることを図っている。この場合、周辺部の分解能は中心部（θが小さい領域）よりも低くなる。しかし例えば車載カメラやドローン向けカメラの場合、進行方向の分解能は高いことが必要だが、周辺部の分解能は中心よりも低くしてもよい。このような用途においては、本実施形態１の構成を用いて周辺部の視野角を広げることによるメリットのほうが大きいと考えられる。

距離Ｌは、車載カメラやドローンの場合は５０ｍ〜２５０ｍ（もしくはそれ以上）、検査装置などに搭載する場合は２ｍ〜５ｍ、ロボットなどに搭載する場合は１０ｍ〜２０ｍである。レンズとセンサとの間の距離Ｌｃは、各用途に応じて対象物体１００が最も鮮明に見えるよう調整されている。

図２は、ステレオカメラ１の光軸に対する２つのセンサの位置の模式図である。縦軸は垂直方向、横軸は水平方向を示している。原点は、光１００Ｌ、光１００Ｒの位置を示している。点線は、カメラＣＲのセンサＣＳＲを示している。一点差線は、カメラＣＬのセンサＣＳＬを示している。本実施形態１においては、左右のカメラの検出するセンサ範囲が異なる。これにより、２つのセンサが検出することができる共通範囲Ｓａ（塗りつぶし領域）、センサＣＳＲのみが検出することができる範囲Ｔａ１（斜線部）、センサＣＳＬのみが検出することができる範囲Ｔａ２（斜線部）が発生する。これら範囲は、図１で説明した共通視野Ｓ、視野Ｔ１、視野Ｔ２に対応するものである。

図３は、本実施形態１に係るステレオ画像処理装置が備える処理部２の機能ブロック図である。Ａ／Ｄ変換器２００Ｒと２００Ｌはそれぞれ、センサＣＳＲとＣＳＬが検出した画像信号をデジタル信号に変換する。補正回路２０１Ｒと２０１Ｌは、歪んだ画像を所定の射影方式に変換する。例えば、正射影から中心射影（ｆｔａｎθ）に変換する。ステレオマッチング回路２０２は、共通視野（図２の視野Ｓａ）における画像を距離画像データに変換し、画像認識回路２０３に対して出力する。単眼視野（図２の視野Ｔａ１とＴａ２）における画像も同時に画像認識回路２０３に対して出力される。画像認識回路２０３は、取得した画像データ内に含まれる物体を認識することにより、車／人／障害物などの有無、距離情報、標識／信号などについての情報を生成し、制御回路２０４に対して出力する。制御回路２０４は、画像認識回路２０３から取得した情報に応じて車を制御する。

＜実施の形態１：先行技術との差異点について＞
以下では特許文献１と本実施形態１との間の相違点について説明する。特許文献１においても本実施形態１と同様にセンサの位置を光軸からシフトさせている。しかし同文献においては、ステレオ視野を広げるためにセンサをシフトさせている点が本実施形態１とは異なる。これに対して本実施形態１は、ステレオ視野を意図的に小さくし、単眼視野を増やすことにより、実効的な視野を拡大することを図っている。

検査装置やロボットなどに搭載するステレオカメラは、全視野において物体の奥行きや位置を高精度に検出することが求められる。したがってステレオ視野を最大限確保することが要求される場合がある。これに対し、車載やドローンなどに搭載するステレオカメラは、進行方向に向かって所定角度範囲内においては物体の奥行きや位置を高精度に検出する必要があるが、それ以外の角度においては必要とされない。したがって単眼視による検出であっても性能要求を満たすことができる。そこで本実施形態１においては。特許文献１とは異なり、ステレオ視野を意図的に小さくし、単眼視野を増やすことにより、実効的な視野を拡大している。

図４は、距離ｄの距離Ｌに対する依存性を示すグラフである。縦軸は距離ｄを示しており、横軸は距離Ｌを示している。図４（ａ）の各線は基線長Ｄを示しており、図４（ｂ）の各線はレンズの焦点距離ｆを示している。図４（ａ）において、レンズ焦点距離ｆ：３．５ｍｍ、基線長Ｄ：０．０５ｍ〜１．００ｍとした。図４（ｂ）において、レンズ焦点距離ｆ：１ｍｍ〜１０ｍｍ、基線長Ｄ：０．３５ｍとした。

図４によれば、例えば焦点距離ｆが３．５ｍｍ、基線長Ｄが０．３５ｍｍ、距離Ｌが１００ｍの場合、距離ｄは約０．００６ｍｍとなる。これは、センサの画素サイズを０．００３ｍｍとすれば、２画素分に相当する。この条件は、基線長Ｄだけでなく、焦点距離ｆを変えても大きく変化しない。例えば焦点距離ｆが１０ｍｍ、基線長０．３５ｍ、距離Ｌが５０ｍの場合であっても距離ｄは０．０４０ｍｍ弱であり、十数画素分である。特許文献１においては、このように２画素から十数画素だけセンサをシフトすることにより、ステレオ視野を最大限確保している。これに対して本実施形態１は、例えば０．１ｍｍ〜数ｍｍ（センササイズにも依存）ずらすことにより、実効的な視野を拡大している。すなわち本実施形態１は、センサをシフトさせる量が特許文献１よりも格段に大きいということができる。

図５は、センサシフト量と実効的な視野の増加量との間の関係を示すグラフである。ここでは比較のため特許文献３における同関係を併記した。光学条件は以下の通りである：（ａ）射影方式：正射影、（ｂ）レンズ焦点距離ｆ：３．５ｍｍ、（ｃ）センサ画素サイズ：２．７５μｍ（水平）×２．７５μｍ（垂直）、（ｄ）センサ画素数：１９５６画素（水平）×１２６６画素（垂直）。

特許文献３においては、２つのカメラのセンサをレンズに対して垂直かつ反対方向にシフトすることにより、実効的な視野を拡大している。この方式は、センサのシフトにより実効的な視野を拡大できる一方で、広視野を実現する歪みのあるレンズの効果を得ることが困難である。図５の点線もこのことを表している。これに対して本実施形態１のようにセンサを水平方向にシフトさせることにより、実効的な視野をより大きく増加できることがわかる。この理由は以下のように考えられる。

歪みのあるレンズを用いることにより、周辺部の画素に対する視野が大きくなる。通常ステレオカメラは水平方向において物体を認識することが求められるので、水平方向のセンササイズを大きくしている。したがって左右方向における歪みの効果を得やすい。これに対して垂直方向は水平方向に比べセンササイズが小さいので、歪みの効果がほとんど得られない。車載センサは、水平方向の情報が重要であるので、通常の撮像用のセンサに対して水平方向のセンササイズがさらに大きくなることが予想される。したがって、垂直方向に対して水平方向の実効的な視野の増加量はさらに大きくなると考える。

図６は、視野角の違いを説明する図である。図６（ａ）は本実施形態１に係るステレオカメラ１の構成を示し、図６（ｂ）は特許文献１におけるステレオカメラの構成を示す。ステレオカメラをトラックや軽自動車などのボンネットが短い車に搭載する場合、車両の近傍を検出することも要求される。図６の点Ｐ１と点Ｐ２はステレオ視可能な対象物体の位置を示している。本実施形態１は、カメラＣＲが左側の視野を検出し、カメラＣＬが右側の視野を検出するので、２つのカメラが同じ視野を検出する特許文献１よりも手前側を検出することができる。したがって本実施形態１は、近傍を検出する観点においても特許文献１より有利である。

本実施形態１のステレオカメラ１は、距離Ｌが５０ｍ〜２５０ｍの対象物体１００にフォーカスを合わせているので、近傍の物体は多少ぼけてしまうことが考えられる。ただし近傍の物体を検出する場合、２つの画像間における対象物体１００の位置ずれ量が非常に大きいので、多少ぼけた画像であっても位置検出に際して支障はない。

本実施形態１の構成は、ステレオカメラの小型化にも寄与する。車載ステレオカメラにおいては、視野外の光がカメラに入射しないように、レンズとフロントガラスの間にカバーを配置する。例えば、図６の一点鎖線がフロントガラスとすると、視野を確保するためには距離Ｊ１、距離Ｊ２より大きなカバーが必要となる。図６に示すように距離Ｊ２に対して距離Ｊ１が小さいので、本実施形態１のステレオカメラ１は、カバーのサイズを特許文献１よりも小さくすることができ、結果としてステレオカメラ１を小型化することができる。

例えば、２つのカメラが同じ視野を検出している従来のステレオカメラの場合、遮光カバーは視野を遮らないように視野角と同じもしくはそれ以上の角度で取り付ける必要がある。これに対して本実施形態１においては、図６（ａ）の遮光カバー３１Ｒと遮光カバー３１Ｌのように、２つのカメラの実効的な視野角よりも小さい傾きで遮光カバーを取り付けることができる。これにより、ステレオカメラ１を小型化することができる。

図７は、遮光カバーの例を示したものである。（ａ）は、本実施形態１の構成の遮光カバー、（ｂ）は、従来の構成の遮光カバーを示している。なお、従来の構成は特許文献１で対象物体が遠方（例えば距離Lが１００ｍ）にある場合を示している。また、（ａ）、（ｂ）は同じ視野を実現するための遮光カバーを示している。そして、（ｃ）、（ｄ）は、（ａ）、（ｂ）の遮光カバーを一体化したものである。

（ａ）の場合、右側のカメラのセンサの右側検出限界１Ｒと左側検出限界３Ｒに沿うように遮光カバー３１Ｒが配置してあり、左側のカメラのセンサの右側検出限界１Ｌ、左側検出限界３Ｌに沿うように遮光カバー３１Ｌが配置してある。（ｂ）の場合、右側のカメラのセンサの右側検出限界２Ｒと左側検出限界４Ｒに沿うように遮光カバー４２Ｒが配置してあり、左側のカメラのセンサの右側検出限界４Ｌ、左側検出限界２Ｌに沿うように遮光カバー４２Ｌが配置してある。

本実施形態１の構成は、右側のカメラのセンサで検出する最大視野角（左側検出限界３Ｒ）や左側のカメラのセンサで検出する最大視野角（右側検出限界１Ｌ）よりもステレオカメラの外側の遮光カバーが小さい角度（右側検出限界１Ｒ、左側検出限界３Ｌと同じ角度）となっている。それに対し、従来の構成は、右側のカメラのセンサで検出する最大視野角（右側検出限界２Ｒ）と左側のカメラのセンサで検出する最大視野角（右側検出限界４Ｌ）はステレオカメラの外側の遮光カバーと同じ角度となっている。

このため、（ｂ）の従来構成の場合、遮光カバーが大きくなり、結果としてステレオカメラ全体サイズを大きくせざるを得ない。それに対し、（ａ）の本実施形態１の構成の場合には、遮光カバーがステレオカメラ１の筐体に対して外側にあまり広がらないため、ステレオカメラ全体サイズを小さくすることができる。ステレオカメラは、運転席の前方に配置する観点から小型化が求められるため、本実施形態１の構成は非常に有利となる。なお、これについては遮光カバーを一体化した（ｃ）、（ｄ）についても同様のことが言える。また、本実施形態では遮光カバーを検出限界で決めたがこれには限定されず、遮光カバーの傾きに多少の角度マージンを確保しても同様の効果が得られる。

さらにワイパーについても同様のことが言える。本実施形態１は特許文献１と比較してワイパーの可動範囲が小さくてよい。ワイパーの可動範囲が大きく必要な場合には、カメラＣＲとカメラＣＬの雨に対する状態が互いに異なるので、高精度な検出ができない。例えば、片側のカメラは雨が拭き取られた状態で撮影し、もう片方のカメラは雨が拭き取られていない状態で撮影する場合、検出精度が低下する。

本実施形態１のようにワイパーの可動範囲が小さい場合、カメラＣＲとカメラＣＬの雨に対する状態を合わせ易くなる。したがって特許文献１のステレオカメラと比較して、本実施形態１のステレオカメラ１は小型かつ高精度・広視野で対象物体１００を検出することができる。このような効果は、特許文献３のようにセンサを垂直方向にずらす構成においては、全く得られない。

本実施形態１のステレオカメラ１は、カメラではなくセンサをずらしているので、特許文献２のようにカメラＣＲとカメラＣＬとの間のレンズ歪みの違いにともなって、検出精度が低下するおそれは小さいといえる。

＜実施の形態１：まとめ＞
本実施形態１に係るステレオ画像処理装置は、ステレオ視野を意図的に小さくし、単眼視野を増やすことにより、実効的な視野を拡大することができる。さらに、周辺部が歪んだレンズを用いることにより、視野角をさらに広げることができる。

＜実施の形態２＞
図８は、本発明の実施形態２に係るステレオカメラ１の構成図である。本実施形態２においては、実施形態１とは異なり、２つのセンサを光軸に対して互いに近づく方向にシフトさせている。その他構成は実施形態１と同様である。

右側のカメラＣＲについて説明する。対象物体１００を反射または透過した光１００Ｒは、レンズＬＲの中心を経て、センサＣＳＲに入射する。このとき、レンズＬＲの中心を透過した光１００ＲはセンサＣＳＲ上の中心ＭＲ付近ではなく、センサＣＳＲの右側に入射する。

左側のカメラＣＬについて説明する。対象物体１００を反射または透過した光１００Ｌは、レンズＬＬの中心を経て、センサＣＳＬに入射する。このとき、レンズＬＬの中心を透過した光１００ＬはセンサＣＳＬ上の中心ＭＬ付近ではなく、センサＣＳＬの左側に入射する。

本実施形態２においては、レンズＬＲの中心を通る軸ＯＲに対してセンサＣＳＲの中心ＭＲを左側にシフトし、レンズＬＬの中心を通る軸ＯＬに対してセンサＣＳＬの中心ＭＬを右側にシフトすることになる。

本実施形態２によれば、実施形態１と比較して基線長Ｄだけ、早く物体を認識することできる。例えば左側の視野を検出しようとした場合、本実施形態２においてはカメラＣＬで検出し、実施形態１においてはカメラＣＲで検出する。このとき、カメラＣＬの方が基線長Ｄ分だけ、左側の対象物体１００を早く検出することができる。例えば、車の横幅全体を基線長Ｄとすれば、普通車の場合には２．５ｍ分、左側の対象物体１００を早く検出することができる。これは、自転車など速度の速い対象物体１００を認識する場合に有利である。

＜実施の形態２：まとめ＞
本実施形態２に係るステレオ画像処理装置は、実施形態１と同様にステレオ視野を意図的に小さくし、単眼視野を増やすことにより、実効的な視野を拡大することができる。さらにセンサＣＳＲとＣＳＬを光軸に対して互いに近づく方向にシフトさせることにより、単眼視野領域における対象物体１００をより早く認識することができる。

＜実施の形態３＞
図９は、本発明の実施形態３に係るステレオカメラ１の構成図である。本実施形態３に係るステレオカメラ１は、実施形態１と同様にセンサＣＳＲとＣＳＬを互いに近づく方向にシフトさせることに加えて、垂直方向においても互いに反対側にシフトさせている。図９においては、センサＣＳＲは垂直方向下向きにシフトし、センサＣＳＬは垂直方向上向きにシフトしている。その他構成は実施形態１と同様である。

右側のカメラＣＲについて説明する。対象物体１００を反射または透過した光１００Ｒは、右側のカメラＣＲのレンズＬＲの中心を経て、センサＣＳＲに入射する。このとき、レンズＬＲの中心を透過した光１００Ｒはセンサ上の中心ＭＲ付近ではなく、センサＣＳＲの左上側に入射する。すなわち、レンズＬＲの中心を通る軸ＯＲに対してセンサＣＳＲの中心ＭＲは右下側にシフトしている。

左側のカメラＣＬについて説明する。対象物体１００を反射または透過した光１００Ｌは、左側のカメラＣＬのレンズＬＬの中心を経て、センサＣＳＬに入射する。このとき、レンズＬＬの中心を透過した光１００Ｌはセンサ上の中心ＭＬ付近ではなく、センサＣＳＬの右下側に入射する。すなわち、レンズＬＬの中心を通る軸ＯＬに対してセンサＣＳＬの中心ＭＬは左上側にシフトしている。

図１０は、ステレオカメラ１の光軸に対する２つのセンサの位置の模式図である。縦軸は垂直方向、横軸は水平方向を示している。原点は、光１００Ｌ、光１００Ｒの位置を示している。点線は、カメラＣＲのセンサＣＳＲを示している。一点差線は、カメラＣＬのセンサＣＳＬを示している。本実施形態３においては、実施形態１や特許文献３に加えて、範囲Ｔｂ１と範囲Ｔｂ２を検出できる。例えば自動車を停止した状態から発進させる場合、斜め方向の近傍の標識、看板、白線などを検出しなければならない。本実施形態３によれば、範囲Ｔｂ１と範囲Ｔｂ２によってそれらを検出することができる。

例えば日本のように左車線の場合、本実施形態３のようにカメラＣＲはレンズＬＲの中心を通る軸ＯＲに対してセンサＣＳＲの中心ＭＲを右下側にシフトさせすることにより、左上側の近傍の標識、看板などを検出することができる。カメラＣＬはレンズＬＬの中心を通る軸ＯＲに対してセンサＣＳＬを左上側にシフトさせることにより、右下側の近傍の白線が検出できる。米国のように右車線の場合、右側のカメラＣＲはレンズＬＲの中心を通る軸ＯＲに対してセンサＣＳＲの中心ＭＲを右上側にシフトさせることにより、左下側の近傍の白線が検出できる。カメラＣＬはレンズＬＬの中心を通る軸ＯＬに対してセンサＣＳＬの中心ＭＬを左下側にシフトさせることにより、右上側の近傍の標識、看板などを検出することができる。

＜実施の形態３：まとめ＞
本実施形態３に係るステレオ画像処理装置は、２つのセンサを斜め方向にずらすことにより、新たな視野（範囲Ｔａ１、範囲Ｔｂ２に対応した視野）を得ることができる。本実施形態３においては、２つのセンサを垂直方向において互いから遠ざける方向でシフトさせることを説明したが、垂直方向において互いに向かって近づける方向にシフトさせる構成も、本実施形態３と同様の効果を得ることができる。

本実施形態３は、センサＣＳＲとＣＳＬを斜め方向にシフトさせるものである。斜め方向は水平、垂直方向に比べてセンササイズが大きいことを考慮すると、図５で説明した実効的な視野の増加量をさらに大きくすることができる利点もある。

＜本発明の変形例について＞
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

ステレオカメラ１の２つのセンサは必ずしも両方同じ量だけシフトさせる必要はなく、ステレオ視と単眼視が同時に実現できる構成であれば同様の効果が得られる。

処理部２が備える各機能部は、これらの機能を実装した回路デバイスなどのハードウェアを用いて構成することもできるし、これらの機能を実装したソフトウェアを演算装置（プロセッサ）が実行することにより構成することもできる。

制御回路２０４は、ステレオ画像処理装置の外に設けることもできる。図３においては補正回路２０１Ｒと補正回路２０１Ｌが射影方式を変換することとしたが、必ずしも変換が必要ではなく、カメラが検出した画像をそのまま用いてもよい。カメラＣＲおよびカメラＣＬの画像データの一部（図２の視野Ｔａ１、視野Ｔａ２）を用いて、物体の時間的変化や大きさなどから物体の奥行きと位置を検出してもよい。

以上の実施形態において、ｄ＝ＤｆＬ／｛（２Ｌ）（Ｌ−ｆ）｝と表したが、車載カメラやドローンに適用する場合には、ｆ（数ｍｍオーダ）に対してＬ（１００ｍオーダ）が各段に大きいので、ｄ＝Ｄｆ／（２Ｌ）と近似してもよい。

実施形態３において、日本と米国の車線の違いを例として説明したが、本構成は１例であり、新たな視野（範囲Ｔａ１、範囲Ｔｂ２に対応した視野）を使ってどのような対象物体を検出してもよい。

１：ステレオカメラ
２：処理部
１００：対象物体
２００Ｒ、２００Ｌ：Ａ／Ｄ変換器
２０１Ｒ、２０１Ｌ：補正回路
２０２：ステレオマッチング回路
２０３：画像認識回路
２０４：制御回路
ＣＲ、ＣＬ：カメラ
ＬＲ、ＬＬ：レンズ
ＣＳＲ、ＣＳＬ：センサ

Claims (10)

1. 車両に搭載されステレオ画像を処理するステレオ画像処理装置であって、
   撮影対象を撮影する第１カメラおよび第２カメラを備え、
   前記第１カメラは、前記撮影対象からの光を収束する第１レンズと、前記第１レンズを通過した光を受光する第１センサとを備え、
   前記第２カメラは、前記撮影対象からの光を収束する第２レンズと、前記第２レンズを通過した光を受光する第２センサとを備え、
   前記第１カメラと前記第２カメラは、互いから離隔して配置されており、
   前記第１センサの中心は、前記第１レンズの中心と前記第２レンズの中心を結ぶ直線に対して平行な第１方向において、前記第２カメラから離れる側に前記第１レンズの光軸から第１シフト距離だけシフトして配置されており、
   前記第２センサの中心は、前記第１方向において、前記第１カメラから離れる側に前記第２レンズの光軸から第２シフト距離だけシフトして配置されており、
   前記第１センサと前記第２センサは、前記撮影対象までの距離が閾値を超えると、前記撮影対象までの距離を検出するのに足る精度を有する信号を取得することができない特性を有しており、
   前記第１レンズの焦点距離をｆ１、
   前記第２レンズの焦点距離をｆ２、
   前記第１レンズの中心と前記第２レンズの中心との間の距離をＤ、
   前記第１レンズまたは前記第２レンズから前記撮影対象までの距離をｌ、
   前記第１センサと前記第２センサが前記距離ｌを求めるのに足る精度を有する信号を取得することができる最大距離をＬ、
   とすると、
   前記第１シフト距離は、Ｄ×ｆ１×Ｌ／｛（２Ｌ）（Ｌ−ｆ１）｝よりも大きく、
   前記第２シフト距離は、Ｄ×ｆ２×Ｌ／｛（２Ｌ）（Ｌ−ｆ２）｝よりも大きい
   ことを特徴とするステレオ画像処理装置。
2. ステレオ画像を処理するステレオ画像処理装置であって、
   撮影対象を撮影する第１カメラおよび第２カメラを備え、
   前記第１カメラは、前記撮影対象からの光を収束する第１レンズと、前記第１レンズを通過した光を受光する第１センサとを備え、
   前記第２カメラは、前記撮影対象からの光を収束する第２レンズと、前記第２レンズを通過した光を受光する第２センサとを備え、
   前記第１カメラと前記第２カメラは、互いから離隔して配置されており、
   前記第１センサの中心は、前記第１レンズの中心と前記第２レンズの中心を結ぶ直線に対して平行な第１方向において、前記第２カメラから離れる側に前記第１レンズの光軸から第１シフト距離だけシフトして配置されており、
   前記第２センサの中心は、前記第１方向において、前記第１カメラから離れる側に前記第２レンズの光軸から第２シフト距離だけシフトして配置されており、
   前記第１センサと前記第２センサは、前記撮影対象までの距離が閾値を超えると、前記撮影対象までの距離を検出するのに足る精度を有する信号を取得することができない特性を有しており、
   前記第１レンズの焦点距離をｆ１、
   前記第２レンズの焦点距離をｆ２、
   前記第１レンズの中心と前記第２レンズの中心との間の距離をＤ、
   前記第１レンズまたは前記第２レンズから前記撮影対象までの距離をｌ、
   前記第１センサと前記第２センサが前記距離ｌを求めるのに足る精度を有する信号を取得することができる最大距離をＬ、
   とすると、
   前記第１シフト距離は、Ｄ×ｆ１×Ｌ／｛（２Ｌ）（Ｌ−ｆ１）｝よりも大きく、
   前記第２シフト距離は、Ｄ×ｆ２×Ｌ／｛（２Ｌ）（Ｌ−ｆ２）｝よりも大きく、
   前記第１シフト距離と前記第２シフト距離はともに０．１ｍｍ以上である
   ことを特徴とするステレオ画像処理装置。
3. ステレオ画像を処理するステレオ画像処理装置であって、
   撮影対象を撮影する第１カメラおよび第２カメラを備え、
   前記第１カメラは、前記撮影対象からの光を収束する第１レンズと、前記第１レンズを通過した光を受光する第１センサとを備え、
   前記第２カメラは、前記撮影対象からの光を収束する第２レンズと、前記第２レンズを通過した光を受光する第２センサとを備え、
   前記第１カメラと前記第２カメラは、互いから離隔して配置されており、
   前記第１センサの中心は、前記第１レンズの中心と前記第２レンズの中心を結ぶ直線に対して平行な第１方向において、前記第２カメラから離れる側に前記第１レンズの光軸から第１シフト距離だけシフトして配置されており、
   前記第２センサの中心は、前記第１方向において、前記第１カメラから離れる側に前記第２レンズの光軸から第２シフト距離だけシフトして配置されており、
   前記第１センサと前記第２センサは、前記撮影対象までの距離が閾値を超えると、前記撮影対象までの距離を検出するのに足る精度を有する信号を取得することができない特性を有しており、
   前記第１レンズの焦点距離をｆ１、
   前記第２レンズの焦点距離をｆ２、
   前記第１レンズの中心と前記第２レンズの中心との間の距離をＤ、
   前記第１レンズまたは前記第２レンズから前記撮影対象までの距離をｌ、
   前記第１センサと前記第２センサが前記距離ｌを求めるのに足る精度を有する信号を取得することができる最大距離をＬ、
   とすると、
   前記第１シフト距離は、Ｄ×ｆ１×Ｌ／｛（２Ｌ）（Ｌ−ｆ１）｝よりも大きく、
   前記第２シフト距離は、Ｄ×ｆ２×Ｌ／｛（２Ｌ）（Ｌ−ｆ２）｝よりも大きく、
   前記Ｌは５０ｍから２５０ｍである
   ことを特徴とするステレオ画像処理装置。
4. 前記第１レンズは、前記第１センサが受光することができる最大視野角における像高が前記ｆθレンズの像高よりも小さい特性を有し、
   前記第２レンズは、前記第２センサが受光することができる最大視野角における像高が前記ｆθレンズの像高よりも小さい特性を有する
   ことを特徴とする請求項１から３いずれか１項記載のステレオ画像処理装置。
5. 前記第１センサの中心は、前記第１方向に対して直交しかつ前記第１レンズの光軸に対して直交する第２方向において、前記第１レンズの光軸からシフトして配置されており、
   前記第２センサの中心は、前記第２方向において、前記第２レンズの光軸からシフトして配置されており、
   前記第１センサの中心は、前記第２方向において、第１向きに向かって前記第１レンズの光軸からシフトして配置されており、
   前記第２センサの中心は、前記第２方向において、第１向きとは反対の第２向きに向かって前記第２レンズの光軸からシフトして配置されている
   ことを特徴とする請求項１から３いずれか１項記載のステレオ画像処理装置。
6. 前記ステレオ画像処理装置は、前記第１レンズに対して前記撮影対象以外から入射する光を遮光する第１遮光カバーと、前記第２レンズに対して前記撮影対象以外から入射する光を遮光する第２遮光カバーとを備え、
   前記第１遮光カバーは、前記第１レンズの光軸に対して、前記第２センサの最大視野角よりも小さい角度で傾いて前記第１カメラに対して取り付けられており、
   前記第２遮光カバーは、前記第２レンズの光軸に対して、前記第１センサの最大視野角よりも小さい角度で傾いて前記第２カメラに対して取り付けられている
   ことを特徴とする請求項１から３いずれか１項記載のステレオ画像処理装置。
7. 前記第１センサは、第１視野角範囲のなかに含まれる前記撮影対象から光を受光することができるように配置されており、
   前記第２センサは、第２視野角範囲のなかに含まれる前記撮影対象から光を受光することができるように配置されており、
   前記第１視野角範囲と前記第２視野角範囲は、互いに重なり合う共通視野角範囲を含んでおり、
   前記ステレオ画像処理装置はさらに、前記第１センサが前記共通視野角範囲のなかに含まれる前記撮影対象から受光した光に基づき生成した信号と、前記第２センサが前記共通視野角範囲のなかに含まれる前記撮影対象から受光した光に基づき生成した信号とを処理する、ステレオプロセッサを備える
   ことを特徴とする請求項１から３いずれか１項記載のステレオ画像処理装置。
8. 前記ステレオ画像処理装置はさらに、前記第１センサが前記共通視野角範囲のなかに含まれない前記撮影対象から受光した光に基づき生成した信号と、前記第２センサが前記共通視野角範囲のなかに含まれない前記撮影対象から受光した光に基づき生成した信号とを処理する、非ステレオプロセッサを備える
   ことを特徴とする請求項７記載のステレオ画像処理装置。
9. 前記ステレオ画像処理装置から前記撮影対象までの距離は５０ｍ以上であることを特徴とする請求項１から３いずれか１項記載のステレオ画像処理装置。
10. 前記第１シフト距離と前記第２シフト距離は互いに異なることを特徴とする請求項１から３いずれか１項記載のステレオ画像処理装置。

Images