JP6854472B2

JP6854472B2 - 撮像装置、及び撮像方法

Info

Publication number: JP6854472B2
Application number: JP2018556537A
Authority: JP
Inventors: 信彦若井; 吾妻　健夫; 健夫吾妻; 登　一生; 一生登; 佐藤　智; 智佐藤
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-12-15
Filing date: 2017-11-28
Publication date: 2021-04-07
Anticipated expiration: 2037-11-28
Also published as: US20190230264A1; WO2018110264A1; JPWO2018110264A1; EP3557858A4; EP3557858A1; EP3557858B1; CN109565539B; US10812691B2; CN109565539A

Description

本開示は、カメラによる撮像技術に関する。

ステレオ測距やライトフィールドカメラの撮像装置においては、複数の視点から撮像した画像から、被写体の奥行きの算出や仮想視点による像の合成等を行う。これらの複眼撮像装置を屋外環境で継続して使用する場合、レンズ保護のために、レンズカバーを用いる（例えば、特許文献１、特許文献２、特許文献３参照。）。

一般に、レンズ同士の距離が大きい場合は個々のレンズに対してレンズカバーを使用し、レンズ同士の距離が小さい場合は複数のレンズに対して一つのレンズカバーを使用する。したがって、小型な撮像装置においては、複眼、すなわち複数のレンズに対し、単一のカメラモジュールと単一のレンズカバーを使用することが好適である。

特開２０１５−２２２４２３号公報特開２００９−２１１０１２号公報特開２００９−２２３５２６号公報

Roger Y. Tsai. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses. IEEE Journal of Robotics and Automation. Vol. 3, pp.323-344, 1987

複数のレンズを１つのレンズカバー内に収納する場合には、そのレンズカバーのサイズを小さくするために、そのレンズカバーの外形を、稜線を有する形状とすることが考えられる。

しかしながら、稜線を有するレンズカバーを利用する場合には、稜線付近を通過する光が歪んでしまうため、撮像画像において、通過光が正しく結像しない領域が生じてしまう。

そこで、本開示は、従来よりも、レンズカバーの稜線付近を通過する光の歪みによる撮像画像への影響を低減可能な撮像装置、及び撮像方法を提供する。

本開示の非限定的で例示的な一態様に係る撮像装置は、第１画像を撮像する第１のカメラと、第２画像を撮像する第２のカメラと、透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向する。

また、本開示の非限定的で例示的な一態様に係る撮像装置は、第１画像を撮像する第１のカメラと、第２画像を撮像する第２のカメラと、透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、前記レンズカバーの外形は、Ｎをカメラの数、Ｓを視野、ｉを前記第１カメラまたは前記第２カメラを示すインデックス、

をカメラｉの単位視線ベクトル、

を前記カメラｉの視線ベクトルが通過する位置における前記カバーの単位法線ベクトルとする場合に、

で規定される評価値Ｊが、０．７よりも大きくなる形状であることを特徴とする。

また、本開示の非限定的で例示的な一態様に係る撮像装置は、第１画像を撮像する第１のカメラと、第２画像を撮像する第２のカメラと、透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーとを備え、前記複数の部分は上部と複数の隣接部を含み、前記複数の稜線の各々は前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあることを特徴とする。

なお、これらの包括的または具体的な態様は、システム、方法で実現されてもよく、装置、システム、方法の任意な組み合わせで実現されてもよい。

本開示によれば、従来よりも、レンズカバーの稜線による影響を低減することが可能となる。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。

図１は、実施の形態１に係る撮像装置の構成を示すブロック図図２Ａは、広角カメラとレンズカバーとの位置関係を示す平面図図２Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図図３は、レンズカバーの断面の一部を示す図図４は、補間部の動作を示すフローチャート図５は、第１判定処理を示すフローチャート図６は、第２判定処理を示すフローチャート図７は、補間ステップの処理を示すフローチャート図８は、４眼で行う世界座標算出の模式図図９Ａは、広角カメラとレンズカバーとの位置関係を示す平面図図９Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図図１０Ａは、広角カメラとレンズカバーとの位置関係を示す平面図図１０Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図図１１Ａは、広角カメラとレンズカバーとの位置関係を示す平面図図１１Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図図１２Ａは、広角カメラとレンズカバーとの位置関係を示す平面図図１２Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図図１２Ｃは、車載用途における、広角カメラとレンズカバーとの位置関係を示す側面図図１３Ａは、広角カメラとレンズカバーとの位置関係を示す平面図図１３Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図図１３Ｃは、車載用途における、広角カメラとレンズカバーとの位置関係を示す側面図図１３Ｄは、車載用途における、広角カメラとレンズカバーとの位置関係を示す側面図図１４Ａは、広角カメラとレンズカバーとの位置関係を示す平面図図１４Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図図１５Ａは、広角カメラとレンズカバーとの位置関係を示す平面図図１５Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図図１６Ａは、広角カメラとレンズカバーとの位置関係を示す平面図図１６Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図図１７Ａは、広角カメラとレンズカバーとの位置関係を示す平面図図１７Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図図１８は、カメラの視野を説明する概念図図１９は、評価値Ｊを説明する概念図図２０Ａは、広角カメラとレンズカバーとの位置関係を示す平面図図２０Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図図２１は、評価値Ｊの等高線図図２２Ａは、広角カメラとレンズカバーとの位置関係を示す平面図図２２Ｂは、広角カメラとレンズカバーとの位置関係を示す側面図図２３は、実施の形態５に係る撮像装置の構成を示すブロック図図２４は、カバーの側面図図２５は、補間部の動作を示すフローチャート図２６は、レンズカバーを説明するための平面図図２７は、レンズカバーを説明するための平面図

（本開示の一態様を得るに至った経緯）
発明者は、上記従来の撮像装置等に関し、以下の問題等が生じることを見出した。

移動体、例えば、ドローンまたは車における周辺監視または運転支援のために、ステレオカメラが利用される。この様な目的には、広角な複眼カメラが好適である。また、移動体の場合、撮像システムに対し、設置位置、サイズ、および、重量の制約を生じる。設置位置に関しては、広い視野を確保するために移動体表面付近が好適である。サイズに関しては、衝突を避けるためにレンズカバーが低く、搭載スペースの制約により小型が好適である。重量に関しては、特にドローン等の飛行体において軽量であることが好適である。独立した広角カメラを複数配置する撮像システムにおいて、前記制約を満たすことは困難である。

発明者は、このような問題を鑑みて、単一のハウジングされた小型複眼撮像装置による、広角撮像を可能とするレンズカバー、およびこれを用いた撮像装置を想到するに至った。

このような問題を解決するために、本開示の一態様に係る撮像装置は、第１画像を撮像する第１のカメラと、第２画像を撮像する第２のカメラと、透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向することを特徴とする。

これにより、上記撮像装置によると、従来よりも、レンズカバーの稜線付近による影響を低減することが可能となる。

例えば、さらに、前記処理回路は、前記画素の特定を、前記第１画像と前記第２画像とに基づいて行うとしてもよい。

これにより、この撮像装置は、予め、いずれの画素が稜線付近を通過する光の歪みの影響を受ける領域の画素であるかが特定されていなくても、自装置によって取得された画像を利用して、稜線付近を通過する光の歪みの影響を受ける領域の画素を特定することが可能となる。

例えば、さらに、前記領域を特定するための領域特定情報を記憶する記憶部を備え、前記処理回路は、前記領域特定情報に基づいて、前記画素の特定を行うとしてもよい。

これにより、この撮像装置は、自装置によって取得された画像を利用しなくても、稜線付近を通過する光の歪みの影響を受ける領域の画素を特定することが可能となる。

例えば、さらに、前記処理回路は、前記補間画素情報として、前記領域から所定の距離以下に位置する近傍画素の画素値を取得するとしてもよい。

これにより、この撮像装置は、第１画像から出力画像を生成することが可能となる。

例えば、さらに、第３画像を撮像する第３のカメラを備え、前記処理回路は、前記第２画像と前記第３画像とを用いて、前記補間画素情報として、前記領域に対応する画素の画素値の情報を取得するとしてもよい。

これにより、この撮像装置は、稜線付近を通過する光の歪みの影響を受ける領域の画素が、より精度良く補間された出力画像を生成することが可能となる。

例えば、さらに、前記レンズカバーはさらに前記基台の上面を覆い、前記上面の外接円の半径を半径とする球に包含されるとしてもよい。

これにより、この撮像装置は、レンズカバーの高さが比較的低くなることから、外部物体との接触の可能性を低減することが可能となる。

例えば、さらに、前記複数の稜線の１つとその近傍領域は、曲面に置き換えてもよい。

これにより、この撮像装置は、レンズカバーの安全性を向上させることが可能となる。

例えば、さらに、前記レンズカバーはさらに前記基台の上面を覆い、前記上部の外表面、前記上部の内表面、前記上面とが平行であるとしてもよい。

これにより、この撮像装置は、レンズカバーの上部の外表面を垂直に透過する光を、基台の上面に垂直に入射する光とすることが可能となる。

例えば、さらに、前記レンズカバーはさらに前記基台の上面を覆い、前記上部の外表面と前記上面は相似形であり、前記上部の外表面は前記上面より小さくてもよい。

これにより、この撮像装置は、稜線の数の増加を抑制することが可能となる。

本開示の一態様に係る撮像装置は、第１画像を撮像する第１のカメラと、第２画像を撮像する第２のカメラと、透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、前記レンズカバーの外形は、Ｎをカメラの数、Ｓを視野、ｉを前記第１カメラまたは前記第２カメラを示すインデックス、

をカメラｉの単位視線ベクトル、

で規定される評価値Ｊが、０．７よりも大きくなる形状であることを特徴とする。これにより、上記撮像装置によると、従来よりも、レンズカバーの稜線付近による影響を低減することが可能となる。

本開示の一態様に係る撮像装置は、第１画像を撮像する第１のカメラと、第２画像を撮像する第２のカメラと、透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーとを備え、前記複数の部分は上部と複数の隣接部を含み、前記複数の稜線の各々は前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあることを特徴とする。

これにより、従来よりも、レンズカバーの稜線付近による影響を低減することが可能となる。

本開示の一態様に係る撮像方法は、撮像方法であって、第１のカメラに第１画像を撮像させ、第２のカメラに第２画像を撮像させ、前記第１のカメラ及び前記第２のカメラは、透光性を有する複数の部分と複数の稜線を有するレンズカバーで覆われ、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定させ、（ｉｉ）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成させ、前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向することを特徴とする。

以下本開示の実施の形態について、図面を参照しながら説明する。なお、以下に説明する実施の形態は、いずれも本開示における好ましい一具体例を示すものである。したがって、以下の実施の形態で示される、数値、形状、材料、構成要素、構成要素の配置位置および接続形態、工程、並びに、工程の順序などは、一例であって本開示を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、本開示における最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

なお、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。

（実施の形態１）
（錐台形状）
本実施の形態における撮像装置は、正方形の上面を有する基台に配置された４つの広角カメラのレンズを含む。基台の上面の中心は、この正方形の対角線の交点である。４つの広角カメラのそれぞれのレンズの形状を半球とした場合、４つの広角カメラのそれぞれのレンズは基台の上面と円を形成して交わる。この円の中心を広角カメラのレンズの中心と定義した場合、４つの広角カメラの４つのレンズの４つの中心の中心が、基台の上面の中心と一致するように４つのレンズを基台の上面に配置し、かつ、基台の上面の中心に対し、４つのレンズが対称となるように配置する。

カメラモジュールは基台と基台の上面に設置された４つ撮像素子を含んでもよい。４つ撮像素子と４つの広角カメラのそれぞれは対応する。各々の広角カメラは対応する撮像素子と対応する広角カメラレンズを含んでよい。

なお、本開示の撮像装置は２つ以上の広角カメラを含み、２つ以上の広角カメラに対して本開示の内容を適用してもよい。

ここで、カメラはカメラキャリブレーション済みとし、カメラパラメータは既知とする。カメラパラメータはピンホールカメラのカメラモデルに基づいたカメラパラメータを使用してもよく（式１）、Ｔｓａｉの手法（非特許文献１参照）など、既知の方式で前記カメラパラメータを算出できる。

ここでは、画像中心のｘ成分とｙ成分をＣｘとＣｙ、焦点距離をｆ、撮像素子の１画素のｘとｙ方向の長さをそれぞれｄ’ｘ、ｄ’ｙ、カメラの世界座標の基準に対する３行３列の回転行列をＲ（右下添え字の１０の位は行を、１の位は列を表す）、カメラの世界座標の基準に対する並進のｘ、ｙ、ｚ成分をそれぞれＴｘ、Ｔｙ、Ｔｚ、自由度のない媒介変数をｈとする。

図１は、実施の形態１に係る撮像装置１０１の構成を示すブロック図である。

同図に示されるように、撮像装置１０１は、第１の広角カメラ１０２と、第２の広角カメラ１０３と、第３の広角カメラ１０４と、第４の広角カメラ１０５と、レンズカバー１０６と、フレームメモリ１０７と、処理回路１１１とを含む。一例として、第１の広角カメラ１０２〜第４の広角カメラ１０５のそれぞれは、１１０°以上の視野角を有する。なお、広角カメラを単にカメラと呼ぶことがある。

以下、これら構成要素について説明する。

第１の広角カメラ１０２は、第１画像を撮像する。第２の広角カメラ１０３は、第２画像を撮像する。第３の広角カメラ１０４は、第３画像を撮像する。第４の広角カメラ１０５は、第４画像を撮像する。

第１の広角カメラ１０２〜第４の広角カメラ１０５は、広角カメラの視野の重なりがあるように、基台の上面に配置する。例えば、第１の広角カメラの視野は第２の広角カメラの視野と重なりがあり、第１の広角カメラの視野は第３の広角カメラの視野と重なりがあり、第１の広角カメラの視野は第４の広角カメラの視野と重なりがあり、第２の広角カメラの視野は第３の広角カメラの視野と重なりがあり、第２の広角カメラの視野は第４の広角カメラの視野と重なりがあり、第３の広角カメラの視野は第４の広角カメラの視野と重なりがある。

レンズカバー１０６は、透光性を有する複数の部分を有し、第１の広角カメラ１０２〜第４の広角カメラ１０５を覆う。複数の部分のそれぞれは、外表面と外表面に平行な内表面を有する。外表面は被写体から光を受光し、内表面は、外表面が受光した光に対応する光を出力すると考えてもよい。より具体的には、レンズカバー１０６は、第１の広角カメラ１０２〜第４の広角カメラ１０５が配置される基台の上面全体を、立体角２πｒａｄの範囲で覆う。一例として、レンズカバー１０６は、透明な樹脂製である。

図２Ａ、図２Ｂは広角カメラとレンズカバーとの位置関係を示す図である。

図２Ａ、図２Ｂにおいて、５０１は基台、５０２〜５０５はそれぞれ第１の広角カメラ１０２〜第４の広角カメラ１０５のレンズ、１０６はレンズカバー、５０６は基台５０１に外接する仮想的な半球面である。基台５０１の厚さを無限小と考えてもよい。

図２Ａ、図２Ｂに示されるように、レンズカバー１０６は、１つの上部と４つの側面を有する。レンズカバー１０６の形状は、正方形の基台５０１の上面を底面、１つの上部、及び、４つの側面で構成される錐台形である。ここで、ｈはレンズカバー１０６の高さ、ｄは基台の一辺の長さの半分であり、基台に外接する仮想的な半球面の半径は、

となる。

よって、レンズカバー１０６は、基台に外接する仮想的な半球面５０６の底面の直径より

倍より小さい底面サイズとなるレンズカバーを使用できる。

ここで、レンズカバー１０６の稜線付近を通過する光の振る舞いについて、図面を参照しながら説明する。レンズカバー１０６は４つの側部と１つの上部を含む複数の部分を有する。複数の部分のうち、隣り合う２つの部分は稜線を有する。レンズカバー１０６は８つの稜線を有する。

図３は、レンズカバー１０６の断面の一部を示す図である。

同図に示されるように、稜線付近の領域は、近似的に、板厚を辺の長さとする２辺を含む四角形を断面とするレンズと見なせる。これにより、稜線付近を通過する光が歪んでしまう。このため、撮像画像において、稜線付近に対応する部分に、通過光が正しく結像せずにぼやけてしまう領域（以下、この領域のことを「稜線付近を通過する光の歪みの影響を受ける領域」と呼ぶ。）が生じることとなる。

再び図１に戻って、撮像装置１０１の構成についての説明を続ける。

フレームメモリ１０７は、第１の広角カメラ１０２〜第４の広角カメラ１０５で撮影された画像を記憶する。

処理回路１１１は、第１画像における、レンズカバー１０６の複数の部分のうちの互いに隣り合う２つの部分の稜線付近を通過する光の歪みの影響を受ける領域にある画素を特定し、特定した画素の画素値を補間するための補間画素情報と第１画像とを用いて出力画像を生成する。処理回路１１１は、一例として、プロセッサ（図示せず）がメモリ（図示せず）に記憶されるプログラムを実行することで実現されてもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）等の専用ハードウエア回路によって実現されてもよい。

処理回路１１１は、補間部１０８と、画像合成部１０９と、画像出力部１１０とを含む。補間部１０８は稜線付近を通過する光の歪みの影響を受ける領域に含まれる画素の画素値を補間する。

補間部１０８の行う補間について、図面を参照しながら説明する。

図４は補間部１０８の動作を示すフローチャートである。

同図に示されるように、補間部１０８は、各カメラの撮像画像が入力されると（ステップＳ４０１）、稜線付近を通過する光の歪みの影響を受ける領域を判定し（ステップＳ４０２）、稜線付近を通過する光の歪みの影響を受ける領域に含まれる画素の画素値を稜線付近を通過する光の歪みの影響を受けない領域に含まれる画素の画素値で補間する（ステップＳ４０３）。

稜線付近を通過する光の歪みの影響を受ける領域の判定は、（１）複眼の共通視野領域の画像を用いて判定する処理（第１判定処理）と、（２）予め既知のパターンを撮像することにより、予め稜線付近を通過する光の歪みの影響を受ける領域に位置する画素の画素座標を算出して記憶しておき、この座標を用いて判定する処理（第２判定処理）とのいずれかによって実現可能である。

以下、これら第１判定処理と第２判定処理とについて、図面を参照しながら説明する。

図５は、第１判定処理を示すフローチャートである。

補間部１０８は、稜線付近を通過する光の歪みの影響を受ける領域か否かを判定するために、着目カメラで撮像された画像における着目画素近傍領域にマッチングする領域を他のカメラで撮像された画像から探索する（ステップＳ５０１）。この画像マッチングは、画素比較に用いる矩形画像領域（例えば，一辺４画素の正方形）の画素値の差に基づきマッチング誤差を算出し、マッチング誤差が最小となる画像領域をマッチング領域とする。

ここで、マッチングの一手法であるブロックマッチングの一具体例について説明する。

補間部１０８は、基準画像中の画素位置（ｘ_０,ｙ_０）を中心とする基準ブロックに対して、参照画像の探索領域中で、下記（式２）で定義される残差平方和（ＳＳＤ）を計算し、探索領域内でＳＳＤを最小とする画素位置（ｕ_ｉ,ｖ_ｊ）を、画素位置（ｘ_０,ｙ_０）における推定値（ｕ,ｖ）とする。

ここでは、ｆ_１（ｘ,ｙ）は基準画像の画素位置（ｘ，ｙ）における輝度値、ｆ_２（ｘ,ｙ）は、参照画像の画素位置（ｘ，ｙ）における輝度値、ｗは相関演算を行うブロック領域をそれぞれ示す。

再び、第１判定処理の説明を続ける。

稜線付近を通過する光の歪みの影響を受ける領域の判定は、使用カメラ数により分岐する（ステップＳ５０２）。

使用カメラ数が３つ以上の場合は、補間部１０８は、全てのカメラペアでステレオ測距する（ステップＳ５０３）。例えば、使用カメラの数が４つ、例えば、第１の広角カメラ、第２の広角カメラ、第３の広角カメラ、第４の広角カメラである場合、第１の広角カメラと第２の広角カメラのペアでステレオ測距し、第１の広角カメラと第３の広角カメラのペアでステレオ測距し、第１の広角カメラと第４の広角カメラのペアでステレオ測距し、第２の広角カメラと第３の広角カメラのペアでステレオ測距し、第２の広角カメラと第４の広角カメラのペアでステレオ測距し、第３の広角カメラと第４の広角カメラのペアでステレオ測距する。

補間部１０８は、ステップＳ５０３の測距により算出した世界座標値または奥行値の差に基づいて測距誤差を算出する（ステップＳ５０４）。

そして、補間部１０８は、ステップＳ５０４で算出した測距誤差と、カメラパラメータの誤差から見積もられる測距誤差に基づいた閾値とを比較する（ステップＳ５０５）。この閾値は、測距誤差とカメラパラメータの誤差に相関があることに基づき決定できる。ステレオ測距は測定対象物と２カメラの位置を頂点とする三角形を求め、三角測量の原理に基づき測定対象物の位置を算出する。このため、カメラ位置から測定対象物に向かう方向ベクトルをカメラパラメータから算出した場合、カメラパラメータの誤差に起因する測距誤差を生じる。カメラ位置から測定対象物に向かう方向ベクトルの誤差は、カメラパラメータの再投影誤差から見積もることができる。再投影誤差は、世界座標をカメラパラメータで画像上に投影して算出した画像座標と、画像座標に対応する真値の画像座標との距離である。再投影誤差は、Ｔｓａｉの手法など、既知のカメラ校正方式の評価値として利用されており、カメラパラメータ算出時に取得することができる。また、カメラ位置から測定対象物に向かう方向ベクトルの誤差はカメラモデルと再投影誤差に基づき見積もることができる。例えば、カメラモデルが式１で示したピンホールカメラの場合、カメラ中心ＣｘとＣｙをそれぞれ，撮像画像の横方向と縦方向の画素数の半分、回転行列Ｒを単位行列、並進Ｔｘ、Ｔｙ、Ｔｚをそれぞれ０とすることにより、画像座標と、カメラ位置から測定対象物に向かう方向ベクトルの関係は式３で表せる。

ここで、ωｘとωｙは、カメラ位置から測定対象物に向かう方向ベクトルとカメラの光軸のなす角のｘ成分とｙ成分である。再投影誤差のｘ成分とｙ成分の誤差をそれぞれΔｘ、Δｙ、前記方向ベクトルとカメラの光軸のなす角のｘ成分とｙ成分の誤差をそれぞれΔωｘ、Δωｙとする（式４）。

カメラ位置から測定対象物に向かう方向ベクトルの誤差Δωｘ、Δωｙと測距誤差の関係は、測距対象物までの距離に応じて見積もることできる。カメラ位置から測定対象物に向かう方向ベクトルに誤差が存在する場合、２カメラの方向ベクトル上の２直線は、測距対象物を通過せず，かつ、ねじれの位置となる。２直線の交点の近似位置として、２直線に対し最短距離となる位置として算出できる。

ステップＳ５０５において、測距誤差が閾値より小さい場合は，画素を稜線付近を通過する光の歪みの影響を受けない領域（ステップＳ５０７）に設定し、閾値より大きい場合は，画素を稜線付近を通過する光の歪みの影響を受ける領域（ステップＳ５０８）に設定する。これらの設定は画素毎に行ってもよい。

ステップＳ５０２において、使用カメラ数が３つ未満の場合は、マッチ誤差と画像ノイズに基づいた閾値と比較、または、マッチ誤差と画素のサンプリング誤差に基づいた閾値と比較する（ステップＳ５０６）。例えば、画像全体の平均輝度ノイズレベルの定数倍（２〜３倍程度）を閾値とすればよい。

画像の輝度ノイズレベルは、一例として、以下の手順で計算できる。

同じシーンをＮフレーム（例えば１００枚）撮像し、それらＮフレームで、画素ごとに輝度値の分散と標準偏差とを計算できる。この各画素の標準偏差の全画素平均を、画素全体の輝度ノイズレベルとする。

ブロックマッチングにおいて、同じ被写体領域を参照した場合でも、画像全体の輝度ノイズレベル程度のマッチング誤差を生じる。したがって、輝度ノイズレベルの定数倍（２〜３倍程度）を、マッチング判定の閾値として使用可能である。

ステップＳ５０６において、マッチング誤差が閾値より小さい場合はステップＳ５０７で対象画素を稜線付近を通過する光の歪みの影響を受けない領域に設定し、閾値より大きい場合はステップＳ５０９の処理に進む。

ステップＳ５０９の処理において、補間部１０８は、マッチング誤差が閾値より大きい、互いに異なる画像に含まれる、対応する２つのブロックについて、輝度勾配の大きさ（輝度勾配が大きい場合、画像が鮮明）を比較して、より輝度勾配が大きいブロックをステップＳ５０７で稜線付近を通過する光の歪みの影響を受けない領域に設定し、より輝度勾配が小さいブロックをステップＳ５０８で稜線付近を通過する光の歪みの影響を受ける領域に設定する。

なお、使用カメラ数が３つ以上の場合、マッチング誤差による稜線付近を通過する光の歪みの影響を受ける領域か否かの判定をしても良い。

次に、第２判定処理について説明する。

この第２判定処理を行う場合には、撮像装置１０１は、稜線付近を通過する光の歪みの影響を受ける領域を特定するための領域特定情報を記憶する記憶部をさらに備える。

稜線付近による画像上のぼけ領域は、予め既知のパターンを撮影することにより、特定できる。既知パターンの例として、格子線、チェッカーパターンが使用可能である。白黒の２色パターンの場合、ぼけ領域では灰色が現れ、エッジが失われる。記憶部は、このぼけ領域に位置する画素座標を、領域特定情報として記憶する。

図６は、第２判定処理を示すフローチャートである。

補間部１０８は、記憶部に記憶される領域特定情報を参照して、対象となる画素が、稜線付近を通過する光の歪みの影響を受ける領域に該当するか否かを調べる（ステップＳ６０１）。

ステップＳ６０１の処理において、対象となる画素が稜線付近を通過する光の歪みの影響を受ける領域に該当する場合には、補間部１０８は、対象となる画素を、稜線付近を通過する光の歪みの影響を受ける領域（ステップＳ６０２）に設定し、対象となる画素が稜線付近を通過する光の歪みの影響を受けない場合には、補間部１０８は、対象となる画素を、稜線付近を通過する光の歪みの影響を受けない領域（ステップＳ６０３）に設定する。

再び、図４に戻り、図４を用いた説明を続ける。

画像合成部１０９は補間部１０８によって判定された稜線付近を通過する光の歪みの影響を受ける領域の画素値を、補間された画像により、稜線付近を通過する光の歪みの影響を受ける領域を含まない単一の画像として合成する（ステップＳ４０３）。そして、画像出力部１１０は画像合成部１０９により生成した画像を出力する。

図７は、補間ステップ（ステップＳ４０３）の処理を示すフローチャートである。遮蔽領域における画素値の補間は、使用カメラ数により分岐する（ステップＳ７０１）。

使用カメラ数が３つ以上の場合は、稜線付近を通過する光の歪みの影響を受ける領域判定ステップＳ４０２の全てのカメラペアのステレオ測距により算出した世界座標に基づいて、稜線付近を通過する光の歪みの影響を受ける領域に対応する世界座標を算出する（ステップＳ７０２）。この世界座標は、全てのカメラペアのステレオ測距の平均及び／または測距点が集中している位置を選択すればよい。

ここで、世界座標算出の一具体例について、図面を参照しながら説明する。

図８は、４眼で行う世界座標算出の模式図である。

４眼でステレオ測距する場合、６通りのカメラペアを選択でき、これらカメラペアの各測距位置をＰ１〜Ｐ６とする。ここでは、Ｐ１〜Ｐ６から３点選択する場合において、分散が最小となる組は、Ｐ１〜Ｐ３であるとする。ここで言う分散とは、３次元座標のＸ，Ｙ，Ｚの各成分における分散の平均のことである。

この場合には、４眼全体としての測距点Ｑの世界座標は、Ｐ１〜Ｐ６の重心Ｇ（Ｇ（Ｘ，Ｙ，Ｚ）は、Ｐ１〜Ｐ６の３次元座標のＸ，Ｙ，Ｚ成分の平均）、または、測距点が集中する点の組（図中のＰ１〜Ｐ３）の重心Ｑとすればよい。

再び、図７に戻って、補間ステップ（ステップＳ４０３）の説明を続ける。

着目カメラＰ１にて撮像した撮像画像Ａ１における稜線付近を通過する光の歪みの影響を受ける領域の画素Ｂ１の画素値Ｃ１は、ステップＳ７０２で算出した稜線付近を通過する光の歪みの影響を受ける領域に含まれる画素Ｂ１の世界座標Ｗに対応する画素Ｂ２の画素値Ｃ２で補間する。この対応する画素Ｂ２の画素値Ｃ２は、着目カメラとは別のカメラＰ２のカメラパラメータで前記の世界座標をこの別のカメラＰ２にて撮像した撮像画像Ａ２に投影した画素座標を求め、この画素座標に対応する画素の画素値を求めればよい（ステップＳ７０３）。なお、撮像画像Ａ２の稜線付近を通過する光の歪みの影響を受けない領域に、投影した画素Ｂ２が含まれていることが、撮像画像Ａ２を使用する前提となる。

ステップＳ７０１において、使用カメラ数が３つ未満の場合は、近傍画素からバイリニアもしくはバイキュービック補間等の公知の補間方法によって画素値を補間する（ステップＳ７０４）。

上記構成の撮像装置１０１は、稜線付近を通過する光の歪みの影響を受ける領域の画素値を補間することにより、レンズカバー１０６の稜線付近を通過する光の歪みに起因する出力画像の欠損は生じない。

以下、カメラ数が４以外の場合について例示する。

図９Ａ、図９Ｂに、カメラ数が３かつレンズ配置が対称配置におけるレンズカバー１２０１を示す。図９Ａ、図９Ｂにおいて、第１の広角カメラのレンズ１２０２、第２の広角カメラのレンズ１２０３、第３の広角カメラのレンズ１２０４を正三角形に配置し、三角錐台のレンズカバー１２０１の上底を１２０５とする。

図１０Ａ、図１０Ｂに、カメラ数が５かつレンズ配置が対称配置におけるレンズカバー１４０１を示す。図１０Ａ、図１０Ｂにおいて、第１の広角カメラのレンズ１４０２、第２の広角カメラのレンズ１４０３、第３の広角カメラのレンズ１４０４、第４の広角カメラのレンズ１４０５、第５の広角カメラのレンズ１４０６を正五角形に配置し、五角錐台のレンズカバー１４０１の上底を１４０７とする。

図１１Ａ、図１１Ｂに、カメラ数が６かつレンズ配置が対称配置におけるレンズカバー１６０１を示す。図１１Ａ、図１１Ｂにおいて、第１の広角カメラのレンズ１６０２、第２の広角カメラのレンズ１６０３、第３の広角カメラのレンズ１６０４、第４の広角カメラのレンズ１６０５、第５の広角カメラのレンズ１６０６、第６の広角カメラのレンズ１６０７を正六角形に配置し、六角錐台のレンズカバー１６０１の上底を１６０８とする。

なお、カメラ数が３〜６でない、あるいは、レンズ配置が対称配置でない、これらの例以外の場合は、レンズカバーの外形は、基台の上面を底面とする錐台とすれば良い。また、各カメラにおける稜線付近を通過する光の歪みの影響を受ける領域はレンズカバーの稜線と、撮像素上の画素の位置関係から定めても良い。

また、レンズカバーの形状は、カメラのレンズが配置されている基台の上面を覆う形状であれば、必ずしも、その形状は直錐台である場合に限られない。外形が直錐台以外の形状のレンズカバーの例について、図１２Ａ、図１２Ｂ、図１３Ａ、図１３Ｂに図示する。

図１２Ａ、図１２Ｂにおいて、５１１は基台、５１２〜５１５はそれぞれ第１の広角カメラ１０２〜第４の広角カメラ１０５のレンズ、１１６はレンズカバーである。

図１２Ａ、図１２Ｂにおいて、レンズカバー１１６の上部は、基台５１１の上面と平行にはなっていない。前記レンズカバー１１６の上部の法線ベクトルと前記基台５１１の上面の法線ベクトルのなす角度が０°より大きく、３０°以下になる様に前記レンズカバー１１６の上面を傾ける。なお、図１２Ａ、図１２Ｂではレンズカバー１１６に板厚を考慮せずに記載されているが、レンズカバー１１６の上部の外表面とそれに対応する内表面は互いに平行であると考えてよい。つまり、レンズカバー１１６の上部の外表面とそれに対応する内表面はともに基台５１１の上面と平行にはなっていない。レンズカバー１１６の上部上面の法線ベクトルは、レンズカバー１１６の上部の外表面の法線ベクトル、レンズカバー１１６の上部の内表面の法線ベクトルのどちらであってもかまわない。

前記レンズカバー１１６の上部を基台カメラモジュール５１１の上面に対して傾けることにより、前記レンズカバー１１６の稜線付近を通過する光の歪みの影響を受けない共通視野を広くできる。例えば、車載用途において、空に対して地表側の映像が重要であるので、図１２Ｃの様な配置にする。つまり、レンズカバー１１６の上部の法線ベクトルが地表に向かうようにする。

図１３Ａ、図１３Ｂにおいて、５２１は基台、５２２〜５２５はそれぞれ第１の広角カメラ１０２〜第４の広角カメラ１０５のレンズ、１２６はレンズカバーである。

図１３Ａ、図１３Ｂにおいて、レンズカバー１２６の上部は、基台５２１の上面と平行ではある。なお、図１３Ａ、図１３Ｂではレンズカバー１２６に板厚を考慮せずに記載されているが、レンズカバー１２６の上部の外表面とそれに対応する内表面は互いに平行であると考えてよい。つまり、レンズカバー１２６の上部の外表面とそれに対応する内表面はともに基台５２１の上面と平行である。一方、レンズカバー１２６を平面視した場合において、レンズカバー１２６の上部の外表面の重心の位置と、基台の上面に設けられた第１の広角カメラの〜第４の広角カメラのレンズ５２３〜５２５のそれぞれの中心の中心と、１０６はレンズカバーの上部の外表面の中心とがずれている。

前記レンズカバー１２６の上部と下部が平行であることを維持しながら，平行移動することにより、前記レンズカバー１２６の稜線付近を通過する光の歪みの影響を受ける領域が含まれない共通視野を広くできる。例えば、車載用途において、空に対して地表側の映像が重要であるので、図１３Ｃの様な配置にする。つまり、レンズカバー１２６の上部の法線ベクトルが地表に向かうようにする。

相似形のレンズカバーでも稜線付近を通過する光の歪みの影響を低減する効果が得られるため、レンズカバーの大きさ等の閾値はレンズカバー全体に対する割合で規定される。真球の半分で規定される半球のレンズカバーであれば，球の半径のみでレンズカバーの大きさを定義できる。ここで、半球のレンズカバーの場合、レンズカバーの大きさとは、球の直径に相当する。または、レンズカバーの大きさとは、レンズカバーの平面図における直径に相当する。

一方、錐台のレンズカバーの大きさの表現は複数考えられる。このため，錐台レンズカバーの大きさを表す有効な指標として、平均基線長Ｄを定義する。

ここで、Ｎはカメラ台数（レンズ数）、ｄは基線長（レンズ間距離）である。

この平均基線長を用いることで、複数のレンズが不規則に配置された場合でも、レンズカバーの大きさを規定される。なお、基線長の平均の代わりに、最小値、最大値、中央値、または標準偏差も利用できる。

複数のレンズを同一の場所に配置することはできないため、Ｎ≧２においてＤ＞０となる。図２６のような正方形状にレンズを配置した場合、水平方向のレンズ間距離をａとすると、

となる。

図２７は、レンズ同士を最密配置し、最小の正方形の表面を有する基台を用いた場合を示す。レンズ半径として、光軸対称なレンズを仮定し、光軸からの最大距離をｒとする。例えば、半径ｒのレンズを４つ使用する場合、球面レンズカバーの半径の最小値は2√2 rとなる。

上記のように、レンズ同士の最密配置を考えることで、平均基線長Ｄの下限を算出できる（上限は基台の表面のサイズに依存し、基台の表面の端にレンズを配置した場合である）。したがって、レンズカバーの大きさ等の閾値は平均基線長の定数倍等で規定できる。例えば、レンズカバーの大きさは、

以上平均基線長の３倍以下である。

レンズカバーの更なる他の形状について、以下の実施の形態２で説明する。

（実施の形態２）
（ねじれ錐台形状）
実施の形態１におけるレンズカバーの形状は錐台形状に限る必要はない。錐台の上底を、上底が位置する平面上でθ（θ≠０）回転させることにより、上底の辺が下底の辺に対しねじれの位置に存在する多面体となる。この多面体をねじれ錐台と呼ぶ。説明を簡単にするため、実施の形態１と同様の４つの広角カメラで説明する。

実施の形態２に係る撮像装置は、実施の形態１に係る撮像装置１０１から、レンズカバー１０６が、後述するレンズカバー６３１（図１４Ａ、図１４Ｂ参照）に変更されている。

図１４Ａ、図１４Ｂは広角カメラとねじれ錐台レンズカバーの配置を示す図である。図１４において、実施の形態１と同一構成要素には、図２Ａ、図２Ｂと同一の符号を付し、その説明を省略する。６３１は外形がねじれ錐台形状のレンズカバー、６３２は６３１の上底の４辺のうち、前記辺とレンズ５０２と５０３を結ぶ線分を含む矩形を考えた時に、前記矩形の面積が最小となる辺、６３３はレンズ５０２とレンズ５０３の中心を結ぶ線分（基線）を示す。なお、４つのレンズのそれぞれの形状を半球とした場合、４つのレンズのそれぞれは基台の上面と円を形成して交わる。この円の中心をレンズの中心と定義してもよい。

６３２と６３３の位置関係は回転角θ（θ≠０）ねじれており、非平行である。すなわち、レンズカバー６３１における複数の面のうちの上部の外表面を囲む各稜線は、第１の広角カメラ（第１のカメラ）１０２と第２の広角カメラ（第２のカメラ）１０３とを結ぶ基線に対してねじれの位置にある。このようにカメラの基線とレンズカバーの上底の辺がねじれの位置にある場合、稜線付近を通過する光の歪みの影響は、ある空間中の１点の世界座標に対し１つのカメラのみによって発生する。一方、錐台形状の場合、基線と上底の辺を共に含む３次元空間中の平面（錐台形状の場合、基線と上底の辺が平行であり，前記基線と前記辺を含む平面が存在する．）が、上記基線を形成するカメラペアの両方にとって、稜線付近を通過する光の歪みの影響を受ける領域となる。

図１４Ａ、図１４Ｂで示される例では、レンズカバー６３１の上部の外表面の各辺は、第１の広角カメラ（第１のカメラ）のレンズ５０２と第２の広角カメラ（第２のカメラ）のレンズ５０３とを結ぶ基線に対してねじれの位置にある。

このように、実施の形態２に係る撮像装置は、第１画像を撮像する第１の広角カメラ（第１のカメラ）１０２と、第２画像を撮像する第２の広角カメラ（第２のカメラ）１０３と、透光性を有する複数の面からなり、第１の広角カメラ（第１のカメラ）１０２及び第２の広角カメラ（第２のカメラ）１０３を覆うレンズカバー６３１と、第１画像における、上記複数の面のうちの互いに隣り合う２つの面の境界線である稜線付近を通過する光の歪みの影響を受ける領域にある画素を特定し、特定した画素の画素値を補間するための補間画素情報と、第１画像とを用いて、出力画像を生成する処理回路１１１とを備え、レンズカバー６３１における上記複数の面のうちの上部の外表面を囲む各稜線は、第１の広角カメラ（第１のカメラ）１０２と第２の広角カメラ（第２のカメラ）１０３とを結ぶ基線に対してねじれの位置にある。

以上により、レンズカバーの外形をねじれ錐台形状にすることにより、レンズカバーの稜線付近を通過する光の歪みの影響を受ける領域を含む画像を撮像するカメラの台数を少なくすることができ、その結果、稜線付近を通過する光の歪みの影響を受けない画像を撮像する別のカメラによる画素値を用いた補間を容易にすることができる。

カメラ数が４でない場合について説明する。

図１５Ａ、図１５Ｂは３つの広角カメラと錐台レンズカバーの配置を示す図である。図１５Ａ、図１５Ｂにおいて、実施の形態１と同一構成要素には、図９Ａ、図９Ｂと同一の符号を付し、その説明を省略する。１３０１はねじれ錐台形状のレンズカバー、１３０２は１３０１の上底の３辺のうち、最もレンズ１２０２とレンズ１２０３の近傍に位置する辺、１３０３はレンズ１２０２とレンズ１２０３の中心を結ぶ線分（基線）を示す。

図１６Ａ、図１６Ｂは５つの広角カメラと錐台レンズカバーの配置を示す図である。図１６Ａ、図１６Ｂにおいて、実施の形態１同一構成要素には、図１０Ａ、図１０Ｂと同一の符号を付し、その説明を省略する。１５０１はねじれ錐台形状のレンズカバー、１５０２は１５０１の上底の５辺のうち、最もレンズ１４０２とレンズ１４０３の近傍に位置する辺、１５０３はレンズ１４０２とレンズ１４０３の中心を結ぶ線分（基線）を示す。

図１７Ａ、図１７Ｂは６つの広角カメラと錐台レンズカバーの配置を示す図である。図１７Ａ、図１７Ｂにおいて、実施の形態１と同一構成要素には、図１６Ａ、図１６Ｂと同一の符号を付し、その説明を省略する。１７０１はねじれ錐台形状のレンズカバー、１７０２は１７０１の上底の６辺のうち、最もレンズ１６０２とレンズ１６０３の近傍に位置する辺、１７０３はレンズ１６０２とレンズ１６０３の中心を結ぶ線分（基線）を示す。

なお、カメラ数が３〜６でない、あるいは、レンズ配置が対称配置でない、これらの例以外の場合は、レンズカバーの外形は、基台を底面とするねじれ錐台とすれば良い。

（実施の形態３）
（入射光がなるべく垂直に通過）
レンズカバーの形状は、入射光の減衰の影響を低減するためには、前記入射光の通過するレンズカバー面が入射光の方向ベクトルに対し、垂直であることが好適である。この様にレンズカバーによる減衰の影響を考慮した形状について実施の形態３で説明する。

図１８は、カメラの視野を説明する概念図である。カメラ１８０１の光軸を１８０２とし、カメラの視野Ｓを１８０３とする。視野の境界を通過する直線と光軸のなす角を半画角ω１８０４とする。視線の方向ベクトルと視線の方向ベクトルが通過するレンズカバー面の法線ベクトルのなす角が小さい場合、入射光の通過するレンズカバー面が入射光の方向ベクトルに対し、垂直に近くなり、レンズカバーによる入射光の減衰が小さく好適である。２つ以上のカメラを覆うレンズカバーにおいて、レンズカバー全体として視線の方向ベクトルとレンズカバー面の法線ベクトルのなす角を評価するには、レンズ位置を中心とする視野Ｓについて、視線の方向ベクトルの単位ベクトルである単位視線ベクトルと、視線の方向のベクトルが通過するレンズカバー面の法線ベクトルの単位ベクトルである単位法線ベクトルの内積を各カメラで算出すれば良い。上記２ベクトルのなす角の大きさを評価する評価値Ｊを式５に示す。

ここでは、Ｎはカメラ数、ｉはカメラインデックス、

は単位視線ベクトル、

は視線ベクトルが通過する位置におけるレンズカバーの単位法線ベクトルである。

この評価値Jは上記２ベクトルのなす角に対する平均余弦に相当する。つまり、評価値Ｊは、上記２ベクトルのなす角が０の場合に最大値１となる。例えば、半画角９０°の１つのカメラに対し、カメラの中心と球面の中心が一致する半球面のレンズカバーを使用した場合、式５の評価値Ｊの算出を図１９で説明する。図１９において、図１８と同一構成要素には、図１８と同一の符号を付し、その説明を省略する。カメラの視線ベクトルを１９０１、視線ベクトルが通過する微小視野を１９０２、微小視野の単位法線ベクトルを１９０３とする。式５における面積分の領域の奥行き値は任意であるのでＲの半球面とする。球面の法線ベクトルは前記球面中心を通過するので、レンズカバーと視線ベクトルは直交し、式５の

の内積は常に１となる。したがって、式５の評価値Ｊは最大値である１となる。

図２０Ａ、図２０Ｂに実施の形態１と同様の４つのカメラを例として説明する。図２０Ａ、図２０Ｂにおいて、実施の形態１と同一構成要素には、図２Ａ、図２Ｂと同一の符号を付し、その説明を省略する。７０１は式５におけるレンズ位置を中心とする視野であり、カメラの視野は半球状（光軸から９０°以内）とする。ｗは上底の辺の長さの半分、φは錐台の側面と底面のなす角を示す。ここでは一例として、レンズカバーの底面の一辺を３０ｍｍ、レンズの中心を底面の辺から７．５ｍｍ離した位置とする。この配置において、数７の評価値Ｊを最大化するｗとｈを算出する。レンズカバーの構造的制約として、０＜ｗ≦１５ｍｍ、０＜ｈ≦３０ｍｍとする。解析的な解の計算は困難なため、視線ベクトルを球面座標系で等角度間隔に生成し、数値解を得る。実際の例として角度分解能０．３６°の場合、最大値Ｊは０．８４１で、視線ベクトルと視線ベクトルが通過するレンズカバー面の法線ベクトルのなす角の平均は３２．７°となる。この時、ｗ＝１１．３７ｍｍ、ｈ＝８．１１ｍｍ、φ＝６５．９°（図２１）となる。なお、φ＝６０°の場合には、評価値Ｊはおよそ０．７となる。このため、φ＝６５．９°となる上記形状のレンズカバーは、φ＝６０°の場合よりも、レンズカバーによる入射光減衰の影響を低減することができていると言える。

ここで、レンズが基台の中央に１つある場合と複眼の場合の差異について説明する。前者の場合、対称性から側面から見たときに正六角形を半分にした台形において評価値Ｊを最大化し、φ＝６０°となる。それに対し後者の場合、レンズの位置がレンズカバーの中央にないため、φは６０°より大きい６５．９°で評価値Ｊが最大となる。したがって、１つのレンズを基台の中央に配置した場合における評価値Ｊの最大値は、実施の形態３における入射光に対してレンズカバーがより垂直であることを示す閾値の例となる。

以上により、レンズカバーに入射する光の角度を評価値Ｊによって評価することができ、前記評価値を大きくする様にレンズカバー形状を決定することにより、レンズカバーによる入射光の減衰の影響を低減することができる。

（実施の形態４）
（レンズカバーは、高さが低く、半球面レンズカバーの内部に位置）
移動体、例えば車またはドローン、において、レンズカバーの突出は衝突の原因となりうる。このため、レンズカバーの高さは低いことが好適である。このため、基台に外接する円の半径を半径とする半球面レンズカバーより内部にレンズカバーを配置する。

図２２Ａ、図２２Ｂを用いて、実施の形態１と同様の４つのカメラを例として説明する。図２２Ａ、図２２Ｂにおいて、実施の形態１と同一構成要素には、図２Ａ、図２Ｂと同一の符号を付し、その説明を省略する。Ｐはレンズカバーの上底の頂点を示す（頂点は４つあるが、対称性があるので１点を代表とする）。半球面５０６の内部にＰが存在するようにレンズカバーを配置することにより、レンズカバーの高さを半球面レンズカバーに対して低くする。

この場合には、レンズカバーは、第１の広角カメラ（第１のカメラ）１０２及び第２の広角カメラ（第２のカメラ）１０３が配置されている下面（基台５０１の上面）の外接円の半径を半径とする球に包含される。

以上により、レンズカバーの高さを低くし、衝突の可能性を低減できる。

（実施の形態５）
（角丸）
移動体、例えば、車またはドローンにおいて、安全性の観点から角がない形状が好適である。このため、レンズカバーの稜線と稜線近傍の領域を曲面に置き換えた形状の場合、レンズカバーに角はなく、安全な形状となる。

図２３に、実施の形態５の撮像装置９０１のブロック図を示す。説明を簡単にするため、実施の形態１と同様の４つのカメラを例とする。

同図に示されるように、実施の形態５に係る撮像装置９０１は、実施の形態１に係る撮像装置１０１（図１参照）から、レンズカバー１０６がレンズカバー９０６に置き換えられ、補間部１０８が補間部９０８に置き換えられて構成される。レンズカバー９０６は、レンズカバー１０６からその稜線と稜線近傍の領域を曲面に置き換えたものとなっている。以下、このレンズカバー１０６について説明する。

図２４に、レンズカバーの稜線と稜線近傍の領域を曲面に置き換えたレンズカバーであるレンズカバー９０６の側面図を示す。１００１はレンズ、１００２は底面と平行なレンズカバー面であり、上面と呼ぶ。なお、図２４ではレンズカバーの板厚を無視して記載している。このレンズカバー面はレンズカバーの外表面と考えてもよい。レンズカバーの内表面も同じ考え方で設計してもよい。１００３は底面に接するレンズカバー面であり、側面と呼ぶ。１００４は上面１００２と側面１００３に接する円筒であり、図２４の側面図においては円となる。レンズカバーの稜線と稜線近傍の領域を曲面に置き換えるには、図２４の配置のように、２つの平面部１００２、１００３に接するように曲面を配置し、実施の形態１〜４の錐台レンズカバーとねじれ錐台レンズカバーにおける稜線と稜線近傍の領域を、上記の曲面で置き換えることにより得られる。上記曲面の大きさは曲率半径で表せられる。車載用途における安全基準を満たすことが好適であり、例えば、道路運送車両の保安基準の細目を定める告示［２０１６年６月１８日］別添２０（外装の技術基準）より、曲率半径が２．５ｍｍ以上とする。また、基台の大きさに基づいて曲率を定めてもよく、前記基台の１辺の長さに対する割合、例えば１％とすればよい。

なお、上記曲面は１００４の円筒に限らない。稜線と稜線近傍の領域を除くレンズカバーの平面領域は、実施の形態の１〜４と同様に定めれば良く、その説明は省略する。

補間部９０８は、レンズカバー９０６の曲面によって生じる画像上の稜線付近を通過する光の歪みの影響を受ける領域において、画素値を補間する。この補間について、図２５を用いて説明する。

図２５は補間部９０８の動作を示すフローチャートである。

同図に示されるように、補間部９０８の行う動作は、実施の形態１に係る補間部１０８の行う動作（図４参照）から、ステップＳ４０２の処理が、ステップＳ１１０２の処理へと変更されたものとなっている。以下、このステップＳ１１０２の処理について説明する。

補間部９０８は、レンズカバーの曲面による画像上の光の歪みの影響を受ける遮蔽領域を判定する（ステップＳ１１０２）。この判定は、以下に説明する３つの方法のいずれか、あるいは、それらの組み合わせで行う。１つ目の方法としては、実施の形態１〜４と同様に着目カメラの着目画素近傍領域にマッチする領域が他のカメラにあるか否かで算出する。２つ目の方法としては、レンズカバーの設計値に基づき、画像上の画素ごとに入射光が曲面を通過するか否かで算出する。３つ目の方法としては、レンズカバーによって生じる遮蔽領域の境界から所与の画素数以内に位置するか否かで算出する。

以上により、角がなく安全性を向上したレンズカバーを使用し、小型な撮像装置で広角撮影を行える。

以上、一つまたは複数の態様に係る撮像装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本開示に係る撮像装置、及び撮像方法は、移動体、例えば、ドローンまたは車における、例えば、周辺監視または運転支援の用途において有用である。

１０１，９０１撮像装置
１０２第１の広角カメラ（第１のカメラ）
１０３第２の広角カメラ（第２のカメラ）
１０４第３の広角カメラ（第３のカメラ）
１０５第４の広角カメラ（第４のカメラ）
１０６，１１６，１２６，６３１，９０６，１２０１，１３０１，１４０１，１５０１，１６０１，１７０１レンズカバー
１０７フレームメモリ
１０８，９０８補間部
１０９画像合成部
１１０画像出力部
１１１処理回路

Claims

第１画像を撮像する第１のカメラと、
第２画像を撮像する第２のカメラと、
透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、
前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向し、
前記処理回路は、前記画素の特定を、前記第１画像と前記第２画像とに基づいて行う
撮像装置。
さらに、前記領域を特定するための領域特定情報を記憶する記憶部を備え、
前記処理回路は、前記領域特定情報に基づいて、前記画素の特定を行う
請求項１記載の撮像装置。
前記処理回路は、前記補間画素情報として、前記領域から所定の距離以下に位置する近傍画素の画素値を取得する
請求項１記載の撮像装置。
第１画像を撮像する第１のカメラと、
第２画像を撮像する第２のカメラと、
透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、
前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向し、
前記レンズカバーはさらに前記基台の上面を覆い、前記上面の外接円の半径を半径とする球に包含される
撮像装置。
前記複数の稜線の１つとその近傍領域は、曲面に置き換えられた
請求項４記載の撮像装置。
前記レンズカバーはさらに前記基台の上面を覆い、
前記上部の外表面、前記上部の内表面、前記上面とが平行である
請求項４記載の撮像装置。
前記レンズカバーはさらに前記基台の上面を覆い、
前記上部の外表面と前記上面は相似形であり、
前記上部の外表面は前記上面より小さい
請求項４記載の撮像装置。
第１画像を撮像する第１のカメラと、
第２画像を撮像する第２のカメラと、
透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーと、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、
前記レンズカバーの外形は、
Ｎをカメラの数、Ｓを視野、ｉを前記第１カメラまたは前記第２カメラを示すインデックス、

をカメラｉの単位視線ベクトル、

を前記カメラｉの視線ベクトルが通過する位置における前記カバーの単位法線ベクトルとする場合に、

で規定される評価値Ｊが、０．７よりも大きくなる形状である
撮像装置。
撮像方法であって、
第１のカメラに第１画像を撮像させ、
第２のカメラに第２画像を撮像させ、
前記第１のカメラ及び前記第２のカメラは、透光性を有する複数の部分と複数の稜線を有するレンズカバーで覆われ、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、処理回路に、（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定させ、（ｉｉ）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成させ、
前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向し、
前記処理回路は、前記画素の特定を、前記第１画像と前記第２画像とに基づいて行う
撮像方法。
撮像方法であって、
第１のカメラに第１画像を撮像させ、
第２のカメラに第２画像を撮像させ、
前記第１のカメラ及び前記第２のカメラは、透光性を有する複数の部分と複数の稜線を有するレンズカバーで覆われ、前記複数の部分は上部と複数の隣接部を含み、前記複数の隣接部のそれぞれは前記上部と隣接し、前記複数の稜線の各々は、前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定させ、（ｉｉ）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成させ、
前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向し、
前記レンズカバーはさらに前記基台の上面を覆い、前記上面の外接円の半径を半径とする球に包含される
撮像方法。
さらに、第３画像を撮像する第３のカメラを備え、
前記処理回路は、前記第２画像と前記第３画像とを用いて、前記補間画素情報として、前記領域に対応する画素の画素値の情報を取得する
請求項１記載の撮像装置。
前記レンズカバーはさらに前記基台の上面を覆い、前記上面の外接円の半径を半径とする球に包含される
請求項１記載の撮像装置。
前記複数の稜線の１つとその近傍領域は、曲面に置き換えられた
請求項１記載の撮像装置。
前記レンズカバーはさらに前記基台の上面を覆い、
前記上部の外表面、前記上部の内表面、前記上面とが平行である
請求項１記載の撮像装置。
前記レンズカバーはさらに前記基台の上面を覆い、
前記上部の外表面と前記上面は相似形であり、
前記上部の外表面は前記上面より小さい
請求項１記載の撮像装置。
第１画像を撮像する第１のカメラと、
第２画像を撮像する第２のカメラと、
透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーとを備え、前記複数の部分は上部と複数の隣接部を含み、前記複数の稜線の各々は前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
（ｉ）前記第１画像において、画素値の補間が必要な領域にある画素を特定し、（ii）前記特定した画素の画素値を補間するための補間画素情報と、前記第１画像とを用いて、出力画像を生成する処理回路とを備え、
前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
さらに、第３画像を撮像する第３のカメラを備え、
前記処理回路は、前記第２画像と前記第３画像とを用いて、前記補間画素情報として、前記領域に対応する画素の画素値の情報を取得する
撮像装置。
第１画像を撮像する第１のカメラと、
第２画像を撮像する第２のカメラと、
透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーとを備え、前記複数の部分は上部と複数の隣接部を含み、前記複数の稜線の各々は前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向し、
前記レンズカバーはさらに前記基台の上面を覆い、前記上面の外接円の半径を半径とする球に包含される
撮像装置。
第１画像を撮像する第１のカメラと、
第２画像を撮像する第２のカメラと、
透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーとを備え、前記複数の部分は上部と複数の隣接部を含み、前記複数の稜線の各々は前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
前記複数の稜線の１つとその近傍領域は、曲面に置き換えられた
撮像装置。
第１画像を撮像する第１のカメラと、
第２画像を撮像する第２のカメラと、
透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメラを覆うレンズカバーとを備え、前記複数の部分は上部と複数の隣接部を含み、前記複数の稜線の各々は前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向し、
前記レンズカバーはさらに前記基台の上面を覆い、
前記上部の外表面、前記上部の内表面、前記上面とが平行である
撮像装置。
第１画像を撮像する第１のカメラと、
第２画像を撮像する第２のカメラと、
透光性を有する複数の部分と複数の稜線を有し、前記第１のカメラ及び前記第２のカメ
ラを覆うレンズカバーとを備え、前記複数の部分は上部と複数の隣接部を含み、前記複数の稜線の各々は前記複数の隣接部の複数の表面の各々と前記上部の表面の間に形成され、
前記複数の稜線の各々は、前記第１のカメラの第１レンズの第１中心と前記第２のカメラの第２レンズの第２中心とを結ぶ基線に対してねじれの位置にあり、
前記上部は前記第１のカメラと前記第２のカメラが設置される基台に対向し、
前記レンズカバーはさらに前記基台の上面を覆い、
前記上部の外表面と前記上面は相似形であり、
前記上部の外表面は前記上面より小さい
撮像装置。