JP6735474B2

JP6735474B2 - 撮像装置

Info

Publication number: JP6735474B2
Application number: JP2016233510A
Authority: JP
Inventors: 登　一生; 一生登; 佐藤　智; 智佐藤; 吾妻　健夫; 健夫吾妻; 貴真安藤; 是永　継博; 継博是永; 藤井　俊哉; 俊哉藤井
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-02-29
Filing date: 2016-11-30
Publication date: 2020-08-05
Anticipated expiration: 2036-11-30
Also published as: US11272166B2; US10484668B2; CN107135337B; US20170251198A1; EP3220638A1; JP2018026781A; JP6975933B2; JP2020167725A; CN107135337A; EP3220638B1; US20200045299A1

Description

本開示は、画像を撮像する撮像装置および撮像方法などに関する。

自動車の安全運転支援システム、移動ロボットの自動制御システム、あるいは不審者等を検出する監視カメラシステムなどにおいて、システムおよびユーザが判断または制御を行うためには、システムの周辺の３次元位置の情報が必要となる。

３次元位置を取得する手段としては、いわゆる２眼ステレオ視（三角法ともいう）が広く利用されている（例えば、特許文献１参照）。この２眼ステレオ視では、２台のカメラを、互いに異なる視点に、それぞれの視野が重複するように配置して、それぞれのカメラが画像を撮像する。そして、撮像された２つの画像間の対応点を特定して、その対応点とあらかじめ求めておいた２台のカメラの位置および向きなどの情報とを用いて、対応点の３次元位置を計算する。

特開平６−１６７５６４号公報

しかしながら、上記特許文献１の撮像装置では、回路規模が大きくなるという問題がある。つまり、互いに視点が異なる画像を撮像するために、視点の数と同じ台数の撮像素子（すなわち上述のカメラ）が必要であって、多くの撮像素子を備えるために回路規模が大きくなるという課題がある。

そこで、本開示の非限定的で例示的な一態様では、回路規模を小さく抑えることができる撮像装置などを提供する。

本開示の一態様に係る撮像装置は、撮像素子と、それぞれ互いに異なる視点からの入力画像を前記撮像素子上に結像するための２つ以上の結像光学系と、前記２つ以上の結像光学系のそれぞれによって結像される前記入力画像を変調する２つ以上の変調マスクとを備え、前記撮像素子は、前記２つ以上の結像光学系によって結像され、かつ前記２つ以上の変調マスクによって変調されて、光学的に重畳された２つ以上の前記入力画像からなる重畳画像を撮像し、前記２つ以上の変調マスクのそれぞれの光の透過率分布は互いに異なり、前記２つ以上の変調マスクのそれぞれにおける各部位の光の透過率は一様乱数である。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）などの不揮発性の記録媒体を含む。

本開示によれば、回路規模を小さく抑えることができる。

本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。

図１は、実施の形態１における撮像システムの概略構成を示すブロック図である。図２は、実施の形態１における撮像システムの具体的な構成を示す構成図である。図３は、実施の形態１における光学部の配置構成の他の例を示す模式図である。図４は、理想的な光学系を示す図である。図５は、実施の形態１における撮像装置の配置と撮像状況の例を示す図である。図６は、実施の形態１における、コンピュータグラフィックスによる入力画像と、その入力画像に基づく観測画像と、観測画像から生成された復元画像とを示す図である。図７は、実施の形態１における距離算出部によって算出される距離を、その真値と比較して示す図である。図８は、実施の形態１の変形例に係る光学部の２つの結像光学系の構成を示す図である。図９は、実施の形態１の変形例に係る光学部の２つの結像光学系の他の構成を示す図である。図１０は、実施の形態２におけるシミュレーション結果の例を示す図である。図１１は、実施の形態２におけるシミュレーション結果の例を示す図である。図１２は、本開示のコンピュータとして構成された画像処理装置の構成を示すブロック図である。図１３Ａは、本開示の一態様に係る撮像方法を示すフローチャートである。図１３Ｂは、本開示の一態様に係る画像処理方法を示すフローチャートである。図１３Ｃは、本開示の他の態様に係る画像処理方法を示すフローチャートである。

（本開示の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、特許文献１の撮像装置に関し、以下の問題が生じることを見出した。

２眼ステレオ視では、２台のカメラの視点を結ぶ直線上およびその近傍において、２視点からの方向の差である視差が０または０に近くなるために、３次元位置を計算できないという課題がある。特に、視野角が１８０度以上のカメラを用いる場合、視差が０になるために３次元位置を計算できない領域が視野内に必ず含まれる。そこで、特許文献１の撮像装置では、より広視野角の３次元位置を取得するために、３台以上のカメラを用いることで、２台のカメラでは３次元位置を計算できない領域を、他の２台のカメラで計算した３次元位置で補完する方法が開示されている。また、特許文献１には、視野内を高速に移動する物体を追尾すること、または、複数の目標物を同時に追尾することを目的として、視野角の広い魚眼レンズを有するカメラを用いた装置が開示されている。この技術は、魚眼レンズを有するカメラで広視野角の魚眼画像を取得し、各魚眼画像から移動物を検出して各移動物を通る直線方程式を算出し、各移動物について複数の直線方程式を１組とする直線方程式群を求めることで、３次元位置を決定する。３台以上のカメラを用いることで、ある２台のカメラでは３次元位置を計算できない領域を、他のカメラで補うことができるため、３次元位置を計算できない領域が発生しない。

しかし、上記特許文献１の撮像装置では、互いに視点が異なる画像を撮像するために、視点の数と同じ台数の撮像素子が必要であって、多くの撮像素子を備えるために回路規模が大きくなるという課題がある。

このような問題を解決するために、本開示の一態様に係る撮像装置は、撮像素子と、それぞれ互いに異なる視点からの入力画像を前記撮像素子上に結像するための２つ以上の結像光学系と、前記２つ以上の結像光学系のそれぞれによって結像される前記入力画像を変調する２つ以上の変調マスクとを備え、前記撮像素子は、前記２つ以上の結像光学系によって結像され、かつ前記２つ以上の変調マスクによって変調されて、光学的に重畳された２つ以上の前記入力画像からなる重畳画像を撮像する。

これにより、それぞれ互いに異なる視点からの２つ以上の入力画像は、１つの撮像素子に光学的に重畳されて撮像されるが、このときには、それらの入力画像は、２つ以上の変調マスクによって変調されている。したがって、変調マスクの態様を示す変調情報を用いて、変調して重畳された２つ以上の入力画像からなる重畳画像を分解することで、元の２つの以上の入力画像に相当する復元画像を生成することができる。その結果、互いに視点が異なる複数の入力画像を撮像するために撮像装置に必要とされる撮像素子の台数を、その視点の数よりも少なくすることができる。言い換えると、互いに視点が異なる複数の入力画像を１台の撮像素子で同時に取得することができる。これにより、撮像装置の回路規模を小さく抑えることができる。

ここで、前記２つ以上の変調マスクのそれぞれの光の透過率分布は互いに異なっていてもよい。具体的には、前記２つ以上の変調マスクの間における光の透過率分布の相関係数は１未満であってもよい。より具体的には、前記２つ以上の変調マスクの間における光の透過率分布の相関係数は概ね０であってもよい。

これにより、重畳画像から生成される２つ以上の復元画像を、変調および重畳される前の元の２つ以上の入力画像により近づけることができる。

また、前記２つ以上の変調マスクのそれぞれにおける各部位の光の透過率は一様乱数であってもよい。または、前記２つ以上の変調マスクのそれぞれにおける各部位の光の透過率はガウス乱数であってもよい。

これにより、重畳画像から生成される２つ以上の復元画像を、変調および重畳される前の元の２つ以上の入力画像に適切に近づけることができる。

また、前記撮像装置は、前記２つ以上の結像光学系、前記２つ以上の変調マスクおよび前記撮像素子からなる撮像セットを複数セット備えてもよい。

これにより、より多くの視点からの入力画像を撮像することができる。

また、本開示の一態様に係る画像処理装置は、それぞれ変調されて光学的に重畳された、互いに異なる視点からの２つ以上の入力画像からなる重畳画像を取得する取得部と、前記２つ以上の入力画像の変調の態様を示す変調情報を用いて、前記重畳画像を分解することによって、２つ以上の復元画像を生成する画像処理部とを備える。

これにより、重畳画から、元の２つの以上の入力画像に相当する復元画像を生成することができる。その結果、互いに視点が異なる複数の入力画像を撮像するために撮像装置に必要とされる撮像素子の台数を、その視点の数よりも少なくすることができる。これにより、撮像装置の回路規模を小さく抑えることができる。

また、前記画像処理部は、前記２つ以上の復元画像を生成するときには、評価値に基づいて、前記２つ以上の復元画像ととともに、前記２つ以上の復元画像間の視差を算出し、算出された前記視差に基づいて、前記２つ以上の復元画像に映っている対象物までの距離を算出してもよい。

これにより、対象物までの距離も算出されるため、上記互いに異なる視点の周辺における三次元位置を適切に算出することができる。

また、前記画像処理部は、前記２つ以上の復元画像を生成するときには、前記２つ以上の復元画像に対応する第１のパラメタと、前記視差に対応する第２のパラメタとに基づく前記評価値を最小化する、前記第１のパラメタの値および前記第２のパラメタの値のそれぞれを算出し、算出された前記第１のパラメタの値を前記２つ以上の復元画像に変換し、算出された前記第２のパラメタの値を前記視差として取得してもよい。例えば、前記評価値は、第１の項、第２の項、および第３の項のそれぞれによって示される値の和であって、前記第１の項は、前記重畳画像と、前記２つ以上の復元画像を前記変調情報にしたがって変調した画像との差の２乗和を、前記第１のパラメタを用いて示し、前記第２の項は、前記第１のパラメタのＬ１ノルムに重みを付けた値を示し、前記第３の項は、前記２つ以上の復元画像のうちの１つの復元画像を、前記視差に応じた距離を並行移動することによって得られる画像と、前記２つ以上の復元画像のうちの他の復元画像との差のＬ１ノルムに重みを付けた値を、第１のパラメタおよび第２のパラメタを用いて示してもよい。なお、第１のパラメタおよび第２のパラメタのそれぞれは、例えば後述のｃおよびＤであり、評価値は、後述の（式９）におけるａｒｇｍｉｎ以降の関数によって得られる値である。

これにより、第１のパラメタと第２のパラメタとに基づく評価値から、２つ以上の復元画像と視差とを得ることができ、かつ、それらの復元画像および視差の精度を高めることができる。

また、本開示の一態様に係る画像処理装置は、それぞれ変調されて光学的に重畳された、互いに異なる視点からの２つ以上の入力画像からなる重畳画像を取得する取得部と、前記２つ以上の入力画像の変調の態様を示す変調情報と、前記重畳画像とを用いて、前記２つ以上の入力画像間の視差を算出し、算出された前記視差に基づいて、前記２つ以上の入力画像に映っている対象物までの距離を算出する画像処理部とを備える。

これにより、対象物までの距離が算出されるため、上記互いに異なる視点の周辺における三次元位置を適切に算出することができる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。

（実施の形態１）
［１．撮像システムの概略構成］
図１は、実施の形態１における撮像システムの概略構成を示す。

実施の形態１における撮像システム１は、図１に示すように、互いに異なる２つの視点からの像を重畳させて撮像する撮像装置１０と、その重畳された２つの像を処理する画像処理装置２０とを備える。

撮像装置１０は、２つの結像光学系１１Ｌおよび１１Ｒと、２つの変調マスク１２Ｌおよび１２Ｒと、撮像素子１３とを備える。

２つの結像光学系１１Ｌおよび１１Ｒは、それぞれ互いに異なる視点からの入力画像を撮像素子１３上に結像するためのレンズなどを含む光学系である。

２つの変調マスク１２Ｌおよび１２Ｒは、その２つの結像光学系１１Ｌおよび１１Ｒのそれぞれによって結像される入力画像を変調する。これらの変調マスク１２Ｌおよび１２Ｒのそれぞれでは、各部位の光の透過率が異なっている。

撮像素子１３は、２つ結像光学系１１Ｌおよび１１Ｒによって結像され、かつ２つの変調マスク１２Ｌおよび１２Ｒによって変調されて、光学的に重畳された２つの入力画像からなる重畳画像を撮像する。

画像処理装置２０は、取得部２１と、画像処理部２２とを備える。

取得部２１は、それぞれ変調されて光学的に重畳された、互いに異なる視点からの２つ入力画像からなる重畳画像を取得する。ここで、重畳画像は、撮像装置１０の撮像素子１３によって撮像された画像である。

画像処理部２２は、２つの入力画像の変調の態様を示す変調情報を用いて、重畳画像を分解することによって、２つ入力画像に相当する復元画像を生成する。また、画像処理部２２は、その変調情報と、重畳画像とを用いて、２つの復元画像間の視差を算出し、算出された視差に基づいて、その２つ復元画像に映っている対象物までの距離を算出する。

なお、実施の形態１では、撮像装置１０は、２つの結像光学系１１Ｌおよび１１Ｒ、２つの変調マスク１２Ｌおよび１２Ｒ、ならびに撮像素子１３からなる撮像セットを１セット備えるが、複数セット備えていてもよい。この場合、画像処理装置２０は、複数の撮像セットのそれぞれで撮像された重畳画像を取得し、複数の重畳画像のそれぞれについて、その重畳画像を分解することによって２つの復元画像を生成する。

また、実施の形態１では、撮像装置１０は、２つの結像光学系１１Ｌおよび１１Ｒを備え、２つの変調マスク１２Ｌおよび１２Ｒを備えるが、結像光学系の数および変調マスクの数は２つに限定されることはなく、２つ以上であればよい。

撮像装置１０が２つ以上の結像光学系と２つ以上の変調マスクを備える場合には、撮像素子１３は、２つ以上の結像光学系によって結像され、かつ２つ以上の変調マスクによって変調されて、光学的に重畳された２つ以上の入力画像からなる重畳画像を撮像する。また、この場合には、画像処理装置２０の取得部２１は、それぞれ変調されて光学的に重畳された、互いに異なる視点からの２つ以上の入力画像からなる重畳画像を取得する。画像処理部２２は、２つ以上の入力画像の変調の態様を示す変調情報を用いて、重畳画像を分解することによって、２つ以上の入力画像に相当する復元画像を生成する。また、画像処理部２２は、その変調情報と、重畳画像とを用いて、２つ以上の入力画像間の視差を算出し、算出された視差に基づいて、その２つ以上の入力画像に映っている対象物までの距離を算出する。

［２．撮像システムの詳細構成］
以下、このような撮像システム１について、より具体的に説明する。

図２は、実施の形態１における撮像システムの具体的な構成を示す構成図である。

［２−１．撮像装置］
撮像装置１０は、光学部１００と、撮像部１１０とを備える。

光学部１００は、上述の２つの結像光学系１１Ｌおよび１１Ｒおよび２つの変調マスク１２Ｌおよび１２Ｒを備える。ここで、結像光学系１１Ｌは、レンズなどからなる光学系１０１Ｌと、リレーレンズ１０３Ｌと、プリズムなどからなる反射光学系１０４の一部（図２中の左側の部分）とからなる。変調マスク１２Ｌは、光学系１０１Ｌとリレーレンズ１０３Ｌとの間に配置される。例えば、変調マスク１２Ｌは、光学系１０１Ｌの結像面に配置される。同様に、結像光学系１１Ｒは、レンズなどからなる光学系１０１Ｒと、リレーレンズ１０３Ｒと、反射光学系１０４の一部（図２中の右側の部分）とからなる。変調マスク１２Ｒは、光学系１０１Ｒとリレーレンズ１０３Ｒとの間に配置される。例えば、変調マスク１２Ｒは、光学系１０１Ｒの結像面に配置される。

変調マスク１２Ｌおよび１２Ｒのそれぞれの光の透過率分布は互いに異なる。つまり、変調マスク１２Ｌおよび１２Ｒのそれぞれは、光の透過率が場所によって異なるマスクであって、それらの間における光の透過率分布の相関係数は１未満である。例えば、変調マスク１２Ｌおよび１２Ｒの間における光の透過率分布の相関係数は概ね０である。つまり、変調マスク１２Ｌおよび１２Ｒは無相関である。また、変調マスク１２Ｌおよび１２Ｒのそれぞれにおける各部位の光の透過率は一様乱数である。しかし、本開示では一様乱数に限らず、光の透過率はガウス乱数であってもよい。

撮像部１１０は、上述の撮像素子１３と、画像出力部１１２とを備える。

撮像素子１３は、光強度の２次元分布を電子的な画像データに変換する素子であって、上述のように、結像され、かつ変調されて、光学的に重畳された２つの入力画像からなる重畳画像を撮像する。画像出力部１１２は、撮像素子１３によって撮像された重畳画像を画像処理装置２０に出力する。

ここで、図２に示す例では、変調マスク１２Ｌおよび１２Ｒのそれぞれは、光学系１０１Ｌまたは１０１Ｒの結像面に配置されているが、瞳の位置に配置されていてもよい。

図３は、光学部１００の配置構成の他の例を示す。

変調マスク１２Ｌおよび１２Ｒは、図３に示すように、光学系１０１Ｌまたは１０１Ｒの瞳の位置に配置されている。なお、変調マスク１２Ｌおよび１２Ｒは、結像面および瞳以外の位置に配置されていてもよい。

［２−２．画像処理装置］
画像処理装置２０は、上述の取得部２１および画像処理部２２を備える。

画像処理部２２は、変調情報記憶部１２１と、画像生成部１２２と、距離算出部１２３と、距離出力部１２４とを備える。

変調情報記憶部１２１は、変調マスク１２Ｌおよび１２Ｒのそれぞれによる変調の態様を示す情報、すなわちこられのマスクの透過率に関する情報である変調情報を格納している。

画像生成部１２２は、変調情報記憶部１２１に格納されている変調情報を用いて、取得部２１によって取得された重畳画像を分解することによって、それぞれ互いに異なる視点からの２つの入力画像に相当する復元画像を生成する。

距離算出部１２３は、その分解によって生成された２つの復元画像間の視差を算出し、算出された視差に基づいて、それらの復元画像に映っている対象物までの距離を算出する。

距離出力部１２４は、距離算出部１２３によって算出された距離を示す情報を距離情報として出力する。

［３．処理動作］
上記した構成により、撮像装置１０では、光学系１０１Ｌおよび１０１Ｒによって得られる入力画像Ｉ_１と入力画像Ｉ_２は、それぞれ異なる変調マスク１２Ｌまたは変調マスク１２Ｒによって符号化、すなわち輝度変調が行われる。撮像素子１３は、変調マスク１２Ｌによって第１の輝度変調が行われた入力画像Ｉ_１と、変調マスク１２Ｒによって第２の輝度変調が行われた入力画像Ｉ_２とが光学的に重畳加算された画像を、上述の重畳画像である観測画像ｙとして撮像する。画像出力部１１２は、撮像素子１３から観測画像ｙを読み出して出力する。

［３−１．入力画像と観測画像］
ここで、変調マスク１２Ｌおよび１２Ｒを結像面に配置した場合（図２に示す配置の場合）と、変調マスク１２Ｌおよび１２Ｒを瞳の位置に配置した場合（図３に示す配置の場合）とにおける、入力画像と観測画像との関係を説明する。

（変調マスク１２Ｌおよび１２Ｒを結像面に配置した場合）
変調マスク１２Ｌおよび１２Ｒを結像面に配置した場合、撮像装置１０では、以下の（式１）に示すように、入力画像Ｉ_１およびＩ_２の輝度値のそれぞれを、変調マスク１２Ｌまたは１２Ｒの透過率と積算したのちに加算する、符号化が行われる。

（式１）において、ｙは観測画像である。Ｉ_１およびＩ_２はそれぞれ、入力画像の輝度値であり、入力画像の画素数がＮの場合、要素数Ｎのベクトルである。Ａ_１は、変調マスク１２Ｌの光の透過率であり、入力画像Ｉ_１の各画素位置に対応する変調マスク１２Ｌの各部位における透過率を対角成分として持つ、Ｎ×Ｎの正方行列である。同様に、Ａ_２は、変調マスク１２Ｒの光の透過率であり、入力画像Ｉ_２の各画素位置に対応する変調マスク１２Ｒの各部位における透過率を対角成分として持つ、Ｎ×Ｎの正方行列である。

（変調マスク１２Ｌおよび１２Ｒを瞳の位置に配置した場合）
変調マスク１２Ｌおよび１２Ｒを瞳の位置に配置した場合、撮像素子１３は、以下の（式２）に示すように、観測画像ｙを撮像する。この観測画像ｙは、入力画像Ｉ_１に対して第１のランダムパターンで決まる変調を施した画像と、入力画像Ｉ_２に対して第２のランダムパターンで決まる変調を施した画像とが加算された画像である。

（式２）における変調Ａ’_１およびＡ’_２について以下に説明する。

図４は、理想的な光学系を示す。図４に示すように、理想的な光学系では、物体面ξη中の点光源３１から出た発散球面波は、入射瞳３２に入射した後、射出瞳３３から収束球面波として射出され、結像面μν中の像３４に結像する。ここで、物体面ξηと入射瞳３２間の距離は、距離ｚ０であり、射出瞳３３と結像面μν間の距離は、距離ｚｉである。

実際には、像３４は、瞳による回折の影響により結像面μν上で１点には結像せず、拡がりを持った像となる。この拡がりは、点像拡がり関数（ｐｏｉｎｔｓｐｒｅａｄｆｕｎｃｔｉｏｎ）と呼ばれる、以下の（式３）に示す瞳関数のフラウンホーファー回折像で表される。

ここで、（式３）において、Ｃａは定数、λは光の波長である。Ｐ（ｘ，ｙ）は、瞳関数であり、瞳位置に変調マスク１２Ｌおよび１２Ｒを置く場合、変調マスク１２Ｌおよび１２Ｒの透過率の空間分布と一致する。

なお、（式１）の変調マスク１２Ｌおよび１２Ｒの透過率Ａ_１およびＡ_２のそれぞれの対角成分は、上記透過率の空間分布Ｐ（ｘ，ｙ）を、入力画像の各画素に対応する領域で積分した値となる。

インコヒーレント結像系の光伝達関数（OTF: optical transfer function）は、点像拡がり関数によって、以下の（式４）のように定義される。

変調マスク１２Ｌおよび１２Ｒの空間パターンそれぞれについてのＯＴＦを離散化し行列標記したものをＱ_１およびＱ_２とし、フーリエ変換行列と逆フーリエ変換行列をＦ、Ｆ^−１とする。この場合、ＯＴＦは、周波数領域における光伝達を現すので、上記（式２）の実空間でのサンプリングは、以下の（式５）となる。

上記（式２）および（式５）から、変調Ａ’_１およびＡ’_２を、以下の（式６）のように表すことができる。

なお、変調マスク１２Ｌおよび１２Ｒが結像面と瞳の間に位置する場合には、入力画像Ｉ_１およびＩ_２に対する変調は、射出瞳（図４に示す場合、円形瞳）による回折効果と変調マスク１２Ｌおよび１２Ｒによる回折効果とを合成した変調となる。

以上のことから、変調マスク１２Ｌおよび１２Ｒの位置によらず、上記（式１）および（式２）のいずれの場合も、観測画像ｙは、入力画像（Ｉ_１ ^Ｔ，Ｉ_２ ^Ｔ）^Ｔの線形変換として、以下の（式７）のように表される。

ここで、上記（式７）において、Ａは、観測行列であり、光学部１００における変調マスク１２Ｌおよび１２Ｒの配置と透過率分布とから、その観測行列Ａをあらかじめ求めておくことができる。この観測行列Ａが上述の変調情報の一例である。

［３−２．画像生成と距離算出］
変調情報記憶部１２１には、あらかじめ求めた変調マスク１２Ｌおよび１２Ｒの情報である変調情報Ａが記憶されている。画像生成部１２２は、変調情報Ａと、撮像部１１０で撮像した観測画像ｙとを用いて、上記（式７）の入力画像Ｉ_１およびＩ_２に相当する復元画像Ｉ_１’およびＩ_２’を求める。すなわち、画像生成部１２２は、観測画像ｙを分解することによって、２つの復元画像Ｉ_１’およびＩ_２’を生成する。

以下、画像生成部１２２が、変調情報Ａと観測画像ｙから、復元画像Ｉ_１’とＩ_２’とを求める方法を説明する。（式７’）では、復元画像Ｉ_１’とＩ_２’の変数が２Ｎ個であるのに対して、式の数は、Ｎ個であり、変数の数より少ない。したがって、（式７’）単独では解が一意に決まらない。そこで、スパース性を拘束条件として加えた（式８）により、変調情報Ａと観測画像ｙから復元画像Ｉ_１’とＩ_２’を求める。スパース性とは、復元画像Ｉ_１’とＩ_２’が、周波数空間等の特定の空間でスパースになるという性質である。言い換えると、スパース性は、Ｉ_１’とＩ_２’を、周波数空間に変換した場合に、係数のうちのごく一部が非０となり、残りの係数は０ないし０とみなせる程度の小さな値となる、という性質である。（式８）の復元画像Ｉ_１’とＩ_２’を求める問題は、凸最適化により解くことができる。具体的には、画像生成部１２２は、以下の（式８）からｃを、公知の凸最適化アルゴリズムによって求める。そして、画像生成部１２２は、そのｃから解（Ｉ_１ ^Ｔ，Ｉ_２ ^Ｔ）^Ｔ＝Ｗ^−１ｃとして求める。Ｗは、解を特定の空間に変換する作用素であり、例えばＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）である。

(式８)のλは、重み係数である。なお、（式８）における作用素Ｗは、例えばＤＣＴであるが、ＤＣＴに限定するものではなく、ｃｕｒｖｅｌｅｔ変換、ｗａｖｅｌｅｔ変換等の各種変換、または、それらの組み合わせであってもよい。なお、（式８）における拘束条件としては、上記に示したＬ１ノルムに限らず、Ｌ０ノルム、Ｌ２ノルム、Ｌ∞ノルム、または、ｐが小数値を持つＬｐノルムを用いてもよい。また、拘束条件として、それらのノルム以外の正則化項を用いてもよく、さらに、これらのノルムおよび正則化項のうちの複数の組み合わせを用いてもよい。

以上の処理によって、画像生成部１２２は、（式７）の入力画像Ｉ_１およびＩ_２に相当する復元画像Ｉ_１’とＩ_２’を生成する。

距離算出部１２３は、画像生成部１２２によって生成された復元画像Ｉ_１’と復元画像Ｉ_２’を取得して、２眼ステレオ視による距離算出方法によって、復元画像Ｉ_１’と復元画像Ｉ_２’のそれぞれに映っている対象物の撮像装置１０からの距離を算出する。すなわち、距離算出部１２３は、その距離を含む３次元位置を算出する。距離出力部１２４は、距離算出部１２３によって算出された３次元位置を出力する。

［４．シミュレーション結果］
図５〜７は、実施の形態１のシミュレーション結果の例を示す。具体的には、図５〜７は、撮像システム１の光学部１００によって得られる視点が異なる２つの入力画像を変調して重畳し、その重畳によって得られた重畳画像から距離を算出する処理のシミュレーション結果の例を示す。

図５は、撮像装置１０の配置と撮像状況の例を示す。撮像装置１０は、図５の（ａ）に示すように、自動車の後方に設置される。そして、図５の（ｂ）に示すように、その自動車が駐車場に駐車する状況において、撮像装置１０は撮像を行う。

図６は、コンピュータグラフィックスによる入力画像と、その入力画像に基づく観測画像と、観測画像から生成された復元画像とを示す。

具体的には、図６の（ａ）および（ｂ）のそれぞれに示す画像は、図５の（ｂ）に示す撮像状況において、２つの光学系１０１Ｌおよび１０１Ｒによって得られる画像として、コンピュータグラフィックスにより生成された入力画像である。図６の（ｃ）に示す画像は、図６の（ａ）および（ｂ）の２つの画像を、図２のように配置された変調マスク１２Ｌおよび１２Ｒによって変調して重畳し、撮像することによって得られる画像、つまり観測画像の例である。この例では、変調マスク１２Ｒおよび１２Ｌのそれぞれの各部位における光の透過率には、多値の一様乱数を用いた。図６の（ｄ）および（ｅ）のそれぞれに示す画像は、画像生成部１２２によって、（式８）を用いて生成された復元画像Ｉ_１’およびＩ_２’の例である。このシミュレーション結果によって、観測画像から、各視点の２つ復元画像に分解できていることがわかる。

図７は、距離算出部１２３によって算出される距離を、その真値と比較して示す。なお、図７の（ａ）および（ｂ）に示す画像の濃淡は、撮像装置１０からの距離を示す。距離算出部１２３は、図７の（ａ）に示すように、生成された２つの復元画像Ｉ_１’およびＩ_２’に基づいて、撮像装置１０から復元画像Ｉ_１’およびＩ_２’に映されている各対象物までの距離を算出する。距離算出部１２３によって算出された距離は、図７の（ｂ）に示す真値に近い。したがって、本実施の形態における撮像システム１では、対象物までの距離を適切に算出することができる。

［５．効果］
以上に示した構成により、実施の形態１では、互いに視点の異なる２つの入力画像を１つの撮像素子１３上で重畳し、その撮像素子１３による撮像によって得られる重畳画像を分解することによって、元の２つの入力画像に相当する復元画像を生成することができる。言い換えると、２つの入力画像を得るためには、従来の撮像装置では、カメラ２台分の撮像素子が必要であるのに対し、実施の形態１の撮像装置１０では、カメラ１台分の撮像素子１３で足りる。したがって、撮像部１１０の回路規模を小さく抑えることができ、コストを低減することができるという効果もある。

また、従来では、撮像装置から、距離を算出する画像処理装置に送信されるデータ量には、視点数と同じ数、例えば２枚分の画像のデータ量が必要である。しかし、実施の形態１では、撮像装置１０から画像処理装置２０に送信される重畳画像（または観測画像）のデータ量を、１枚分の画像のデータ量に抑えることができる。つまり、データ伝送量を削減することができる。

なお、実施の形態１では、光学部１００は２つの結像光学系１１Ｌおよび１１Ｒを備え、画像生成部１２２は、２つの復元画像を生成する。しかし、光学部１００に備えられる結像光学系の数は、２つに限るものではなく、３以上であってもよい。この場合、（式７）における入力画像は、結像光学系の数の入力画像Ｉ_１、Ｉ_２およびＩ_３・・・を並べて構成される行列に置き換えられる。これにより、実施の形態１と同じ動作によって、結像光学系の数、すなわち視点の数の復元画像を生成し、距離を算出することができる。

（実施の形態１の変形例）
上記実施の形態１では、複数の入力画像を単一の撮像素子１３上に重畳して結像させるために、光学部１００の結像光学系１１Ｌおよび１１Ｒは、図２および図３に示したリレーレンズ１０３Ｌおよび１０３Ｒと、プリズムなどからなる反射光学系１０４とを含む。しかし、本開示における光学部１００の結像光学系１１Ｌおよび１１Ｒに含まれる構成要素は、リレーレンズ１０３Ｌおよび１０３Ｒと反射光学系１０４とに限らない。本変形例に係る撮像装置１０の結像光学系１１Ｌおよび１１Ｒは、図２および図３に示す構成と異なる構成を有する。

図８は、本変形例に係る光学部１００の結像光学系１１Ｌおよび１１Ｒの構成を示す。

例えば、図８に示すように、本変形例に係る光学部１００の結像光学系１１Ｌおよび１１Ｒは、リレーレンズ１０３Ｌおよび１０３Ｒと反射光学系１０４の代わりに、偏心光学系１０５Ｌおよび１０５Ｒを含む。このような構成であっても、結像光学系１１Ｌは、結像光学系１１Ｌに対応する変調マスク１２Ｌによって変調された入力画像を撮像素子１３上に結像する。同様に、結像光学系１１Ｒは、結像光学系１１Ｒに対応する変調マスク１２Ｒによって変調された入力画像を撮像素子１３上に結像する。

図９は、本変形例に係る光学部１００の結像光学系１１Ｌおよび１１Ｒの他の構成を示す。

例えば、図９に示すように、本変形例に係る光学部１００の結像光学系１１Ｌおよび１１Ｒは、リレーレンズ１０３Ｌおよび１０３Ｒと反射光学系１０４の代わりに、自由曲面ミラー光学系１０６Ｌおよび１０６Ｒを含む。このような構成であっても、結像光学系１１Ｌは、結像光学系１１Ｌに対応する変調マスク１２Ｌによって変調された入力画像を撮像素子１３上に結像する。同様に、結像光学系１１Ｒは、結像光学系１１Ｒに対応する変調マスク１２Ｒによって変調された入力画像を撮像素子１３上に結像する。

すなわち、図８および図９に示すいずれの構成においても、光学系１０１Ｌおよび１０１Ｒのそれぞれの視点からの入力画像を、変調マスク１２Ｌまたは１２Ｒによって変調したのちに重畳した画像を、重畳画像または観測画像として撮像素子１３によって撮像することができる。

したがって、上記実施の形態１と同様に、画像生成部１２２は、光学系１０１Ｌおよび１０１Ｒのそれぞれによって得られる入力画像Ｉ_１およびＩ_２を生成することができる。さらに、距離算出部１２３は、その入力画像Ｉ_１およびＩ_２に映っている対象物の距離を算出することができる。

上記実施の形態１のように、反射光学系１０４を用いた場合には、プリズムでの光の減衰が比較的大きい。しかし、本変形例では、偏心光学系１０５Ｌおよび１０５Ｒ、もしくは、自由曲面ミラー光学系１０６Ｌおよび１０６Ｌを用いるため、光学系での光の減衰を十分小さく抑えることができるという効果がある。言い換えると、撮像素子１３によって撮像される画像として、明るく、且つノイズが少ない画像を得ることができる、という効果がある。

（実施の形態２）
実施の形態１では、２つの視点からの入力画像を重畳することによって得られた重畳画像から、２つの視点からの入力画像に相当する復元画像を生成し、さらに、その後に、２眼ステレオ視により距離を算出した。一方、実施形態２では、２つの視点からの入力画像を変調して重畳することによって得られた重畳画像から、２つの視点からの入力画像に相当する復元画像と、それらの２つの復元画像間の視差とを同時に推定する。これにより、対象物の距離の算出精度を向上することができる。

以下、実施の形態２について、詳細に説明する。

実施の形態２における撮像システム１は、実施の形態１と同じ構成、つまり、図１〜３に示す構成を有する。実施の形態２における撮像システム１が、実施の形態１における撮像システム１と異なる点は、画像生成部１２２と距離算出部１２３の動作である。つまり、実施の形態２では、画像生成部１２２は、撮像装置１０によって撮像された画像、すなわち、２つの視点からの入力画像を重畳することによって得られた重畳画像から、２つの復元画像Ｉ_１’およびＩ_２’をそれぞれ生成する。この際に、画像生成部１２２は、それらの２つの復元画像Ｉ_１’およびＩ_２’間の視差も同時に算出する。そして、距離算出部１２３は、画像生成部１２２によって算出された２つの復元画像Ｉ_１’およびＩ_２’間の視差と、２つの光学系１０１Ｌおよび１０１Ｒのパラメタとに基づいて、対象物までの距離を算出する。なお、２つの光学系１０１Ｌおよび１０１Ｒのパラメタは、２眼ステレオ視に必要とされるパラメタであって、例えば光学系１０１Ｌおよび１０１Ｒ間の距離などである。

［１．画像生成部］
以下、実施の形態２における画像生成部１２２の動作について、詳細に説明する。

画像生成部１２２は、画像出力部１１２から取得部２１を介して観測画像ｙを取得する。そして、画像生成部１２２は、その観測画像ｙから復元画像Ｉ_１’とＩ_２’を求める。この復元画像Ｉ_１’とＩ_２’は、光学系１０１Ｌおよび１０１Ｒのそれぞれによって得られる入力画像Ｉ_１およびＩ_２に相当する。その復元画像Ｉ_１’とＩ_２’を求める際、実施の形態１では、画像生成部１２２は、（式８）に示す評価式を用いた。しかし、実施の形態２では、画像生成部１２２は、他の評価式を用いることによって、復元画像Ｉ_１’およびＩ_２’とともに、その復元画像Ｉ_１’およびＩ_２’間の視差を同時に推定する。具体的には、画像生成部１２２は、上述の他の評価式として、以下の（式９）を用いる。つまり、画像生成部１２２は、（式９）を満たすｃおよびＤを凸最適化アルゴリズムによって求め、さらに、ｃから、復元画像（Ｉ_１ ^Ｔ，Ｉ_２ ^Ｔ）^Ｔ＝Ｗ^−１ｃとして求める。

ここで、上記（式９）において、λ１およびλ２はそれぞれ重み係数であり、ＭｓおよびＤは、以下のとおりである。

（式９）における第３項は、視差拘束項であり、生成した２つの復元画像Ｉ_１’およびＩ_２’について、並行移動された復元画像Ｉ_１’と復元画像Ｉ_２’とが一致する拘束である。Ｍｓは、画像の一部の領域を抽出するマスク行列であり、Ｎ×Ｎの正方行列である。視差Ｄは、復元画像Ｉ_１’を所定の視差だけ並行移動させる視差行列であり、Ｎ×Ｎの正方行列である。Ｉは、Ｎ×Ｎの単位行列である。

（式９）において、Ｎ画素の画像のうちのＯ画素（Ｎ＞Ｏ）の小領域内の視差は同じと仮定できる場合、マスク行列ＭｓのＮ個の対角要素のうちＯ個の対角要素は１であり、他の対角要素は０である。例えば、（式９）のマスク行列Ｍｓは、隣接する４画素からなる小領域内で視差が同じと仮定した場合の行列であって、値が１である対角要素を４つ含む。そして、画像生成部１２２は、Ｏ画素の小領域ごとに、（式９）を満たすｃとＤを算出する処理を繰り返すことで、復元画像Ｉ_１’およびＩ_２’の全画素と視差Ｄとを算出する。なお、上述の対角要素は、対角成分ともいう。

このように、実施の形態２では、画像生成部１２２は、２つの復元画像を生成するときには、評価値に基づいて、その２つの復元画像ととともに、その２つの復元画像間の視差を算出する。評価値は、例えば、上記（式９）のａｒｇｍｉｎ以降の関数によって示される値である。具体的には、画像生成部１２２は、その２つの復元画像を生成するときには、その２つの復元画像に対応する第１のパラメタと、その視差に対応する第２のパラメタとに基づく上記評価値を最小化する、第１のパラメタの値および第２のパラメタの値のそれぞれを算出する。そして、画像生成部１２２は、その算出された第１のパラメタの値を２つの復元画像に変換し、算出された第２のパラメタの値を視差として取得する。なお、第１のパラメタは、例えば上記（式９）のｃであり、第２のパラメタは、例えば上記（式９）のＤである。

より具体的には、上記評価値は、第１の項、第２の項、および第３の項のそれぞれによって示される値の和である。その第１の項は、重畳画像と、２つの復元画像を変調情報にしたがって変調した画像との差の２乗和を、第１のパラメタを用いて示す。第２の項は、第１のパラメタのＬ１ノルムに重みを付けた値を示す。第３の項は、２つの復元画像のうちの１つの復元画像を、視差に応じた距離を並行移動することによって得られる画像と、その２つの復元画像のうちの他の復元画像との差のＬ１ノルムに重みを付けた値を、第１のパラメタおよび第２のパラメタを用いて示す。

これにより、実施形態２では、２つの視点からの入力画像を重畳することによって得られた重畳画像から、２つの視点からの入力画像に相当する復元画像と、それらの２つの復元画像間の視差とを同時に算出することができる。さらに、その視差の算出精度を向上することができる。

［２．距離算出部］
距離算出部１２３は、画像生成部１２２で算出した視差Ｄから、復元画像Ｉ_１’およびＩ_２’に映し出されている対象物の距離を含む３次元位置を算出する。

［３．シミュレーション結果］
図１０および図１１は、実施の形態２のシミュレーション結果の例を示す。具体的には、図１０および図１１は、撮像システム１の光学部１００によって得られる視点が異なる２つの入力画像を重畳し、その重畳によって得られた重畳画像から距離を算出する処理のシミュレーション結果の例を示す。

図１０の（ａ）および（ｂ）のそれぞれに示す画像は、２つの光学系１０１Ｌおよび１０１Ｒによって得られる入力画像の例である。ここではシミュレーション実験のため、これらの画像は標準画像であり、各画像は３６８×２８８画素＝１０５９８４画素からなる。図１０の（ｃ）および（ｄ）のそれぞれに示す画像は、変調マスク１２Ｌおよび１２Ｒの画像である。図１０の（ｅ）に示す画像は、図１０の（ａ）および（ｂ）のそれぞれに示す２つの入力画像を、図１０の（ｃ）および（ｄ）のそれぞれに示す変調マスク１２Ｌまたは１２Ｒによって変調して重畳することによって得られた観測画像の例である。この例では、変調マスク１２Ｌおよび１２Ｒのそれぞれにおける各部位の光の透過率には、正規乱数を用いた。

図１１の（ａ）および（ｂ）のそれぞれに示す画像は、画像生成部１２２が（式９）を用いて生成した復元画像Ｉ_１’およびＩ_２’の例である。ここでは、画像生成部１２２は、１６×３２画素＝５１２画素からなる矩形領域ごとに、復元画像Ｉ_１’およびＩ_２’と視差の推定を行った。このシミュレーション結果から、画像生成部１２２では、図１０の（ｅ）に示す観測画像、つまり重畳画像を、視点の異なる２つ復元画像に分解できていることがわかる。図１１の（ｃ）に示す画像は、画像生成部１２２が（式９）を用いて算出した、矩形領域ごとの視差を示す画像の例である。図１１の（ｄ）に示す画像は、正解の視差を示す画像である。なお、図１１の（ｃ）および（ｄ）のそれぞれに示す画像では、白黒の濃淡が視差を示している。このシミュレーション結果から、画像生成部１２２では、正解の視差と概ね同じ視差が得られていることがわかる。

［４．効果］
以上のように、実施の形態２では、実施の形態１と同様に、互いに視点の異なる２つの入力画像を１つの撮像素子１３上で重畳し、その撮像素子１３による撮像によって得られる重畳画像を分解することによって、元の２つの復元画像を生成することができる。したがって、実施の形態１と同様に、撮像素子１３の数を視点の数よりも少なく抑えることができ、撮像部１１０の回路規模を小さく抑えることができるという効果がある。

さらに、実施の形態２では、画像生成部１２２は、復元画像Ｉ_１’およびＩ_２’を生成する際に、これらの２つの画像は局所的に似ているという視差拘束を（式８）に加えた評価式である（式９）を用いる。この視差拘束を加えた評価式を用いることで、より誤差が小さい復元画像Ｉ_１’およびＩ_２’を求めることができ、その結果、より誤差が小さい視差Ｄを算出できる。つまり、対象物の距離の算出精度を向上することができる。

なお、実施の形態２においても、実施の形態１およびその変形例と同様、撮像装置１０は、２つの結像光学系１１Ｌおよび１１Ｒを備え、２つの変調マスク１２Ｌおよび１２Ｒを備えるが、結像光学系の数および変調マスクの数は２つに限定されることはなく、２つ以上であればよい。撮像装置１０が２つ以上の結像光学系と２つ以上の変調マスクを備える場合には、画像処理装置２０は、２つ以上の復元画像を生成し、それらの復元画像間の視差を算出する。そして、画像処理装置２０は、その算出された視差に基づいて、２つ以上の復元画像に映っている対象物までの距離を算出する。

（その他の実施の形態）
以上、本開示の撮像装置、画像処理装置および撮像システムについて、実施の形態１およびその変形例と、実施の形態２とに基づいて説明したが、本開示は、これらの実施の形態およびその変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。

例えば、上実施の形態１およびその変形例と実施の形態２における画像処理装置２０は、コンピュータとして構成されていてもよい。

図１２は、コンピュータとして構成された画像処理装置２０の構成を示すブロック図である。

画像処理装置２０は、インターフェース３０５と、ＣＰＵ（Central Processing Unit
）３０１と、ＲＯＭ（Read Only Memory）３０２と、ＲＡＭ（Random Access Memory）３０３と、ＨＤＤ（Hard Disk Drive）３０４とを備える。インターフェース３０５は、取得部２１および距離出力部１２４に相当するハードウェアである。ＣＰＵ３０１は、画像生成部１２２および距離算出部１２３の機能を有する。ＲＯＭ３０２は、例えば、ＣＰＵ３０１に読み出されて実行されるソフトウェアプログラムを格納している。つまり、ＣＰＵ３０１は、ＲＯＭ３０２に格納されているソフトウェアプログラムを読み出して実行することによって、画像生成部１２２および距離算出部１２３の機能を実現する。ＲＡＭ３０３は、例えば、ＣＰＵ３０１の処理によって生成されたデータを一時的に保持する。ＨＤＤ３０４は、変調情報記憶部１２１として変調情報を記憶している。

また、上記実施の形態１およびその変形例と実施の形態２における光学系１０１Ｌおよび１０１Ｒは、測距の対象とされる対象物の複数の画像に視差が生じるように配置されていれば、左右に配置されていてもよく、上下に配置されていてもよい。

また、上記実施の形態１およびその変形例と実施の形態２において、結像光学系、変調マスクおよび入力画像の数は２つであったが、それらの数は２つに限らず、２つ以上であれば、どのような数であってもよい。

また、本開示において、ユニット、デバイスの全部又は一部、又は図１〜図３に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（large scale integration）を含む一つ又は一つ以上の電子回路によって実
行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ(very large scale integration)、若しくはＵＬＳＩ(ultra large scale integration) と呼ばれるかもしれない。ＬＳＩの製造後にプログラムされる、Field Programmable Gate Array (FPGA)、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。

さらに、ユニット、装置、又は装置の一部の、全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は一つ以上のＲＯＭ、光学ディスク、ハードディスクドライブ、などの非一時的記録媒体に記録され、ソフトウエアが、処理装置（processor）によって実行された場合に、ソフトウエ
アは、ソフトウエア内の特定の機能を、処理装置（processor）と周辺のデバイスに実行
させる。システム又は装置は、ソフトウエアが記録されている一つ又は一つ以上の非一時的記録媒体、処理装置（processor）、及び必要とされるハードウエアデバイス、例えば
インターフェース、を備えていても良い。

また、上実施の形態１およびその変形例と実施の形態２における画像処理装置２０は、重畳画像を分解することによって２つ以上の復元画像を生成したが、２つ以上の復元画像を生成することなく、対象物までの距離を算出してもよい。

この場合、画像処理装置２０は、測距装置として構成され、図１に示すように、取得部２１と、画像処理部２２とを備える。取得部２１は、それぞれ変調されて光学的に重畳された、互いに異なる視点からの２つ以上の入力画像からなる重畳画像を取得する。画像処理部２２は、その２つ以上の入力画像の変調の態様を示す変調情報と、その重畳画像とを用いて、２つ以上の復元画像間の視差を算出し、算出された視差に基づいて、その２つ以上の復元画像に映っている対象物までの距離を算出する。

また、本開示の一態様に係る撮像装置、画像処理装置および撮像システムについて、上記実施の形態１およびその変形例と実施の形態２とを用いて説明したが、本開示は、これらの装置またはシステムによって行われる撮像方法および画像処理方法であってもよい。

図１３Ａは、本開示の一態様に係る撮像方法を示すフローチャートである。

本開示の一態様に係る撮像方法は、ステップＳ１１とステップＳ１２とを含む。

（ステップＳ１１）
この撮像方法では、まず、２つ以上の結像光学系と２つ以上の変調マスクとを用いて、それぞれ互いに異なる視点からの２つ以上の入力画像を変調して撮像素子１３上に結像する。

（ステップＳ１２）
次に、撮像素子１３が、結像され、かつ変調されて、光学的に重畳された２つ以上の入力画像からなる重畳画像を撮像する。

図１３Ｂは、本開示の一態様に係る画像処理方法を示すフローチャートである。

本開示の一態様に係る画像処理方法は、ステップＳ２１とステップＳ２２とを含む。

（ステップＳ２１）
この画像処理方法では、まず、それぞれ変調されて光学的に重畳された、互いに異なる視点からの２つ以上の入力画像からなる重畳画像を取得する。

（ステップＳ２２）
次に、その２つ以上の入力画像の変調の態様を示す変調情報を用いて、重畳画像を分解することによって、２つ以上の復元画像を生成する。

図１３Ｃは、本開示の他の態様に係る画像処理方法を示すフローチャートである。

本開示の他の態様に係る撮像方法は、ステップＳ３１とステップＳ３２とを含む。

（ステップＳ３１）
この画像処理方法では、まず、それぞれ変調されて光学的に重畳された、互いに異なる視点からの２つ以上の入力画像からなる重畳画像を取得する。

（ステップＳ３２）
次に、その２つ以上の入力画像の変調の態様を示す変調情報と、重畳画像とを用いて、その２つ以上の入力画像間の視差を算出し、算出された視差に基づいて、その２つ以上の入力画像に映っている対象物までの距離を算出する。

また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアプログラムは、図１３Ｂまたは図１３Ｃに示すフローチャートの各ステップをコンピュータに実行させるプログラムである。

本開示の撮像装置は、回路規模を小さく抑えることができるという効果を奏し、例えば、車両に搭載されるバックモニタなどに適用することができる。

１撮像システム
１０撮像装置
１１Ｌ、１１Ｒ結像光学系
１２Ｌ、１２Ｒ変調マスク
１３撮像素子
２０画像処理装置
２１取得部
２２画像処理部
３１点光源
３２入射瞳
３３射出瞳
３４像
１００光学部
１０１Ｌ、１０１Ｒ光学系
１０３Ｌ、１０３Ｒリレーレンズ
１０４反射光学系
１０５Ｌ、１０５Ｒ偏心光学系
１０６Ｌ、１０６Ｒ自由曲面ミラー光学系
１１０撮像部
１１２画像出力部
１２１変調情報記憶部
１２２画像生成部
１２３距離算出部
１２４距離出力部

Claims

撮像素子と、
それぞれ互いに異なる視点からの入力画像を前記撮像素子上に結像するための２つ以上の結像光学系と、
前記２つ以上の結像光学系のそれぞれによって結像される前記入力画像を変調する２つ以上の変調マスクとを備え、
前記撮像素子は、前記２つ以上の結像光学系によって結像され、かつ前記２つ以上の変調マスクによって変調されて、光学的に重畳された２つ以上の前記入力画像からなる重畳画像を撮像し、
前記２つ以上の変調マスクのそれぞれの光の透過率分布は互いに異なり、
前記２つ以上の変調マスクのそれぞれにおける各部位の光の透過率は一様乱数である
撮像装置。
撮像素子と、
それぞれ互いに異なる視点からの入力画像を前記撮像素子上に結像するための２つ以上の結像光学系と、
前記２つ以上の結像光学系のそれぞれによって結像される前記入力画像を変調する２つ以上の変調マスクとを備え、
前記撮像素子は、前記２つ以上の結像光学系によって結像され、かつ前記２つ以上の変調マスクによって変調されて、光学的に重畳された２つ以上の前記入力画像からなる重畳画像を撮像し、
前記２つ以上の変調マスクのそれぞれの光の透過率分布は互いに異なり、
前記２つ以上の変調マスクのそれぞれにおける各部位の光の透過率はガウス乱数である
撮像装置。
撮像素子と、
それぞれ互いに異なる視点からの入力画像を前記撮像素子上に結像するための２つ以上の結像光学系と、
前記２つ以上の結像光学系のそれぞれによって結像される前記入力画像を変調する２つ以上の変調マスクと、からなる撮像セットを複数セット備え、
前記撮像素子は、前記２つ以上の結像光学系によって結像され、かつ前記２つ以上の変調マスクによって変調されて、光学的に重畳された２つ以上の前記入力画像からなる重畳画像を撮像し、
前記２つ以上の変調マスクのそれぞれの光の透過率分布は互いに異なる
撮像装置。