以下、本開示の実施形態について、図面を参照して説明する。以下の図面に示す構成要素において、同じ構成要素には同じ符号を付す。
図1に示すように、本開示の第1の実施形態に係る光学装置21を含む撮像装置10は、光学装置21及び撮像素子12を含んで構成される。撮像装置10は、更にコントローラ14を含んで構成されてよい。光学装置21は、撮像光学系(光学系)11及び光学素子13を含んで構成される。
撮像光学系11は、入射する被写体光束を結像させる。撮像光学系11は、所定の領域paに、入射する第1の光を結像させる。第1の光は、撮像光学系11単体の画角内に位置する物点が放射する光であってよい。所定の領域paは、例えば、中心が撮像光学系11の光軸oxと交差する三次元空間上の仮想の平面又は曲面であってよい。以後、撮像光学系11単体の画角、言換えると光学素子13を含まない構成における撮像光学系11の画角を、直接画角とも呼ぶ。撮像光学系11は、位置の異なる物点から放射する光束を、単体で、言換えると光学素子13無しで、異なる像点に結像させる光学素子によって構成される。撮像光学系11を構成する光学素子は、例えば、レンズ、ミラー、絞り等である。
撮像光学系11は、像側テレセントリックでなくてよい。言換えると、撮像光学系11を通過する任意の光束の主光線の光軸に対する角度は0°より大きくてよい。又は、撮像光学系11は、像側テレセントリックであってよい。
光学素子13は、撮像光学系11に入射する第2の光を、所定の領域paに導く。第2の光は、撮像光学系11の光軸oxと撮像光学系11に入射する主光線とのなす角度が第1の光と異なる。第2の光は、撮像光学系11の画角外、言換えると直接画角の外に位置する物点が放射する光であってよい。したがって、第2の光の主光線と光軸oxとのなす角度は、第1の光の主光線と光軸oxとのなす角度より大きくてよい。主光線は、撮像光学系15の開口絞りの中心を通る光線、撮像光学系15の入射瞳の中心を通る光線、及び任意の一つの物点から放射され撮像光学系15に入射する光束の中心の光線のいずれかであってよい。更に、光学素子13は、撮像光学系11を通過した第2の光を所定の領域paに結像させてよい。
光学素子13は、第2の光を反射して所定の領域paに導くミラーであってよい。ミラーの反射面は、撮像光学系11の光軸oxに平行であってよい。又は、ミラーの反射面は、光軸oxに平行でなくてよい。
ミラーの反射面は、図2に示すように、撮像光学系11側を向く外側傾斜の姿勢となるように、光軸oxに対して傾斜してよい。外側傾斜の姿勢では、ミラーの反射面が光軸oxと平行な構成に比べて、光学装置21全体の画角を広角化し得る。
外側傾斜の構成において、光学装置21には、撮像光学系11及びミラーである光学素子13の間に、光路長調整用の第1のレンズ22が配置されてよい。第1のレンズ22が配置されることにより、ミラーの反射面が光軸oxに平行な構成に比べて光路長が長くなることによる合焦位置の所定の領域paからのずれが低減され得る。第1のレンズ22は、ミラーが平面ミラーのように光軸oxに垂直な方向に平行な面を有するミラーである構成においては、シリンドリカルレンズであってよい。第1のレンズ22は、撮像光学系11の射出瞳の外縁を通る第1の光の主光線と所定の領域paを結ぶ線よりも光軸oxから外側に位置してよい。
又、外側傾斜の構成において、光学装置21には、図3に示すように、プリズム23が設けられてよい。第2の光は、ミラーである光学素子13に反射され、更にプリズム23で反射されることにより、所定の領域paに導かれてよい。プリズム23が設けられることにより、外側傾斜の構成におけるミラーと光軸oxとの傾斜角度を広角化し得る。
外側傾斜の構成において、ミラーである光学素子13は、例えば、平面ミラー、曲面ミラー、DMD、及びフレネルミラーであってよい。
ミラーの反射面は、図4に示すように、撮像光学系11の結像面側を向く内側傾斜の姿勢となるように、光軸oxに対して傾斜してよい。内側傾斜の姿勢では、ミラーの反射面が光軸oxと平行な構成に比べて、光学装置21全体を小型化し得る。
内側傾斜の構成において、ミラーである光学素子13は、例えば、平面ミラー、図5に示すように曲面ミラー、図6に示すようにDMD、及びフレネルミラーであってよい。
ミラーの反射面は、後述する撮像素子12の矩形の受光領域raのいずれかの辺に平行であってよい。又は、ミラーの反射面は、図7に示すように、受光領域raのいずれかの辺に対して交差してよい。ミラーの反射面が受光領域raのいずれかの辺に対して交差する構成においては、後述する画像分離モデルによる分離精度を向上させ得る。なお、ミラーの反射面が受光領域raのいずれかの辺に対して交差する構成においては、受光領域raの法線方向から見てミラーである光学素子13の両端から垂直に延ばした2直線の間に挟まれる領域と受光領域raとの重畳領域が最大となるように、光学素子13を配置することが好ましい。
ミラーは、撮像光学系11の光軸ox方向から見て、当該撮像光学系11の射出瞳の外側に位置してよい。更に詳細には、反射面が射出瞳の外側に位置するように、ミラーは撮像光学系11に対して配置されてよい。又は、ミラーは、光軸ox方向から見て、射出瞳の内側に位置してよい。特に、受光領域raが瞳径より小さい構成においては、ミラーが射出瞳の内側に位置してよい。
ミラーは、複数の平面ミラーを含んでよい。複数の平面ミラーの中の少なくとも1組に属する2つの平面ミラーは、反射面が互いに対向し平行になるように位置してよい。又は、複数の平面ミラーは2つの平面ミラーであって、図8に示すように、反射面が互いに直行するように位置してよい。更に、反射面が互いに直行する2つの平面ミラーは、矩形である受光領域raの互いに垂直な2辺にそれぞれ平行であってよい。平面ミラーと撮像素子12の受光領域raの外縁とは、当該平面ミラーの法線方向において密接していてよい。又は、平面ミラーと受光領域raの外縁とは平面ミラーの法線方向において密接せずに隙間を有していてよい。
図9に示すように、反射面が互いに平行な2つの平面ミラーそれぞれと、光軸oxとの間隔Hが等しくてよい。互い平行な2つの平面ミラー、撮像光学系11、及び撮像素子12は、CRA≦tan-1(H/B)を満たすように設計され、配置されてよい。CRAは、直接画角の2倍の角度における物点ppから放射される光束の撮像光学系11による主光線の光軸oxに対する角度である。Bは、撮像光学系11のバックフォーカスである。
後述するように撮像装置10内における撮像素子12の配置と上述のような構成の組合せにより、図10に示すように、撮像素子12の受光領域raには、直接画角内の物点、言換えると第1の光を放射する物点に対応する第1の画像成分im1が光学素子13を介することなく到達する。直接画角内の物点に対応する第1の画像成分im1とは、より具体的には、直接画角内に位置する被写体像に相当する。また、受光領域raには、直接画角外の物点、言換えると第2の光を放射する物点に対応する第2の画像成分im2が光学素子13を介して反転して到達する。直接画角外の物点に対応する第2の画像成分im2とは、より具体的には、直接画角外に位置する被写体像に相当する。
上述の説明では、光学素子13が、光軸oxに対して垂直な方向に平行な面を有するミラーであるが、光軸oxから見て曲線状の面を有するミラーであってよい。例えば、光学素子13は、図11に示すように、受光領域raの法線方向から見て、矩形の受光領域raの一組の対辺に設けられる一組の曲面ミラーであってよい。当該曲面ミラーは、受光領域raの法線方向に平行であってよい。又は、光学素子13は、図12に示すように、受光領域raの法線方向から見て、矩形の受光領域raを内包する円形の曲面状の面を有するミラーであってよい。又は、光学素子13は、図13に示すように、受光領域raの法線方向から見て、矩形の受光領域raを内包する楕円形の曲面状の面を有するミラーであってよい。楕円形の曲面状の面を有するミラーは、受光領域raが正方形を除く矩形である構成において好ましい。又は、光学素子13は、図14に示すように、受光領域raの法線方向から見て、矩形の受光領域raに内包される円形の曲面状の面を有するミラーであってよい。又は、光学素子13は、図15に示すように、受光領域raの法線方向から見て、矩形の受光領域raに内包される楕円形の曲面状の面を有するミラーであってよい。光学素子13が矩形の受光領域raに内包される曲面状の面を有するミラーである構成においては、受光領域raの法線方向から見て、受光領域raとミラーとの間の隙間が排除され得る。このような構成においては、隙間が排除されることにより、隙間を有する構成に比較して、後述する重畳画像における光学情報の連続性を向上させ得る。
撮像素子12は、受光領域ra内に結像する像を撮像する。撮像素子12は、撮像装置10において、光学装置21の所定の領域paと受光領域raとが重なるように配置されていてよい。したがって、撮像素子12の受光領域raは直接画角に対応してよい。直接画角は、光学素子13を介することなく受光領域ra内に結像する物点の範囲に相当する画角であってよい。受光領域raには、撮像光学系11の直接画角内から撮像光学系11に入射する第1の光である光束の少なくとも一部が結像してよい。又、受光領域raには、撮像光学系11の直接画角の外から撮像光学系11に入射し光学素子13を通過する第2の光である光束の少なくとも一部が結像してよい。
撮像素子12は、可視光、赤外線及び紫外線等の不可視光による像を撮像可能であってよい。撮像素子12は、例えば、CCD(Charge Coupled Device)イメージセンサ、CMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサ等である。撮像素子12は、カラーイメージセンサであってよい。言換えると、撮像素子12の受光領域raに配置される複数の画素は、例えばRGBのカラーフィルタによって受光領域ra内で均等に分布するように覆われてよい。撮像素子12は、撮像により受光する画像に相当する画像信号を生成する。撮像素子12は、30fps等の所定のフレームレートで画像信号を生成してよい。
撮像素子12では、光学素子13が設けられる側の受光領域raの外縁は、撮像光学系11の射出瞳の外縁よりも外側に位置してよい。射出瞳の外縁より外側とは、撮像光学系11の光軸oxを基準として外側であることを意味する。前述のように、受光領域raは、矩形であってよい。
撮像装置10には、複数の撮像素子12が設けられてよい。複数の撮像素子12が設けられる構成において、図16に示すように、互いに隣接する2つの撮像素子12の間に光学素子13が設けられてよい。互いに隣接する2つの撮像素子12の間に光学素子13が設けられることにより、光学素子13が設けられない構成において隣接する2つの撮像素子12の受光領域raの間に生じる隙間に結像する被写体光束が少なくとも一方の撮像素子12において撮像され得る。
又、上述のような構成により、図17に示すように、第1の画像成分im1と、光学素子13がミラーである構成において反転した第2の画像成分im2とが受光領域raにおいて重畳する。したがって、撮像素子12は、第1の画像成分im1と、光学素子13がミラーである構成において反転した第2の画像成分im2との重畳画像olimを撮像する。
コントローラ14は、少なくとも1つのプロセッサ、少なくとも1つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、FPGA(Field-Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等であってもよい。コントローラ14は、撮像素子12から取得する画像信号に画像処理を施してよい。
図18に示すように、コントローラ14は、画像処理により、画像信号に相当する重畳画像olimを、第1の画像成分im1と、第2の画像成分im2とに分離する画像処理を施してよい。コントローラ14は、例えば、独立成分分析、ウェーブレット法、画像分離モデル等の画像処理方法の適用により、重畳画像olimを分離する。画像分離モデルは、例えば、事前に、複数の画像を重ねた重畳画像を作成し、当該重畳画像に対して、複数の画像を正解として学習させることにより構築されるモデルである。画像分離モデルは、Encoder-Decoderモデルのように画像を生成するgeneratorと、生成された画像が偽画像かどうか判定するdiscriminatorとを競わせて、その関係を反映したペア画像を生成するPix-to-Pixを適用したモデルであってよい。コントローラ14は、分離した第1の画像成分im1及び第2の画像成分im2を結合させることにより、復元画像rcimを生成してよい。
コントローラ14は、復元画像rcimを用いて、撮像装置10周辺において撮像された被写体の測距を行ってよい。コントローラ14は、例えば、DFD(Depth From Defocus)に基づいて、復元画像rcimを用いて測距を行う。コントローラ14は、運動視差法(SLAM:Simultaneous Localization and Mapping、Motion Stereo)、Deep Learningに基づく分離モデル、足元測距法等に基づいて、復元画像rcimを用いた測距を行ってよい。足元測距法は、被写体像の下端が地面に位置することを前提として画像座標に基づいて3次元座標を算出する方法である。
コントローラ14は、復元画像rcimの各アドレスに対応する距離に基づいて、距離画像を生成してよい。距離画像は、各画素の画素値が距離に対応した画像である。コントローラ14は、距離画像を外部機器に付与してよい。
次に、本実施形態においてコントローラ14が実行する、測距処理について、図19のフローチャートを用いて説明する。測距処理は、撮像素子12から画像信号を取得するたびに開始する。
ステップS100において、コントローラ14は、取得した画像信号に相当する重畳画像olimから第2の画像成分im2を分離する。分離後、プロセスはステップS101に進む。
ステップS101では、コントローラ14は、重畳画像olimからステップS100において分離した第2の画像成分im2を減算することにより、第1の画像成分im1を生成する。第1の画像成分im1の生成後、プロセスはステップS102に進む。
ステップS102では、コントローラ14は、ステップS101において分離した第2の画像成分im2と、ステップS101において生成した第1の画像成分im1とを結合させることにより復元画像rcimを生成する。復元画像rcimの生成後、プロセスはステップS103に進む。
ステップS103では、コントローラ14は、ステップS102において生成した復元画像rcimを用いて、復元画像rcimに写る各被写体に対して測距を行う。測距後、プロセスはステップS104に進む。
ステップS104では、コントローラ14は、ステップS103において算出した距離と当該距離に対応する復元画像rcimの位置とに基づいて、距離画像を生成する。又、コントローラ14は、距離画像を外部機器に付与する。距離画像の生成後、測距処理は終了する。
以上のような構成の第1の実施形態の光学装置21は、入射する第1の光を所定の領域paに結像させる撮像光学系11と、撮像光学系11の光軸oxと撮像光学系11に入射する主光線とのなす角度が第1の光と異なる第2の光を所定の領域paに導く光学素子13を備える。このような構成により、光学装置21は、焦点距離が比較的長い撮像光学系11を採用しながら、当該焦点距離に対応する画角より広角の範囲の光学情報を含む画像を所定の領域raに導き得る。したがって、光学装置21は、広範囲かつ拡大された光学情報を生成し得る。
また、第1の実施形態の撮像装置10では、光学素子13は第2の光を反射して所定の領域paに導くミラーであり、ミラーの反射面が光軸ox、及び撮像素子12の矩形の受光領域raのいずれかの辺に平行である。このような構成により、撮像装置10では、ミラーを介して受光領域raに到達する像の歪む方向は1方向以下になる。したがって、撮像装置10は、撮像した画像に含まれるミラーによる反射光成分の歪を除去する画像処理の負荷を低減し得るので、反射光成分の再現性を向上させ得る。
また、第1の実施形態の撮像装置10では、ミラーは複数の平面ミラーを含み、複数の平面ミラーの少なくとも1組の2つの平面ミラーは反射面が互いに平行になるように位置する。このような構成により、撮像装置10は、光軸oxを中心として、直接画角から両側に拡大させた光学情報を取得し得る。
また、第1の実施形態の撮像装置10では、光軸oxと互いに平行な2つの平面ミラーの反射面それぞれとの間隔Hが等しく、且つ直接画角の2倍の角度における物点ppからの光束の主光線の角度CRAがCRA≦tan-1(H/B)を満たす。このような構成により、撮像装置10では、一方の平面ミラーからの反射光成分と、他方の平面ミラーからの反射光成分との重畳による3層の画像成分の重畳が防がれ、後の画像処理による画像成分の分離精度を向上させ得る。
また、第1の実施形態の撮像装置10では、平面ミラーと撮像素子12の受光領域raの外縁とは、当該平面ミラーの法線方向において密接している。当該法線方向において、平面ミラーと撮像素子12の受光領域raとの間に隙間が生じていると、当該隙間において結像する被写体の光学情報は失われる。このような事象に対して、上述の構成を有する撮像装置10は、光学情報の喪失を防止する。
また、第1の実施形態の撮像装置10では、ミラーは光軸ox方向から見て、撮像光学系11の射出瞳の外側に位置する。このような構成により、撮像装置10は、射出瞳の端部近傍を通過する光束をミラーに入射させ得る。したがって、撮像装置10は、射出瞳近傍を通過する光束の一部のケラレによる光量の低下を低減させ得る。
また、第1の実施形態の撮像装置10では、撮像光学系11における任意の光束の主光線の光軸oxに対する角度が0°より大きい。このような構成により、撮像装置10では、撮像光学系11は像側テレセントリックでないので、直接画角より広い角度の物点からの光束を光学素子13に入射させ得る。したがって、撮像装置10は、直接画角から広角化させた範囲の光学情報を確実に生成させ得る。
また、第1の実施形態の撮像装置10では、画像信号に相当する画像を、直接画像内の物点に対応する第1の画像成分im1と、直接画角外の物点に対応する第2の画像成分im2とに分離するコントローラ14を備える。このような構成により、撮像装置10は、複数の画像成分が重畳した重畳画像olimの重畳を解消させた画像を生成し得る。
次に、本開示の第2の実施形態に係る撮像装置について説明する。第2の実施形態では、光学素子の構成及びコントローラによる分離処理が第1の実施形態と異なっている。以下に、第1の実施形態と異なる点を中心に第2の実施形態について説明する。なお、第1の実施形態と同じ構成を有する部位には同じ符号を付す。
図20に示すように、第2の実施形態に係る撮像装置100は、第1の実施形態と類似して、撮像光学系11、撮像素子12、及び光学素子130を含んで構成される。撮像装置100は、更にコントローラ14を含んで構成されてよい。第2の実施形態における撮像光学系11及び撮像素子12の構造及び機能は、第1の実施形態と同じである。第2の実施形態におけるコントローラ14の構造は、第1の実施形態と同じである。
第2の実施形態において、光学素子130は、第1の実施形態と類似して、撮像光学系11の直接画角の外から撮像光学系11に入射する光束の少なくとも一部を撮像素子12の受光領域ra内に結像させる。第2の実施形態において、光学素子130は、第1の実施形態と異なり、入射する光束に、光学的処理を施して出射する。
光学的処理は、例えば、入射する光束の帯域の変化である。具体的には、光学素子130は、入射する光束の中で、撮像素子12を覆う複数のカラーフィルタの中の一部のカラーフィルタに対応する帯域の光を減衰させる。したがって、光学素子130は、当該帯域の光を除く帯域の光を受光領域ra内に結像させる。
光学素子130は、減衰させる色の帯域とは他の帯域の光を反射するミラーであってよい。光学素子130は、例えば、R光を減衰させ、GB光を反射する。
上述のような構成により、図21に示すように、第2の実施形態においては、受光領域raには、直接画角内の物点に対応し且つ全カラーフィルタの色に対応した第1のR画像成分im1r、第1のG画像成分im1g、及び第1のB画像成分im1bが光学素子130を介することなく到達する。また、受光領域raには、直接画角外の物点に対応し且つ減衰させた色成分以外の色に対応した第2のG画像成分im2g及び第2のB画像成分im2bが光学素子130を介して到達する。
または、光学的処理は、例えば、入射する光束への入射位置に応じた明暗差パターンの付加である。具体的には、図22に示すように、光学素子130は、第1の領域190及び第2の領域200が、例えば、市松状に分布する表面を有する。第1の領域190は、入射する光の輝度を第1の減衰率で減衰して出射させる。第1の減衰率は、0%超且つ100%未満である。第2の領域200は、入射する光の輝度を第2の減衰率で減衰して出射させる。第2の減衰率は、0%以上且つ第1の減衰率未満である。したがって、光学素子130は、入射する光束に、第1の領域190及び第2の領域200のパターンに応じた明暗差を付与して、受光領域ra内に結像させる。
または、光学的処理は、例えば、入射する光束が受光領域ra内に結像させる像への歪みの付与である。具体的には、図23に示すように、光学素子130は、光軸と平行な線を軸とした円筒状の曲面を有するミラーであり、入射する光束を反射して歪が付与された像を受光領域ra内に結像させる。より具体的には、光学素子130は、光軸に垂直な平面によるミラーである光学素子の断面の円弧の両端を結ぶ方向に拡大するように歪んだ画像である。
第2の実施形態において、コントローラ14は、第1の実施形態に類似して、画像処理により、画像信号に相当する重畳画像olimを、第1の画像成分im1と、第2の画像成分im2とに分離する画像処理を施してよい。第2の実施形態においては、コントローラ14は、画像分離モデルを用いた画像処理方法により重畳画像olimを分離する。
第2の実施形態における画像分離モデルについて、以下に説明する。画像分離モデルは、事前に、光学的処理を施さない第1画像と、当該第1画像とは別の第2画像に対して光学素子130が行う光学的処理に相当する画像処理を施して第1画像に重畳させた重畳画像とを生成し、重畳画像に対して当該第1画像及び第2画像を正解として学習することにより構築されるモデルである。
光学的処理が帯域の変化である構成において、第1画像は任意の画像のRGB画像成分である。又、当該構成において、第2画像は当該任意の画像とは別の画像のGB画像成分である。光学的処理が帯域の変化である構成においては、任意の画像のR画像成分も重畳画像に加えて、学習に用いられ得る。
光学的処理が明暗差パターンの付加である構成において、第1画像は任意の画像である。また、当該構成において、第2画像は当該任意の画像とは別の画像の輝度を、光学素子130の明暗差パターンで変化させた画像である。
光学的処理が歪の付与である構成において、第1画像は任意の画像である。また、当該構成において、第2画像は当該任意の画像とは別の画像を、光学素子130と同じ曲面のミラーで反射させた像である。
第2の実施形態において、コントローラ14は、第1の実施形態と同じく、分離した第1の画像成分im1及び第2の画像成分im2を結合させることにより、復元画像rcimを生成してよい。第2の実施形態において、コントローラ14は、第1の実施形態と同じく、復元画像rcimを用いて、撮像装置100周辺において撮像された被写体の測距を行ってよい。第2の実施形態において、コントローラ14は、第1の実施形態と同じく、復元画像rcimの各アドレスに対応する距離に基づいて、距離画像を生成し、外部機器に付与してよい。
以上のような構成の第2の実施形態の光学装置210も、入射する第1の光を所定の領域paに結像させる撮像光学系11と、撮像光学系11の光軸oxと撮像光学系11に入射する主光線とのなす角度が第1の光と異なる第2の光を所定の領域paに導く光学素子130を備える。したがって、撮像装置100も、広範囲かつ拡大された光学情報を生成し得る。
また、第2の実施形態の撮像装置100でも、光学素子130は第2の光を反射して所定の領域pa内に結像させるミラーであり、ミラーの反射面が光軸ox、及び撮像素子12の矩形の受光領域raのいずれかの辺に平行である。したがって、撮像装置100も、撮像した画像に含まれるミラーによる反射光成分の歪を除去する画像処理の負荷を低減し得るので、反射光成分の再現性を向上させ得る。
また、第2の実施形態の撮像装置100でも、ミラーは複数の平面ミラーを含み、複数の平面ミラーの少なくとも1組の2つの平面ミラーは反射面が互いに平行になるように位置する。したがって、撮像装置100も、光軸oxを中心として、直接画角から両側に拡大させた光学情報を取得し得る。
また、第2の実施形態の撮像装置100でも、光軸oxと互いに平行な2つの平面ミラーの反射面それぞれとの間隔Hが等しく、且つ直接画角の2倍の角度における物点ppからの光束の主光線の角度CRAがCRA≦tan-1(H/B)を満たす。したがって、撮像装置100でも、一方の平面ミラーからの反射光成分と、他方の平面ミラーからの反射光成分との重畳による3層の画像成分の重畳が防がれ、後の画像処理による画像成分の分離精度を向上させ得る。
また、第2の実施形態の撮像装置100でも、平面ミラーと撮像素子12の受光領域raの外縁とは、当該平面ミラーの法線方向において密接している。したがって、撮像装置100も、光学情報の喪失を防止する。
また、第2の実施形態の撮像装置100でも、ミラーは光軸ox方向から見て、撮像光学系11の射出瞳の外側に位置する。したがって、撮像装置100も、射出瞳近傍を通過する光束の一部のケラレによる光量の低下を低減させ得る。
また、第2の実施形態の撮像装置100でも、撮像光学系11における任意の光束の主光線の光軸oxに対する角度が0°より大きい。したがって、撮像装置100も、直接画角から広角化させた範囲の光学情報を確実に生成させ得る。
また、第2の実施形態の撮像装置100でも、画像信号に相当する画像を、直接画像内の物点に対応する第1の画像成分im1と、直接画角外の物点に対応する第2の画像成分im2とに分離するコントローラ14を備える。したがって、撮像装置100も、複数の画像成分が重畳した重畳画像olimの重畳を解消させた画像を生成し得る。
また、第2の実施形態の撮像装置100では、光学素子130は、当該光学素子130に入射する光束に光学的処理を施して出射する。このような構成により、撮像装置100では、分離される画像成分に当該光学的処理に対応する光学的特徴が付与される。したがって、撮像装置100では、分離精度を向上させるように学習された画像分離モデルが構築され得る。それゆえ、撮像装置100では、復元画像の復元精度を向上し得る。
次に、本開示の第3の実施形態に係る撮像装置について説明する。第3の実施形態では、撮像素子の構成及びコントローラによる分離処理が第1の実施形態と異なっている。以下に、第1の実施形態と異なる点を中心に第3の実施形態について説明する。なお、第1の実施形態と同じ構成を有する部位には同じ符号を付す。
図24に示すように、第3の実施形態に係る撮像装置101は、第1の実施形態と類似して、撮像光学系11、撮像素子121、及び光学素子13を含んで構成される。撮像装置101は、更にコントローラ14を含んで構成されてよい。第3の実施形態における撮像光学系11及び光学素子13の構造及び機能は、第1の実施形態と同じである。第3の実施形態におけるコントローラ14の構造は、第1の実施形態と同じである。
第3の実施形態において、撮像素子121は、第1の実施形態に類似して、撮像光学系11を介して受光領域ra内に結像する像を撮像する。撮像素子121は、第1の実施形態に類似して、可視光、赤外線及び紫外線等の不可視光による像を撮像可能であってよい。撮像素子121は、カラーイメージセンサであってよい。撮像素子121は、第1の実施形態に類似して、撮像により受光する画像に相当する画像信号を生成する。撮像素子121は、第1の実施形態に類似して、30fps等の所定のフレームレートで画像信号を生成してよい。撮像素子121では、第1の実施形態と同じく、光学素子13が設けられる側の受光領域raの外縁は、撮像光学系11の射出瞳の外縁よりも外側に位置してよい。受光領域raは、第1の実施形態と同じく、矩形であってよい。
第3の実施形態において、撮像素子121は、第1の実施形態と異なり、デュアルピクセルタイプのイメージセンサであってよい。図25に示すように、デュアルピクセルタイプのイメージセンサである撮像素子121は、各マイクロレンズ151が覆う画素161に第1のPD(PhotoDiode)171及び第2のPD181が設けられており、光束の入射方向によりいずれかのPDにのみ入射可能な構造を有するイメージセンサである。例えば、各画素161において、第1のPD171には光軸ox側に傾斜した方向からの光束のみが入射可能であり、第2のPD181には光学素子13側に傾斜した方向からの光束のみが入射可能である。
上述のような構成により、受光領域raにおける第1のPD171には、直接画像内の物点に対応する第1の画像成分im1が光学素子13を介することなく到達する。また、受光領域raにおける第2のPD181には、直接画角外の物点に対応する第2の画像成分im2が光学素子13を介して反転して到達する。
第3の実施形態において、コントローラ14は、第1の実施形態に類似して、画像処理により、画像信号に相当する重畳画像olimを、第1の画像成分im1と、第2の画像成分im2とに分離する画像処理を施してよい。第3の実施形態においては、コントローラ14は、第1のPD171が生成する信号のみに基づいて第1の画像成分im1を生成してよい。第1のPD171が生成する信号のみに基づいてとは、第2のPD181が生成する信号を用いないことを規定しており、例えば同期信号等のように第2のPD181の出力する信号とは無関係の信号を用いることを含んでよい。また、第3の実施形態においては、コントローラ14は、第2のPD181が生成する信号のみに基づいて反転した第2の画像成分im2を生成してよい。第2のPD181が生成する信号のみに基づくという意味は、第1のPD171が生成する信号のみに基づくと類似した意味である。
第3の実施形態において、コントローラ14は、第1の実施形態と同じく、分離した第1の画像成分im1及び第2の画像成分im2を結合させることにより、復元画像rcimを生成してよい。第3の実施形態において、コントローラ14は、第1の実施形態と同じく、復元画像rcimを用いて、撮像装置101周辺において撮像された被写体の測距を行ってよい。第3の実施形態において、コントローラ14は、第1の実施形態と同じく、復元画像rcimの各アドレスに対応する距離に基づいて、距離画像を生成し、外部機器に付与してよい。
以上のような構成の第3の実施形態の撮像装置101でも、光学素子13は第2の光を反射して所定の領域pa内に導くミラーであり、ミラーの反射面が光軸ox、及び撮像素子121の矩形の受光領域raのいずれかの辺に平行である。したがって、撮像装置101も、撮像した画像に含まれるミラーによる反射光成分の歪を除去する画像処理の負荷を低減し得るので、反射光成分の再現性を向上させ得る。
また、第3の実施形態の撮像装置101でも、ミラーは複数の平面ミラーを含み、複数の平面ミラーの少なくとも1組の2つの平面ミラーは反射面が互いに平行になるように位置する。したがって、撮像装置101も、光軸oxを中心として、直接画角から両側に拡大させた光学情報を取得し得る。
また、第3の実施形態の撮像装置101でも、光軸oxと互いに平行な2つの平面ミラーの反射面それぞれとの間隔Hが等しく、且つ直接画角の2倍の角度における物点ppからの光束の主光線の角度CRAがCRA≦tan-1(H/B)を満たす。したがって、撮像装置101でも、一方の平面ミラーからの反射光成分と、他方の平面ミラーからの反射光成分との重畳による3層の画像成分の重畳が防がれ、後の画像処理による画像成分の分離精度を向上させ得る。
また、第3の実施形態の撮像装置101でも、平面ミラーと撮像素子121の受光領域raの外縁とは、当該平面ミラーの法線方向において密接している。したがって、撮像装置101も、光学情報の喪失を防止する。
また、第3の実施形態の撮像装置101でも、ミラーは光軸ox方向から見て、撮像光学系11の射出瞳の外側に位置する。したがって、撮像装置101も、射出瞳近傍を通過する光束の一部のケラレによる光量の低下を低減させ得る。
また、第3の実施形態の撮像装置101でも、撮像光学系11における任意の光束の主光線の光軸oxに対する角度が0°より大きい。したがって、撮像装置101も、直接画角から広角化させた範囲の光学情報を確実に生成させ得る。
また、第3の実施形態の撮像装置101でも、画像信号に相当する画像を、直接画像内の物点に対応する第1の画像成分im1と、直接画角外の物点に対応する第2の画像成分im2とに分離するコントローラ14を備える。したがって、撮像装置101も、複数の画像成分が重畳した重畳画像olimの重畳を解消させた画像を生成し得る。
学習用の画像のデータセットとして走行空間画像を用意した。これらのデータセットの各画像を用いて、全体画像の一部を切断し、一方の部分画像を他方の部分画像に重畳した重畳画像の組を作成した。重畳画像を分離する画像分離モデルを、作成した15000組を教師データとして用い学習させて、実施例1の画像分離モデルを構築した。残りの組を確認用のデータとして用いて実施例1の画像分離モデルにより重畳画像を分離させた。分離させた画像と重畳画像に用いた部分画像とを比較してPSNR及びSSIMを算出した。実施例1の画像分離モデルでは、PSNR及びSSIMがそれぞれ20.54及び0.55であった。
実施例1と同じデータセットの各画像を用いて、全体画像の一部を切断し、一方の部分画像のGB画像成分を他方の部分画像のRGB画像成分に重畳した重畳画像の組を作成した。重畳画像を分離する画像分離モデルを、作成したX1組を教師データとして用いて学習させて、実施例2の画像分離モデルを構築した。残りの組を確認用のデータとして用いて実施例2の画像分離モデルにより重畳画像を分離させた。分離させた画像と重畳画像に用いた部分画像とを比較してPSNR及びSSIMを算出した。実施例2の画像分離モデルでは、PSNR及びSSIMがそれぞれ27.40及び0.92であった。
実施例1と同じデータセットの各画像を用いて、全体画像の一部を切断し、一方の部分画像に25°の画角に相当する正方形による市松模様の明暗差パターンにより輝度を減衰させ、他方の部分画像に重畳した重畳画像の組を作成した。なお、明暗差パターンの一方の領域の減衰率は70%、他方の領域の減衰率は30%であった。重畳画像を分離する画像分離モデルを、作成したX1組を教師データとして用いて学習させて、実施例3の画像分離モデルを構築した。残りの組を確認用のデータとして用いて実施例3の画像分離モデルにより重畳画像を分離させた。分離させた画像と重畳画像に用いた部分画像とを比較してPSNR及びSSIMを算出した。実施例3の画像分離モデルでは、PSNR及びSSIMがそれぞれ24.48及び0.88であった。
実施例1と同じデータセットの各画像を用いて、全体画像の一部を切断し、一方の部分画像を、歪曲収差を再現するように歪ませ、他方の部分画像に重畳した重畳画像の組を作成した。重畳画像を分離する画像分離モデルを、作成したX1組を教師データとして用いて学習させて、実施例4の画像分離モデルを構築した。残りの組を確認用のデータとして用いて実施例4の画像分離モデルにより重畳画像を分離させた。分離させた画像と重畳画像に用いた部分画像とを比較してPSNR及びSSIMを算出した。実施例4の画像分離モデルでは、PSNR及びSSIMがそれぞれ25.26及び0.90であった。
一実施形態において、(1)光学装置は、
入射する第1の光を所定の領域に結像させる光学系と、
前記光学系の光軸と前記光学系に入射する主光線とのなす角度が前記第1の光と異なる第2の光を前記所定の領域に導く光学素子と、を備える。
(2)上記(1)の光学装置では、
前記第2の光の主光線と前記光軸とのなす角度は、前記第1の光の主光線と前記光軸とのなす角度より大きい。
(3)上記(1)又は(2)の光学装置では、
前記光学素子は、前記第2の光を反射して前記所定の領域に導くミラーである。
(4)撮像装置は、
上記(1)又は(2)の光学装置と、
前記所定の領域と受光領域とが重なるように配置されている撮像素子と、を備える。
(5)上記(4)の撮像装置は、
前記光学素子は、前記第2の光を反射して前記所定の領域に導くミラーである。
(6)上記(5)の撮像装置では、
前記ミラーの反射面が、前記光学系の光軸と平行である。
(7)上記(5)又は(6)の撮像装置では、
前記ミラーの反射面が、前記撮像素子の矩形の受光領域のいずれかの辺に平行である。
(8)上記(5)乃至(7)の撮像装置では、
前記ミラーは、複数の平面ミラーを含み、
前記複数の平面ミラーの少なくとも1組の2つの平面ミラーは反射面が互いに平行に位置する。
(9)上記(8)の撮像装置では、
前記撮像素子の光軸と反射面が互いに平行な2つの平面ミラーの反射面それぞれとの間隔Hが等しく、前記光学系のバックフォーカスをBとして、前記撮像素子の受光領域に対応する前記撮像光学系の直接画角の2倍の角度における物点からの光束の主光線の角度CRAが、CRA≦tan-1(H/B)を満たす。
(10)上記(8)又は(9)の撮像装置では、
前記平面ミラーと前記撮像素子の受光領域の外縁とは、該平面ミラーの法線方向において密接している。
(11)上記(5)乃至(10)の撮像装置では、
前記ミラーは、前記光学系の光軸方向から見て、該光学系の射出瞳の外側に位置する。
(12)上記(5)乃至(11)の撮像装置では、
前記光学系における任意の光束の主光線の光軸に対する角度が0°より大きい。
(13)上記(4)乃至(12)の撮像装置は、
前記撮像素子が撮像により生成する画像信号に相当する画像を、前記撮像素子の受光領域に対応する前記撮像光学系の直接画角内の物点に対応する第1の画像成分と、前記直接画角外の物点に対応する第2の画像成分とに分離するコントローラを、更に備える。
(14)上記(4)乃至(13)の撮像装置では、
前記光学素子は、該光学素子に入射する光束に光学的処理を施して出射する。
(15)上記(14)の撮像装置では、
前記光学的処理は、入射する光束の帯域の変化である。
(16)上記(14)の撮像装置では、
前記光学的処理は、入射する光束への、入射位置に応じた明暗差のパターンの付加である。
(17)上記(14)の撮像装置では、
前記光学的処理は、入射する光束が前記受光領域内に結像させる像への歪の付与である。
以上、撮像装置10、100、101を用いた撮像方法の実施形態を説明してきたが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体(一例として、光ディスク、光磁気ディスク、CD-ROM、CD-R、CD-RW、磁気テープ、ハードディスク、又はメモリカード等)としての実施態様をとることも可能である。
また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であってもよい。さらに、プログラムは、制御基板上のCPUにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。
本開示に係る実施形態について説明する図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を1つに組み合わせたり、或いは分割したりすることが可能である。
本開示に記載された構成要件の全て、及び/又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。
さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。
本開示において「第1」及び「第2」等の記載は、当該構成を区別するための識別子である。本開示における「第1」及び「第2」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第1の画像成分は、第2の画像成分と識別子である「第1」と「第2」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第1」及び「第2」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。