JP5863005B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP5863005B2 JP5863005B2 JP2011190277A JP2011190277A JP5863005B2 JP 5863005 B2 JP5863005 B2 JP 5863005B2 JP 2011190277 A JP2011190277 A JP 2011190277A JP 2011190277 A JP2011190277 A JP 2011190277A JP 5863005 B2 JP5863005 B2 JP 5863005B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- pixel
- processing
- inverse matrix
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Polarising Elements (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
図28は、光学フィルタの偏光フィルタと受光素子アレイの受光素子との対応関係の一例を示す説明図である。
この図において、縦横に並ぶ各正方形がそれぞれ受光素子を示し、受光素子の並び方向に対して斜めに延びるハッチング領域が縦偏光成分をカットする縦偏光フィルタの領域を示し、ハッチング領域以外の領域が横偏光成分をカットする横偏光フィルタの領域を示す。図示の例の光学フィルタは、縦偏光フィルタの帯及び横偏光フィルタの帯が交互に配置され、その帯の長手方向が受光素子の並び方向に対して斜めになるように、縦偏光フィルタの帯及び横偏光フィルタが配置されたものである。
まず、図28に示した光学フィルタを通じて受光素子アレイ全体に、ほぼ一様な光強度Vで100%縦偏光のサンプル光を照射し、そのときに各受光素子(その受光素子の画素番号をiとする。)で受光する受光量に応じたサンプル縦偏光強度aviを取得する。また、同様に、光学フィルタを通じて受光素子アレイ全体に、ほぼ一様な光強度Hで100%横偏光のサンプル光を照射し、そのときに各受光素子で受光する受光量に応じたサンプル横偏光強度ahiを取得する。このようにして得られる各受光素子のサンプル縦偏光強度avi及びサンプル横偏光強度ahiは、それぞれ、その受光素子で受光される縦偏光成分及び横偏光成分の感度に比例していると考えることができる。よって、光学フィルタを透過して各受光素子iで受光する光の強度をIiとすると、Ii=avi×V+ahi×Hが成り立つ。そして、注目画素5を中心とした3×3画素の合計9つの画素1〜9に対して入射する光が同じであると仮定し、これらの画素1〜9について下記の数2に示す行列式を得る。この行列式において、av1〜9及びah1〜9を要素とした感度行列パラメータについての逆行列を求める。この逆行列が上述した疑似逆行列パラメータとなる。ただし、ハードウェア処理に最適化するために、このようにして求まる疑似逆行列パラメータを多少変形してもよい。
図28に示すように、この光学フィルタの場合、2種類のフィルタ領域(縦偏光フィルタと横偏光フィルタ)を透過した各光の1画素内における受光面積の比率が互いに等しい4種類の共通単位画素が周期的に存在する。詳しくは、第1共通単位画素は、図28に示す画素番号1の画素のように、当該画素の右上隅の小領域で縦偏光フィルタを透過した横偏光成分を受光するとともに、残りの大領域で横偏光フィルタを透過した縦偏光成分を受光するパターンの画素である。第2共通単位画素は、図28に示す画素番号2の画素のように、当該画素の左下隅の小領域で横偏光フィルタを透過した縦偏光成分を受光するとともに、残りの大領域で縦偏光フィルタを透過した横偏光成分を受光するパターンの画素である。第3共通単位画素は、図28に示す画素番号3の画素のように、当該画素の右上隅の小領域で横偏光フィルタを透過した縦偏光成分を受光するとともに、残りの大領域で縦偏光フィルタを透過した横偏光成分を受光するパターンの画素である。第4共通単位画素は、図28に示す画素番号5の画素のように、当該画素の左下隅の小領域で縦偏光フィルタを透過した横偏光成分を受光するとともに、残りの大領域で横偏光フィルタを透過した縦偏光成分を受光するパターンの画素である。
図31(a)〜(d)は、4種類の共通単位画素それぞれを注目画素とした場合において、その画像処理に用いられる3×3画素内における4種類の共通単位画素の分布を示す説明図である。
4種類の共通単位画素について、第1共通単位画素を丸付き数字1で示し、第2共通単位画素を丸付き数字2で示し、第3共通単位画素を丸付き数字3で示し、第4共通単位画素を丸付き数字4で示すと、図28に示した光学フィルタの場合、各単位処理領域内の共通単位画素分布は、図30に示すようになる。このような分布においては、第1共通単位画素を注目画素とした画像処理に用いられる3×3画素内における4種類の共通単位画素の分布は、当該単位処理領域内のどの第1共通単位画素についても、図31(a)のようになる。すなわち、第1共通単位画素を注目画素とした場合、その3×3画素の共通単位画素分布は一意に決まる。同様に、第2共通単位画素を注目画素とした場合、その3×3画素の共通単位画素分布も、図31(b)に示すように、一意に決まる。また、第3共通単位画素を注目画素とした場合、その3×3画素の共通単位画素分布も、図31(c)に示すように、一意に決まる。また、第4共通単位画素を注目画素とした場合、その3×3画素の共通単位画素分布も、図31(d)に示すように、一意に決まる。
しかも、演算パラメータが記憶される単位処理領域を、上記先願発明のように同一種類の共通単位画素を複数含んだ互いに隣接する4つ以上の単位画素で構成される単位処理領域とすれば、当該単位処理領域内では同一種類の共通単位画素について同一の演算パラメータを用いることが可能である。したがって、この場合には、上記先願発明による演算パラメータのデータ削減量と、本発明によるデータ削減量との相乗効果により、大幅なデータ削減量を実現することができる。
まず、本運転者支援システムにおける概略構成及び動作概要を説明する。
図1は、本実施形態に係る運転者支援システムの機能ブロック図である。
図2は、本実施形態の運転者支援システムにおける車両検出処理の概要を示すフローチャートである。
図示しない車両に搭載された撮像装置としての偏光カメラ10により、車両が走行する路面(移動面)を含む自車周囲の風景を撮影する(S1)。これにより、偏光カメラ10の受光素子1つに対応した単位画素(以下、単に「画素」という。)ごとの縦偏光強度及び横偏光強度を得る(S2)。本実施形態では、このようにして得られる各画素の縦偏光強度及び横偏光強度から、単位画素ごとに、差分偏光度を算出する(S3)。この差分偏光度から、各画素の差分偏光度を画素値とした差分偏光度画像を生成することができる。なお、ここで、「縦偏光強度」とは、自車両に設置された撮像装置内の受光素子アレイの縦列(鉛直方向の列)に平行な偏光方向をもった偏光の光強度を意味し、「横偏光強度」とは、自車両に設置された撮像装置内の受光素子アレイの横列(水平方向の列)に平行な偏光方向をもった偏光の光強度を意味する。
差分偏光度=(横偏光強度−縦偏光強度)/(横偏光強度+縦偏光強度) ・・(3)
図3は、路面及び立体物を判別するための処理の流れを示すフローチャートである。
路面・立体物判別部21は、偏光カメラ10から差分偏光度画像のデータを受け取ったら、まず、差分偏光度画像を2値化するための閾値を設定し(S41)、その閾値を用いて差分偏光度画像を2値化する(S42)。具体的には、所定の閾値以上の差分偏光度を有する画素に「1」、そうでない画素に「0」を割り振ることで、2値化画像を作成する。その後、この2値化画像において、「1」が割り振られた画素が近接している場合には、それらを1つの画像領域として認識するラベリング処理を実施する(S43)。これによって、差分偏光度の高い近接した複数の画素の集合が1つの高差分偏光度領域として抽出される。このようにして抽出した各高差分偏光度領域を、図示しない路面特徴データ記憶手段としての記憶部内に記憶されている路面の特徴データと照らし合わせ、路面の特徴データに合致した高差分偏光度領域を路面領域として抽出する(S44)。そして、このようにして抽出した路面領域の形状を、路面形状パターンと照らし合わせて推定し(S45)、路面領域の両端すなわち路端ラインを特定する。その後、抽出した路面領域以外の残りの画像領域を、立体物を映し出した立体物領域として抽出する(S46)。
図5は、この差分偏光度画像について路面及び立体物の判別処理を施した後の画像を示したものである。
図5に示す画像中の黒塗り部分の画像領域が路面領域として抽出された箇所である。また、図5に示す画像中の点線で示すラインが路端ラインである。
図6は、立体物領域であると判定された領域の中から車両候補領域を決定するためのフローチャートである。
車両候補領域決定部22は、路面・立体物判別部21において判定された各立体物領域に対して、その差分偏光度が所定の閾値以上であるか否か(所定の数値範囲内であるか否か)を判断し、差分偏光度が所定の閾値以上である立体物領域を検知する(S51)。次に、このようにして検知した立体物領域の面積が、車両の窓ガラスに対応する面積範囲内であるか否かをチェックする(S52)。そして、このチェックを通った立体物領域に対し、車両の窓ガラスに対応する形状を有するかどうかをチェックして、このチェックも通った立体物領域を、車両後方領域として決定する(S53)。
図7は、本実施形態における偏光カメラ10の概略構成を示す説明図である。
この偏光カメラ10は、主に、撮像レンズ1と、光学フィルタ2と、受光素子が2次元配置された受光素子アレイを有する画像センサ4が搭載されたセンサ基板3と、センサ基板3から出力されるアナログ電気信号(画像センサ4上の各受光素子が受光した受光量)をデジタル電気信号に変換するA/D変換部5と、A/D変換部5から出力されるデジタル電気信号(画素データ)に対して画像処理を行って差分偏光度画像のデータを生成して出力する信号処理部6とから構成されている。被写体(被検物)を含む撮像領域からの光は、撮像レンズ1を通り、光学フィルタ2を透過して、画像センサ4でその光強度に応じた電気信号に変換される。A/D変換部5では、画像センサ4から出力される電気信号(アナログ信号)が入力されると、その電気信号から、画素データとして、画像センサ4上における各画素の受光量を示すデジタル信号を、画像の垂直同期信号及び水平同期信号とともに信号処理部6へ出力する。
画像センサ4は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などを用いたイメージセンサであり、その受光素子にはフォトダイオード4aを用いている。フォトダイオード4aは、画素ごとに2次元的にアレイ配置されており、フォトダイオード4aの集光効率を上げるために、各フォトダイオード4aの入射側にはマイクロレンズ4bが設けられている。この画像センサ4がワイヤボンディングなどの手法によりPWB(printed wiring board)に接合されてセンサ基板3が形成されている。撮像する画像の波長範囲は略可視光であるため、画像センサ4としては、可視光の範囲に感度を有するものを選択すればよい。本実施形態の画像センサ4は、互いに直交する縦方向及び横方向に等間隔で配列された480×752の受光素子(フォトダイオード4a)を有効画素とする構成であり、1個のフォトダイオード4aを単位画素とする。
N = A × n ・・・(1)
M = B × m ・・・(2)
具体的に説明すると、第1共通単位画素は、図9に示す画素番号1の画素のように、当該画素の右上隅の小領域で横偏光フィルタ領域2bを透過した横偏光成分を受光するとともに、残りの大領域で透過領域2aを透過した非偏光の光を受光するパターンの画素である。
第2共通単位画素は、図9に示す画素番号2の画素のように、当該画素の左下隅の小領域で透過領域2aを透過した非偏光の光を受光するとともに、残りの大領域で横偏光フィルタ領域2bを透過した横偏光成分を受光するパターンの画素である。
第3共通単位画素は、図9に示す画素番号3の画素のように、当該画素の右上隅の小領域で透過領域2aを透過した非偏光の光を受光するとともに、残りの大領域で横偏光フィルタ領域2bを透過した横偏光成分を受光するパターンの画素である。
第4共通単位画素は、図9に示す画素番号5の画素のように、当該画素の左下隅の小領域で横偏光フィルタ領域2bを透過した横偏光成分を受光するとともに、残りの大領域で透過領域2aを透過した非偏光の光を受光するパターンの画素である。
また、4種類の共通単位画素それぞれを注目画素とした場合において、その画像処理に用いられる3×3画素内における4種類の共通単位画素の分布は、図31(a)〜(d)に示したものと同様である。
4種類の共通単位画素について、第1共通単位画素を丸付き数字1で示し、第2共通単位画素を丸付き数字2で示し、第3共通単位画素を丸付き数字3で示し、第4共通単位画素を丸付き数字4で示すと、図9に示すように構成された光学フィルタ2の場合、各単位処理領域内の共通単位画素分布は、図30に示すようになる。このような分布においては、上述したように、第1共通単位画素を注目画素とした画像処理に用いられる3×3画素内における4種類の共通単位画素の分布は、当該単位処理領域内のどの第1共通単位画素についても、図31(a)のようになる。すなわち、第1共通単位画素を注目画素とした場合、その3×3画素の共通単位画素分布は一意に決まる。第2共通単位画素、第3共通単位画素、第4共通単位画素についても、同様に、一意に決まる。
具体例を挙げると、本実施形態の場合、1つの疑似逆行列パラメータの要素数が18個で、その1要素あたりのデータ量が4バイトであるので、疑似逆行列パラメータ1個あたりのデータ量は72バイトである。本実施形態のように1410個の単位処理領域に区分する場合、各単位処理領域それぞれで4つの疑似逆行列パラメータを使い回すことになるので、全体で4×1410=5640個の疑似逆行列パラメータが必要となる。したがって、疑似逆行列パラメータの全データ量は406080バイト(約0.4Mバイト)となる。これに対し、1つの単位処理領域が8×8画素で構成されるように区分すると、その区分数は5640個となり、全体で4×5640=22560個の疑似逆行列パラメータが必要となる。この場合、疑似逆行列パラメータの全データ量は1624320バイト(約1.6Mバイト)となる。
なお、逆に、演算誤差に余裕がある場合には、区分数を減らして、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素の数を増やし、疑似逆行列パラメータの数(データ量)を更に減らすようにしてもよい。
特に、本実施形態においては、各単位処理領域で使い回す4種類の擬似逆行列パラメータは、その単位処理領域を構成する16×16画素のすべてについて求めた擬似逆行列パラメータの和をとり、その絶対値が一番大きい要素の絶対値が127となるように規格化してもよい。この規格化すると、疑似逆行列パラメータの1要素あたりのデータ量が1バイトとなるが、このようにデータ量を減らしても、計算精度の良好な差分偏光度が算出できる。
本実施形態では、図10の太線で区画したように、1410個の単位処理領域を2×2の4領域で1ユニットとなるように分割する。そして、1ユニットにつき1領域の割合で、擬似逆行列パラメータをSPIフラッシュメモリに記憶する。これにより、擬似逆行列パラメータがSPIフラッシュメモリに記憶されない単位処理領域については、擬似逆行列パラメータがSPIフラッシュメモリに記憶されている少なくとも2つの単位処理領域の間に位置することになる。
図12は、本実施形態のように同じ疑似逆行列パラメータを使い回すとともに上述した補間処理を行って得た差分偏光度画像(疑似逆行列パラメータの全データ量=約0.025Mバイト))の一例を示すものである。
これらの図において、差分偏光度は画像中の各画素の輝度によって表現されている。これらの図を比較してわかるように、両者の間には輝度の違いがほとんど見受けられず、差分偏光度の違いはほとんどない。したがって、疑似逆行列パラメータの全データ量を0.1%にまで圧縮しても、高い精度の差分偏光度画像を得ることができる。
図13は、各フィルタ領域2a,2bの傾きが1/3となるように構成された変形例1に係る光学フィルタ2と画像センサ4の画素との対応関係を示す説明図である。
図14は、本変形例1における一の単位処理領域に存在する6種類の共通単位画素の分布を示す説明図である。
本変形例1の光学フィルタのように各フィルタ領域2a,2bの傾きが1/3となるように構成されている場合、全体で6種類の共通単位画素が存在することになり、その分布は図14に示すものを繰り返したものとなる。本変形例1では、共通単位画素の種類が6種類であることを考慮して、一の単位処理領域を6×6画素で構成した。この場合、その区分数はおよそ10080個となるので、全体で6×10080=60480個の疑似逆行列パラメータが必要となる。よって、疑似逆行列パラメータ1個あたりのデータ量を18バイトであるとすると、疑似逆行列パラメータの全データ量は1088640バイト(約1.1Mバイト)となる。
なお、傾きが3である場合も同様である。
図15は、各フィルタ領域2a,2bの傾きが2/3となるように構成された変形例2に係る光学フィルタ2と画像センサ4の画素との対応関係を示す説明図である。
図16は、本変形例2における一の単位処理領域に存在する12種類の共通単位画素の分布を示す説明図である。
本変形例2の光学フィルタのように各フィルタ領域2a,2bの傾きが2/3となるように構成されている場合、全体で12種類の共通単位画素が存在することになる。本変形例2では、共通単位画素の種類が12種類であることを考慮して、一の単位処理領域を8×8画素で構成した。この場合、その区分数は5640個となるので、全体で12×5640=67680個の疑似逆行列パラメータが必要となる。よって、疑似逆行列パラメータ1個あたりのデータ量を18バイトであるとすると、疑似逆行列パラメータの全データ量は1218240バイト(約1.2Mバイト)となる。
また、本実施形態においては、光学フィルタ2に備わった複数種類のフィルタ領域が画像センサ4の縦方向及び横方向のいずれにも傾斜するように構成されたものであったが、画像センサ4の縦方向及び横方向のいずれか一方に平行である構成としてもよい。ただし、この場合には、各フィルタ領域を透過した両方の光が1つの画素内で受光されるように構成する。
以下、本発明の実施例について説明する。
図17は、本実施例に係る偏光カメラ10の概略構成を示すブロック図である。
画像センサ4から出力される各画素の受光量に応じたアナログ電気信号は、A/D変換部5でデジタル信号である画素データに変換され、その画素データは垂直同期信号及び水平同期信号とともに信号処理部6へ順次出力する。信号処理部6に順次入力された垂直同期信号及び水平同期信号並びに画素データは、信号処理部6内のラインバッファ部31に一時的に保持される。このラインバッファ部31には、少なくとも直前2ライン分の画素データが保持される。そして、ラインバッファ部31は、保持している直前2ライン分の画素データと信号処理部6に入力されてくる最新の1ライン分の画素データとを含む3ライン分の画素データから、画像処理の対象となる注目画素及びその周辺画素からなる3×3画素分の画素データI1〜I9を選択して、差分偏光度画像生成部50へ出力する。そして、差分偏光度画像生成部50は、入力された3×3画素分の画素データI1〜I9と、パラメータ記憶手段としてのSPIフラッシュメモリ32に格納されていた当該注目画素に対応する擬似逆行列パラメータとを用いて、上記数3に示した式より、当該注目画素で受光した光の縦偏光強度Vと横偏光強度Hとを算出し、その算出結果から当該注目画素についての差分偏光度を算出する。算出した差分偏光度は、差分偏光度画像のデータ(画素値)として、水平・垂直同期信号とともに後段の機器へと順次出力される。このような画像処理を画像センサ4の有効画素全体について行うことで、各画素についての差分偏光度を画素値とした差分偏光度画像が生成される。
図18は、差分偏光度画像生成部50の内部構成を示すブロック図である。
この差分偏光度画像生成部50は、FPGAで構成されていて、画素データI1〜I9と擬似逆行列パラメータとから当該画素についての縦偏光強度Vと横偏光強度Hを算出して、その算出結果から当該画素についての差分偏光度を算出する画像処理をハードウェア処理により実現している。なお、この画像処理で用いるすべての擬似逆行列パラメータは、予めFPGA内部に設けられた擬似逆行列パラメータ格納用BRAM(Block-RAM)にロードしておく。
本実施例においては、事前にすべての疑似逆行列パラメータを算出しておき、それをSPIフラッシュメモリ32内に格納してある。本実施例におけるSPIフラッシュメモリ32のアドレスマップは、図26及び図27に示すとおりである。パラメータ制御部40は、図17や図18に示したように、汎用のCPU41を備えていて、電源投入時に、SPIインターフェース42を通じてSPIフラッシュメモリ32から擬似逆行列パラメータを読み出し、読み出した全擬似逆行列パラメータを、CPUバス43及びUserインターフェース44を介して、差分偏光度画像生成部50を構成するFPGA内の擬似逆行列パラメータ格納用BRAMへ転送する。
電源が投入されると、まず、パラメータ制御部40のCPU41は、SPIフラッシュメモリ32内のFPGA回路データを、差分偏光度画像生成部50を構成するFPGA内にロードする。その後、CPU41は、擬似逆行列パラメータ転送処理を実行する。この擬似逆行列パラメータ転送処理では、まず、CPU41からSPIインターフェース42にRead用コマンドを発行する。これにより、SPIインターフェース42を介してSPIフラッシュメモリ32内の擬似逆行列パラメータがCPU41に読み込まれる。その後、CPU41はUserインターフェース44にWrite用コマンドを発行する。これにより、Userインターフェース44を介して擬似逆行列パラメータが係数生成部52内における擬似逆行列パラメータ格納用BRAMに書き込まれる。すべての擬似逆行列パラメータが係数生成部52内の擬似逆行列パラメータ格納用BRAMに転送されるまで、上述したRead用コマンドの発行からWrite用コマンドの発行までの処理を繰り返し行う。
(態様A)
互いに異なる光学成分を選択的に透過させる複数種類の選択フィルタ領域を周期的に配列した光学フィルタを通じて、又は、1種類又は2種類以上の選択フィルタ領域及び入射光をそのまま透過させる非選択フィルタ領域を周期的に配列した光学フィルタ2を通じて、フォトダイオード4a等の受光素子が2次元配置された画像センサ4等の受光素子アレイにより撮像領域からの光を受光し、該受光素子アレイ上の1つの受光素子又は2つ以上の受光素子に対応する単位画素ごとの受光量に応じた画像信号を出力する撮像部等の撮像手段と、該撮像手段から出力された画像信号から、該画像信号に対応する単位画素に応じた演算パラメータを用いて、該単位画素で受光された光に含まれる互いに異なった光学成分を算出する画像処理を実行する信号処理部6等の画像処理手段と、全単位画素に対応する疑似逆行列パラメータ等の演算パラメータのうち、全単位画素を3以上の単位処理領域に区分したときに互いに離間した少なくとも2つの単位処理領域A〜L(図10参照)を構成する単位画素に対応した演算パラメータを記憶し、演算パラメータが記憶されている単位画素で構成された単位処理領域の間に位置した特定単位処理領域α,β,γ(図10参照)を構成する単位画素についての演算パラメータは記憶しないSPIフラッシュメモリ32等のパラメータ記憶手段とを備え、上記画像処理手段は、上記特定単位処理領域α,β,γを構成する単位画素で受光された光に含まれる互いに異なった光学成分を算出するための演算パラメータを、該特定単位処理領域α,β,γを挟み込む単位処理領域A,B,E,Fを構成する単位画素についての演算パラメータを用いた補間処理により生成し、生成した演算パラメータを用いて該特定単位処理領域α,β,γを構成する単位画素についての光学成分を算出する。
これによれば、各単位画素で受光された光に含まれる互いに異なった光学成分を算出するための演算パラメータ(疑似逆行列パラメータ)の一部は、予めパラメータ記憶手段に記憶しておくのではなく、画像処理の際に補間処理によって生成される。よって、生成される分の演算パラメータはパラメータ記憶手段に記憶しておく必要がない。したがって、パラメータ記憶手段に記憶しておく演算パラメータの数は、すべての単位画素について演算パラメータをパラメータ記憶手段に記憶しておく場合と比較して、その補間処理による生成分だけ少なくできる。
上記態様Aにおいて、上記特定単位処理領域α,β,γは、演算パラメータが記憶されている単位画素で構成されていて当該特定単位処理領域α,β,γに隣接している2つの単位処理領域A,B,E,Fに挟み込まれるように位置している。
これによれば、当該特定単位処理領域α,β,γに最も近接している単位処理領域の演算パラメータを用いて当該特定単位処理領域α,β,γの演算パラメータの補間処理を行うことができるので、高精度な補間が可能となる。
上記態様A又は上記態様Bにおいて、上記補間処理は線形補間処理である。
これによれば、簡易かつ高精度な補間が可能となる。
上記態様A〜Cのいずれかの態様において、上記撮像手段は、上記光学フィルタ2に備わった複数種類のフィルタ領域を透過した各光の単位画素内における受光面積比率が互いに等しい1種類又は2種類以上の共通単位画素が周期的に存在するように構成されており、上記画像処理手段は、各単位処理領域を、同一種類の共通単位画素を複数含んだ互いに隣接する4つ以上の単位画素で構成されるように区分し、同一の単位処理領域内における同一種類の共通単位画素については、同一の演算パラメータを用いて上記画像処理を実行する。
上記先願で説明したとおり、受光面積比率が同じである同一種類の共通単位画素は、受光素子アレイ上で近接している画素同士であれば、その画像信号から出力画像情報の画素値を算出する画像処理で用いる演算パラメータが互いに近似している。受光素子アレイ上の単位画素を、同一種類の共通単位画素を複数含んだ互いに隣接する4つ以上の単位画素で構成される2以上の単位処理領域に区分する。このように区分された単位処理領域内には、受光素子アレイ上で互いに近接した少なくとも2つの同一種類の共通単位画素が含まれる。よって、これらの共通単位画素に対する画像処理で用いる演算パラメータは互いに近似したものである。したがって、これらの共通単位画素の演算パラメータとして同一の演算パラメータを使い回しても、その演算誤差は許容範囲内に収めることができる。その結果、パラメータ記憶手段に記憶しておく演算パラメータの数が、すべての単位画素について演算パラメータをパラメータ記憶手段に記憶しておく場合と比較して、その使い回し分だけ少なくできる。
上記態様A〜Dのいずれかの態様において、上記光学フィルタ2は、複数種類のフィルタ領域をストライプ状に配列したものである。
これによれば、複数種類のフィルタ領域2a,2bを例えば市松模様状に配列した場合よりも、光学フィルタ2を安価に製造できる。
上記態様Eにおいて、上記受光素子アレイは、互いに直交する縦方向及び横方向に受光素子が等間隔で配列されたものであり、上記光学フィルタは、上記複数種類のフィルタ領域の長手方向が上記受光素子アレイの縦方向及び横方向のいずれにも傾斜するように構成されている。
これによれば、傾斜していない構成よりも、注目画素の周囲に、注目画素とは異なる種類の共通単位画素がより多く配置されやすく、演算精度を高めやすい。
上記態様Fにおいて、上記受光素子アレイの縦方向における受光素子間隔をnとし、横方向における受光素子間隔をmとしたとき、上記光学フィルタ2は、上記複数種類のフィルタ領域の縦方向長さNが上記式(1)を満たし、該複数種類のフィルタ領域の横方向長さMが上記式(2)を満たすように構成されている。
これによれば、注目画素の周囲に、注目画素とは異なる種類の共通単位画素がより多く配置され、演算精度を高めることができる。
上記態様Gにおいて、上記式(1)中のAに対する上記式(2)中のBの比率が1/2又は2であることを特徴とする撮像装置。
これによれば、注目画素の光学成分の演算内容が複雑化しない範囲で、演算精度を高めることができる。
上記態様A〜Hのいずれかの態様において、上記選択フィルタ領域は、所定の偏光成分を選択的に透過させる偏光フィルタで構成されている。
これによれば、受光素子アレイから出力される画像信号から特定の偏光成分を抽出することができる。
また、本実施形態に係る運転者支援システムは、そのシステム全体が車両に搭載されているが、必ずしもシステム全体が車両に搭載されている必要はない。したがって、例えば、偏光カメラ10のみを自車に搭載して、残りのシステム構成要素を自車とは別の場所に遠隔配置するようにしてもよい。この場合、車両の走行状態を運転者以外の者が客観的に把握するシステムとすることもできる。
また、本発明に係る撮像装置は、本実施形態に限らず、幅広い分野に応用することができる。
2 光学フィルタ
2a 透過領域
2b 横偏光フィルタ領域
4 画像センサ
4a フォトダイオード(受光素子)
5 A/D変換部
6 信号処理部
10 偏光カメラ
31 ラインバッファ部
32 SPIフラッシュメモリ
40 パラメータ制御部
41 CPU
50 差分偏光度画像生成部
51 アドレス計算部
52 係数生成部
53 偏光分離処理部
54 差分偏光度計算部
55 差分偏光度画像計算部
Claims (9)
- 所定の光学成分を選択的に透過させる選択フィルタ領域を周期的に配列した光学フィルタを通じて、受光素子が2次元配置された受光素子アレイにより撮像領域からの光を受光し、該受光素子アレイ上の1つの受光素子又は2つ以上の受光素子に対応する単位画素ごとの受光量を含む画像信号を出力する撮像手段と、
該撮像手段から出力された画像信号から、該画像信号に含まれる単位画素及びその周辺画素の受光量と該単位画素に対応した演算パラメータとを用いて、該単位画素で受光された光に含まれる光学成分を算出する画像処理を実行する画像処理手段と、
全単位画素を3以上の単位処理領域に区分したときに互いに離間した少なくとも2つの単位処理領域を構成する単位画素に対応した演算パラメータを記憶するパラメータ記憶手段とを備え、
上記少なくとも2つの単位処理領域の間に存在する特定単位処理領域の単位画素に対応する演算パラメータは、該少なくとも2つの単位処理領域の単位画素に対応した演算パラメータを用いた補間処理により生成することを特徴とする撮像装置。 - 請求項1の撮像装置において、
上記特定単位処理領域は、演算パラメータが記憶されている単位画素で構成されていて当該特定単位処理領域に隣接している2つの単位処理領域に挟み込まれるように位置していることを特徴とする撮像装置。 - 請求項1又は2の撮像装置において、
上記補間処理は線形補間処理であることを特徴とする撮像装置。 - 請求項1乃至3のいずれか1項に記載の撮像装置において、
上記撮像手段は、上記光学フィルタに備わった上記選択フィルタ領域を含む複数種類のフィルタ領域を透過した各光の単位画素内における受光面積比率が互いに等しい1種類又は2種類以上の共通単位画素が周期的に存在するように構成されており、
上記画像処理手段は、各単位処理領域を、同一種類の共通単位画素を複数含んだ互いに隣接する4つ以上の単位画素で構成されるように区分し、同一の単位処理領域内における同一種類の共通単位画素については、同一の演算パラメータを用いて上記画像処理を実行することを特徴とする撮像装置。 - 請求項1乃至4のいずれか1項に記載の撮像装置において、
上記光学フィルタは、上記選択フィルタ領域を含む複数種類のフィルタ領域をストライプ状に配列したものであることを特徴とする撮像装置。 - 請求項5の撮像装置において、
上記受光素子アレイは、互いに直交する縦方向及び横方向に受光素子が等間隔で配列されたものであり、
上記光学フィルタは、上記複数種類のフィルタ領域の長手方向が上記受光素子アレイの縦方向及び横方向のいずれにも傾斜するように構成されていることを特徴とする撮像装置。 - 請求項6の撮像装置において、
上記受光素子アレイの縦方向における受光素子間隔をnとし、横方向における受光素子間隔をmとしたとき、上記光学フィルタは、上記複数種類のフィルタ領域の縦方向長さNが下記の式(1)を満たし、該複数種類のフィルタ領域の横方向長さMが下記の式(2)を満たすように構成されていることを特徴とする撮像装置。
N = A × n ・・・(1)
M = B × m ・・・(2)
ただし、A及びBは自然数であり、かつ、A≠Bを満たすものである。 - 請求項7の撮像装置において、
上記式(1)中のAに対する上記式(2)中のBの比率が1/2又は2であることを特徴とする撮像装置。 - 請求項1乃至8のいずれか1項に記載の撮像装置において、
上記選択フィルタ領域は、所定の偏光成分を選択的に透過させる偏光フィルタで構成されていることを特徴とする撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011190277A JP5863005B2 (ja) | 2011-09-01 | 2011-09-01 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011190277A JP5863005B2 (ja) | 2011-09-01 | 2011-09-01 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013055382A JP2013055382A (ja) | 2013-03-21 |
JP5863005B2 true JP5863005B2 (ja) | 2016-02-16 |
Family
ID=48132042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011190277A Expired - Fee Related JP5863005B2 (ja) | 2011-09-01 | 2011-09-01 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5863005B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3376759B1 (en) * | 2015-11-10 | 2021-04-14 | Sony Corporation | Image processing device and image processing method |
JP7062606B2 (ja) * | 2019-03-08 | 2022-05-06 | 株式会社東芝 | マルチビュー光学系、光学装置、撮像装置、及び、移動体 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5446521B2 (ja) * | 2009-07-06 | 2014-03-19 | 株式会社リコー | 撮像装置 |
JP5310483B2 (ja) * | 2009-10-28 | 2013-10-09 | 株式会社リコー | 撮像装置 |
JP5359841B2 (ja) * | 2009-12-10 | 2013-12-04 | 株式会社リコー | 撮像装置、撮像方法及びこの撮像方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
-
2011
- 2011-09-01 JP JP2011190277A patent/JP5863005B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013055382A (ja) | 2013-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5867806B2 (ja) | 撮像装置及びこれを用いた物体識別装置 | |
US20180308282A1 (en) | Shape measuring apparatus and method | |
US8077204B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
JP4937030B2 (ja) | 車両用画像処理装置 | |
CN107273788B (zh) | 在车辆中执行车道检测的成像系统与车辆成像系统 | |
JP6376429B2 (ja) | 対象地点到達検知装置、対象地点到達検知用プログラム、移動体機器制御システム及び移動体 | |
US10148938B2 (en) | Vehicle-mounted image recognition device to set a stereoscopic-vision and monocular-vision image areas | |
JP2010057067A (ja) | 撮像装置および画像処理装置 | |
JP2012215785A5 (ja) | ||
JP7248574B2 (ja) | 車両の周辺領域を認識するカメラ装置および方法 | |
KR20120098107A (ko) | 차량 운전자의 시계 보조 시스템 및 방법 | |
JP2013137767A (ja) | 障害物検出方法及び運転者支援システム | |
JP5943393B2 (ja) | 撮像装置 | |
JP2014165638A (ja) | 画像処理装置、撮像装置、移動体制御システム及びプログラム | |
JP2006322795A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6447121B2 (ja) | 画像処理装置、画像処理方法、撮像システム、画像処理システム、およびプログラム | |
JP5863005B2 (ja) | 撮像装置 | |
JP5674130B2 (ja) | 撮像装置 | |
JP6674959B2 (ja) | 視差算出装置、ステレオカメラ装置、車両および視差算出方法 | |
JP6190119B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP2014026396A (ja) | 移動面境界線認識装置、移動面境界線認識装置を備えた移動体、移動面境界線認識方法及び移動面境界線認識用プログラム | |
JP4821399B2 (ja) | 物体識別装置 | |
US9645290B2 (en) | Color filter array and solid-state image sensor | |
JP2014155071A5 (ja) | ||
US8416328B2 (en) | Image processing apparatus and image processing method for processing bayer pattern image data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140812 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150512 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150710 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151217 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5863005 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |