JP5674130B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP5674130B2
JP5674130B2 JP2011001320A JP2011001320A JP5674130B2 JP 5674130 B2 JP5674130 B2 JP 5674130B2 JP 2011001320 A JP2011001320 A JP 2011001320A JP 2011001320 A JP2011001320 A JP 2011001320A JP 5674130 B2 JP5674130 B2 JP 5674130B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
filter
unit
pixel
image
light receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011001320A
Other languages
Japanese (ja)
Other versions
JP2012142903A (en )
Inventor
洋義 関口
洋義 関口
Original Assignee
株式会社リコー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

本発明は、1種類又は2種類以上の偏光フィルタや色分解フィルタを周期的に配列した光学フィルタを通じて撮像領域からの光を受光素子アレイで受光し、これにより得た画像信号に対して画像処理を行って互いに異なった光学成分をそれぞれ抽出し、抽出した複数種類の光学成分を用いた画像情報を出力する撮像装置に関するものである。 The present invention relates to an image with respect to one or via two or more polarizing filter or a color separation filter periodically arranged the optical filter the light from the imaging region received light by the light receiving element array, an image signal obtained by this It performs processing to extract the respective different optical components to each other, but relates to an imaging apparatus that outputs image information using the extracted plural kinds of optical components.

この種の撮像装置としては、所定の撮像領域をデジタルカメラ等の撮像手段を用いて撮像し、その画像信号から、所望の波長帯域のみを抽出した画像情報や、所望の偏光成分のみを抽出した画像情報などを生成するものが知られている。 As this type of image pickup apparatus, the predetermined imaging area imaged using imaging means such as a digital camera, that from the image signal, and image information extracted only a desired wavelength band, by extracting only desired polarized light component which generate an image information is known. このような撮像装置は、例えば、光学フィルタを通じて入射する撮像領域からの光を、多数の受光素子を2次元配置された受光素子アレイを用いて受光し、各受光素子で受光した光量に応じて受光素子アレイから出力される画像信号から、撮像領域の画像情報を生成する。 Such an imaging device, for example, the light from the imaging region that is incident through the optical filter, and received by using a light receiving element arrays arranged a large number of light-receiving elements two-dimensionally, depending on the amount of light received by each light receiving element from an image signal output from the light receiving element array, generates image information of the imaging region. 特許文献1には、光学フィルタとして、例えば、R(Red)、G(Green)、B(Blue)の色分解フィルタが所定の配置パターンに従って配列されたカラーフィルタを用いた撮像装置が記載されている。 Patent Document 1, as an optical filter, for example, R (Red), G (Green), B color separation filters (Blue) is described an imaging apparatus using a color filter arranged according to a predetermined arrangement pattern there. また、特許文献2には、2種類(縦偏光成分と横偏光成分)の偏光フィルタが周期的に配置された光学フィルタを通じて入射する撮像領域からの光を受光素子アレイで受光する撮像装置が記載されている。 Further, Patent Document 2, two imaging device for receiving light from the imaging region polarizing filter (vertical polarization component and the horizontal polarization component) is incident through the periodically arranged optical filter in the light receiving element array wherein It is. このような撮像装置によれば、1回の撮像動作で、互いに異なる複数の光学成分それぞれを抽出した画像情報(例えば、R、G、Bそれぞれの画像情報や、縦偏光成分及び横偏光成分それぞれの画像情報)を得ることができる。 According to such an imaging device, a single imaging operation, the image information (e.g., extracting the plurality of different optical components to one another, R, G, B and the respective image information, the vertical polarization component and the horizontal polarization component, respectively image information) can be obtained.

このような互いに異なる複数の光学成分から生成される光学成分抽出画像は、撮像領域内の物体を識別する物体識別処理に利用することで、単なる輝度情報のみからなる画像情報(モノクロ画像情報)で物体識別処理を行う場合よりも、高い精度での物体識別を可能とする点で有用である。 Such an optical component extraction image generated from a plurality of optical components different from each other, by using the object identification process of identifying objects in the imaging area, the image information consisting of only a mere luminance information (monochrome image information) than when performing the object identification process is useful in that it enables the object identification with high accuracy. そのため、このような撮像装置は、近年、例えば、車載カメラとして用いられ、自車の進行方向前方領域(撮像領域)を撮像して得られる撮像画像に基づく物体検出処理を行って先行車両や対向車両などの物体を検出し、自車の運転者(ドライバー)の運転負荷を軽減させる運転者支援システムへ利用されている。 Therefore, such an imaging apparatus, recently, for example, is used as an in-vehicle camera, the vehicle in the traveling direction front region (imaging region) imaging to perform object detection processing based on the captured image preceding vehicle or an oncoming obtained by detecting an object such as a vehicle, it has been utilized to the vehicle driver (driver) driver assistance system to reduce the operating load of. また、例えば、ロボット制御などに用いられる物体識別装置のための撮像装置など、その他の分野でも幅広く利用されることが期待されている。 Further, for example, an imaging apparatus for object identification device for use in a robot control, be widely used in other fields has been expected.

本発明者らは、このような光学成分抽出画像をフレームレート30fpsでリアルタイム映像出力することを可能とする撮像装置を開発し、その開発にあたっては、次のような課題に直面した。 The present inventors have developed an imaging apparatus capable of real-time video output such an optical component extraction image at a frame rate 30fps, when its development faced the following problems. なお、以下の説明では、縦偏光成分及び横偏光成分それぞれの光学成分抽出画像を得る撮像装置について説明するが、R、G、B等の互いに波長成分が異なる画像情報を得る撮像装置においても同様である。 In the following description, the imaging apparatus to obtain a vertical polarization component and the horizontal polarization components each optical component extracted image will be described but, R, G, also in the imaging apparatus wavelength components to obtain a different image information from each other, such as B similar it is.

このような撮像装置を開発するにあたっては、受光素子アレイから出力される画像信号から縦偏光成分及び横偏光成分を抽出して光学成分抽出画像を生成するという画像処理を、フレームレート30fpsでのリアルタイム映像出力を可能とする短い時間内で完了することが要求される。 In developing such an image pickup apparatus, an image processing that extracts the vertical polarization component and the horizontal polarization component from an image signal output from the light receiving element array to generate an optical component extraction image, real-time frame rate 30fps it is required to complete within a short time to allow the video output. 現状において、この要求を満たす画像処理を可能とするには、現実的には、所定の画像処理プログラムを汎用CPUに実行させて当該画像処理を実現するソフトウェア処理ではなく、FPGA(Field Programmable Gate Array)等の専用ハードウェアを用いて当該画像処理を実現するハードウェア処理を採用することが必要となる。 At present, the request to permit image processing to satisfy, in reality, rather than software processing by executing a predetermined image processing program in a general-purpose CPU to realize the image processing, FPGA (Field Programmable Gate Array it is necessary to employ a hardware process for realizing the image processing using the dedicated hardware) or the like.

ここで、受光素子アレイから出力される画像信号から光学成分抽出画像を生成する画像処理の一例について説明する。 Here, an example of image processing to generate an optical component extracted image from an image signal output from the light receiving element array.
図30は、光学フィルタの偏光フィルタと受光素子アレイの受光素子との対応関係を示す説明図である。 Figure 30 is an explanatory diagram showing the correspondence between the polarizing filter of the optical filter and a light receiving element of the light receiving element array.
この図において、縦横に並ぶ各正方形がそれぞれ受光素子を示し、受光素子の並び方向に対して斜めに延びるハッチング領域が縦偏光成分をカットする縦偏光フィルタの領域を示し、ハッチング領域以外の領域が横偏光成分をカットする横偏光フィルタの領域を示す。 In this figure, each square aligned vertically and horizontally indicates each light receiving element, shows the area of ​​the vertical polarization filter hatched region extending obliquely cutting the vertically polarized light component with respect to the arrangement direction of the light receiving element, the area other than the hatched area It shows the area of ​​the horizontally polarized light filter for cutting the horizontally polarized light component. 図示の例の光学フィルタは、縦偏光フィルタの帯及び横偏光フィルタの帯が交互に配置され、その帯の長手方向が受光素子の並び方向に対して斜めになるように、縦偏光フィルタの帯及び横偏光フィルタが配置されたものである。 Optical filter of the illustrated example, the band of the band and horizontal polarization filter vertical polarization filter are alternately arranged, so that the longitudinal direction of the strip is oblique to the direction of arrangement of light receiving elements, a band of vertical polarization filter and in which horizontal polarization filter is arranged.

受光素子アレイ上の1つの受光素子に対応する注目画素(図中の画素番号5)の縦偏光成分Vと横偏光成分Hは、例えば、当該注目画素5の受光量に対応した画像信号値I5だけでなく、その注目画素5の周囲を取り囲む8つの周辺画素1〜4,6〜9の受光量に対応した画像信号値I1〜I4,I6〜I9も用いて、下記の数1に示す式より求められる。 Vertical polarization component V and the horizontal polarization component H of the target pixel corresponding to one light-receiving elements on the light receiving element array (pixel number 5 in the figure) is, for example, the image signal values ​​I5 corresponding to the received light amount of the pixel of interest 5 not only the image signal values ​​I1~I4 corresponding to the amount of light received eight peripheral pixels 1~4,6~9 surrounding the target pixel 5, is also used I6~I9, equations shown in equation 1 below more is required. なお、下記の数1に示す式において、画像信号値I1〜I9から注目画素5の縦偏光成分Vと横偏光成分Hを算出するためのA1〜A18の要素をもつ係数行列(演算パラメータ)を、以下、疑似逆行列パラメータと称する。 In the expression shown in Expression 1 below, the coefficient matrix with elements A1~A18 for calculating the vertical polarization component V and the horizontal polarization component H of the target pixel 5 from the image signal value I1~I9 the (operation parameters) , hereinafter referred to as pseudo-inverse matrix parameters.

この疑似逆行列パラメータは、以下のようにして予め求めておくことができる。 The pseudo-inverse matrix parameters may be determined in advance as follows.
まず、図30に示した光学フィルタを通じて受光素子アレイ全体に、ほぼ一様な光強度Vで100%縦偏光のサンプル光を照射し、そのときに各受光素子(その受光素子の画素番号をiとする。)で受光する受光量に応じたサンプル縦偏光強度aviを取得する。 First, the entire light-receiving element array through an optical filter shown in FIG. 30, the 100% vertically polarized light at approximately uniform light intensity V irradiated with sample light, the pixel number of each light receiving element (the light receiving element at that time i to.) to obtain samples vertical polarization intensity avi corresponding to the received light amount received by the. また、同様に、光学フィルタを通じて受光素子アレイ全体に、ほぼ一様な光強度Hで100%横偏光のサンプル光を照射し、そのときに各受光素子で受光する受光量に応じたサンプル横偏光強度ahiを取得する。 Similarly, the entire light-receiving element array through an optical filter, is irradiated with almost 100% uniform light intensity H horizontally polarized light of the sample light, the sample horizontally polarized light corresponding to the received light amount received by the light receiving element at that time to get the strength ahi. このようにして得られる各受光素子のサンプル縦偏光強度avi及びサンプル横偏光強度ahiは、それぞれ、その受光素子で受光される縦偏光成分及び横偏光成分の感度に比例していると考えることができる。 Sample vertical polarization intensity avi and sample transverse polarization intensity ahi of the light receiving element obtained in this way, each can be considered to be proportional to the sensitivity of the vertical polarization component and the horizontal polarization components are received by the receiving element it can. よって、光学フィルタを透過して各受光素子iで受光する光の強度をIiとすると、Ii=avi×V+ahi×Hが成り立つ。 Therefore, when the intensity of the light received passes through the optical filter in the light receiving elements i and Ii, Ii = avi × V + ahi × H holds. そして、注目画素5を中心とした3×3画素の合計9つの画素1〜9に対して入射する光が同じであると仮定し、これらの画素1〜9について下記の数2に示す行列式を得る。 Then, assuming that the light incident on the total nine pixels 1-9 of 3 × 3 pixels centering on the target pixel 5 is the same, determinant for these pixels 1-9 shown in Expression 2 below obtained. この行列式において、av1〜9及びah1〜9を要素とした感度行列パラメータについての逆行列を求める。 In this matrix equation, we obtain the inverse matrix of the sensitivity matrix parameters as elements av1~9 and Ah1~9. この逆行列が上述した疑似逆行列パラメータとなる。 The inverse matrix is ​​a pseudo inverse matrix parameters described above. ただし、ハードウェア処理に最適化するために、このようにして求まる疑似逆行列パラメータを多少変形してもよい。 However, in order to optimize the hardware processing, the pseudo-inverse matrix parameters obtained in this way may be somewhat deformed.

なお、ここでは、縦偏光フィルタと横偏光フィルタとが交互に配置された光学フィルタを例に挙げたが、縦偏光フィルタとフィルタ無し(光をそのまま透過させる領域)とが交互に配置された光学フィルタや、横偏光フィルタとフィルタ無しとが交互に配置された光学フィルタであっても、上述した手順と同様の方法で、疑似逆行列パラメータを求めることができる。 Here, although an example of the optical filter and the vertical polarization filter and the horizontal polarization filter are alternately arranged, vertical polarization filter and the unfiltered and (regions that is transmitted through the light) are alternately arranged optical filters and also the horizontal polarization filter and without filter and is an optical filter disposed alternately in the above procedure the same way, it is possible to obtain the pseudo-inverse matrix parameters. ただし、このような光学フィルタを用いる場合、実際の撮像時には、受光素子アレイが横偏光成分及び縦偏光成分のいずれか一方を受光しない。 However, when using such an optical filter, in actual image pickup, the light receiving element array does not receive either one of the horizontal polarization component and vertical polarization component. そのため、偏光フィルタを通過して受光される偏光成分の画像信号値とフィルタ無しを通過して受光される非偏光の画像信号値とを用いて、受光しない偏光成分を求める必要がある。 Therefore, by using the image signal value of the unpolarized light received through the image signal values ​​and unfiltered polarization components of light received through the polarization filter, it is necessary to obtain the polarization component which does not receive light. この場合、例えば、非偏光の受光量が縦偏光成分の受光量と横偏光成分の受光量との合算値に近似することを利用して、疑似逆行列パラメータを生成すればよい。 In this case, for example, by utilizing the fact that the received light amount of the non-polarized light is approximated to sum of the amount of light received by the light receiving quantity and the horizontal polarization component of the vertical polarization component may generate a pseudo-inverse matrix parameters.

このようにして生成される疑似逆行列パラメータは、従来、受光素子1つ1つについて個別に設定されていた。 Pseudo-inverse matrix parameters generated in this manner has been conventionally set individually for each one light receiving element. この場合、その疑似逆行列パラメータを記憶するのに要する全記憶容量は、例えば、受光素子アレイの画素数(受光素子数)が480×752であり、1つの疑似逆行列パラメータの要素数が18個であり、その1要素あたりのデータ量が4バイトであると、約26Mバイトとなる。 In this case, the total storage capacity required for storing the pseudo-inverse matrix parameters, for example, a photodiode array number of pixels (the number of light receiving elements) 480 × 752, the number of elements of one pseudo inverse matrix parameters 18 a number, the data amount per Part 1 elements is 4 bytes, approximately 26M bytes. 上記数1に示した式より、各受光素子の縦偏光成分Vと横偏光成分Hを、その周辺画素を含む3×3画素の画像信号値I1〜I9も用いて上記数1に示した式より求める画像処理をハードウェア処理にて行う場合、予めSPIフラッシュメモリなどのROMに擬似逆行列パラメータを格納しておく方法が考えられる。 The equation shown in Equation 1, the vertical polarization component V and the horizontal polarization component H of the light receiving elements, as shown in 3 × 3 pixel image signal values ​​I1~I9 also the number 1 is used, including the peripheral pixels formula when performing more determined image processing by hardware processing, it is considered a method of storing a pseudo-inverse matrix parameters in advance in the SPI flash memory such as ROM. この方法によれば、予め擬似逆行列パラメータが算出済みであるので、撮像装置が起動するたびに擬似逆行列パラメータを算出する必要がなく、撮像装置の起動時間を短縮化できる。 According to this method, previously since pseudo-inverse parameter has already been calculated, it is not necessary to calculate a pseudo inverse matrix parameters each time the imaging device is activated, can shorten the startup time of the image pickup device.

しかしながら、この方法では、擬似逆行列パラメータを格納しておくROMとして、26Mバイト以上の大容量メモリが必要となり、コストの面や消費電力の面で不利となるという問題が生じる。 However, in this method, as ROM for storing a pseudo-inverse matrix parameters, it requires a large capacity memory than 26M bytes, a problem that is disadvantageous in terms of cost of the surface and the power consumption occurs. 特に、FPGA等のプログラマブルな専用ハードウェアに上記数1に示した式に基づく画像処理を実行させる場合、一般には、撮像装置の起動時等に、擬似逆行列パラメータだけでなく、回路データ(例えば1.4Mバイト程度)やその他の初期データも専用ハードウェア内のRAMにロードする必要がある。 In particular, the case of executing an image process based on the equation shown in Equation 1 to a programmable dedicated hardware such as FPGA, in general, such as during start-up of the image pickup device, not only the pseudo-inverse matrix parameters, circuit data (e.g. 1.4M about bytes) and other initial data also needs to be loaded into the RAM in the dedicated hardware. この場合、擬似逆行列パラメータを記憶するROMには回路データや初期データも記憶する必要が出てくるので、当該ROMに必要な容量は更に増大する。 In this case, since the ROM for storing the pseudo-inverse matrix parameters it becomes necessary to also store circuit data and the initial data, the capacity necessary for the ROM is further increased. したがって、コストの面や消費電力の面から擬似逆行列パラメータを記憶するROMの低容量化を図るために、擬似逆行列パラメータの記憶容量を削減することが強く望まれる。 Therefore, in order to reduce the capacity of the ROM for storing the pseudo-inverse matrix parameters in terms of cost of the surface and the power consumption, it is highly desirable to reduce the storage capacity of the pseudo-inverse parameter.

なお、擬似逆行列パラメータをROMに記憶するのではなく、例えば、疑似逆行列パラメータを求めるために取得した各受光素子iのサンプル縦偏光強度aviとサンプル横偏光強度ahiとをROMに記憶しておき、撮像装置内において各受光素子iの擬似逆行列パラメータを算出するという方法も考えられる。 Incidentally, instead of storing the pseudo-inverse matrix parameters in the ROM, for example, it stores the sample vertical polarization intensity avi and sample horizontal polarization intensity ahi of the light receiving elements i obtained in order to determine the pseudo-inverse matrix parameters in the ROM Place is also conceivable a method of calculating a pseudo inverse matrix parameters of the light receiving element i in the image pickup apparatus. この方法の場合、ROMに記憶するサンプル縦偏光強度aviとサンプル横偏光強度ahiの全記憶容量は、受光素子アレイの画素数(受光素子数)が480×752であり、1画素あたりのデータ量が4バイトであると、約2.9Mバイト程度となり、擬似逆行列パラメータの全容量(約26Mバイト)よりも大幅に少なくできる。 In this method, the total storage capacity of the sample vertical polarization intensity avi and sample horizontal polarization intensity ahi stored in ROM, the number of pixels of the photodetector array (number receiving element) is the 480 × 752, the data amount per pixel there If it is 4 bytes, it is approximately 2.9M bytes, it can be significantly less than the total volume of the pseudo-inverse matrix parameters (about 26M bytes). しかしながら、この方法では、すべての受光素子についての擬似逆行列パラメータを撮像装置内で演算する必要がある。 However, in this method, it is necessary to calculate a pseudo inverse matrix parameters for all the photodetectors in the imaging device. このような逆行列演算は、特殊な演算処理が必要となり、その演算処理を行うための専用装置を設けるのにコストがかかる上、演算処理の負荷が大きく、かえって消費電力の面で不利となるおそれがある。 Such inverse matrix operation, a special processing is required, it takes cost to provide a dedicated device for performing the calculation process, the load of the calculation processing is increased, a rather disadvantageous in terms of power consumption I fear there is.

本発明は、以上の背景に鑑みなされたものであり、その目的とするところは、光学フィルタを通じて撮像した撮像画像に対して画像処理を行って互いに異なった光学成分を抽出して光学成分抽出画像を生成する場合に必要となる演算パラメータのデータ量を少なくして、その演算パラメータを格納するメモリの低容量化を実現できる撮像装置を提供することである。 The present invention has been made in view of the above background, it is an object of the optical component extraction image by extracting an optical component that is different from each other by performing image processing on the captured image captured through an optical filter by reducing the data amount of the operation parameters necessary to generate a, it is to provide an imaging apparatus capable of realizing a reduction in capacitance of the memory for storing the operational parameters.

上記目的を達成するために、請求項1の発明は、互いに異なる光学成分を選択的に透過させる複数種類の選択フィルタ領域を周期的に配列した光学フィルタ、又は、1種類又は2種類以上の選択フィルタ領域及び入射光をそのまま透過させる非選択フィルタ領域を周期的に配列した光学フィルタを通じて、受光素子が2次元配置された受光素子アレイにより撮像領域からの光を受光し、該受光素子アレイ上の1つの受光素子又は2以上の受光素子群に対応する単位画素ごとの受光量に応じた画像信号を出力するものであって、上記光学フィルタに備わった複数種類のフィルタ領域を透過した各光の単位画素内における受光面積比率が偏るように構成された撮像手段と、該撮像手段から出力された画像信号に基づき単位画素及びその周辺画素 To achieve the above object, according to the invention in claim 1, an optical filter in which a plurality types of selective filter region that selectively transmits different optical components from each other periodically, or the selection of one or more kinds through the filter region and an optical filter unselected filter region are arranged periodically to directly transmit the incident light, and receives light from the imaging region by the light receiving element array in which the light-receiving elements are arranged two-dimensionally, on the light receiving element array It is one that outputs an image signal corresponding to the received light amount for each unit pixel corresponding to one light receiving element or two or more light receiving element group, each light transmitted through the plurality of filter regions that provided in the optical filter imaging means configured to receiving area ratio is biased in the unit pixel, based on the image signal outputted from the image pickup means, a unit pixel and its surrounding pixels 受光量から、該単位画素に応じた演算パラメータを用いて、該単位画素で受光された光に含まれる互いに異なった光学成分を演算する画像処理を実行する画像処理手段と、全単位画素に対応する演算パラメータを記憶するパラメータ記憶手段とを備えた撮像装置であって、上記撮像手段は、上記光学フィルタに備わった複数種類のフィルタ領域を透過した各光の単位画素内における受光面積比率が互いに等しい1種類又は2種類以上の共通単位画素が周期的に存在するように構成されており、上記画像処理手段は、同一種類の共通単位画素を複数含んだ互いに隣接する4つ以上の単位画素で構成される2以上の単位処理領域に区分し、同一の単位処理領域内における同一種類の共通単位画素については、同一の演算パラメータを用いて上記 From the light-receiving amount by using the operation parameter corresponding to the unit pixel, and an image processing means for executing image processing for calculating the different optical components to each other contained in the light received by the unit pixel, corresponding to all the unit pixels an imaging apparatus that includes a parameter storing means for storing operation parameters to said imaging means, the light receiving area ratio in the unit pixel of the light transmitted through a plurality of types of filter regions that provided in the optical filter to each other one or two or more common unit pixels equal are configured to reside periodically, the image processing means, including a plurality of common unit pixels of the same kind in more than three unit pixels adjacent to each other divided into two or more unit processing region composed, for common unit pixels of the same kind in the same unit processing region, using the same calculation parameters above 像処理を実行することを特徴とするものである。 It is characterized in executing the image processing.
また、請求項の発明は、請求項1の撮像装置において、上記光学フィルタは、複数種類のフィルタ領域をストライプ状に配列したものであることを特徴とするものである。 Further, the invention of claim 2, in the imaging apparatus according to claim 1, the optical filter is characterized in that is obtained by arranging a plurality of types of filter regions in stripes.
また、請求項の発明は、請求項の撮像装置において、上記受光素子アレイは、互いに直交する縦方向及び横方向に受光素子が等間隔で配列されたものであり、上記光学フィルタは、上記複数種類のフィルタ領域の長手方向が上記受光素子アレイの縦方向及び横方向のいずれにも傾斜するように構成されていることを特徴とするものである。 Further, the invention of claim 3, in the imaging apparatus according to claim 2, the light receiving element array, which light receiving elements are arranged at equal intervals in the vertical and horizontal directions orthogonal to each other, said optical filter, it is characterized in that the longitudinal direction of the plurality of types of filter regions are configured to be inclined in either the longitudinal and transverse directions of the light receiving element array.
また、請求項の発明は、請求項の撮像装置において、上記受光素子アレイの縦方向における受光素子間隔をnとし、横方向における受光素子間隔をmとしたとき、上記光学フィルタは、上記複数種類のフィルタ領域の縦方向長さNが下記の式(1)を満たし、該複数種類のフィルタ領域の横方向長さMが下記の式(2)を満たすように構成されていることを特徴とするものである。 Further, the invention of claim 4, in the imaging apparatus according to claim 3, the light receiving element spacing in the longitudinal direction of the light receiving element array is n, when the light receiving element spacing in the horizontal direction is m, the optical filter, the met longitudinal length N is below formula of a plurality of types of filter regions (1), that the lateral length M of the plurality several filter area is configured so as to satisfy the equation (2) below it is an feature.
N=A×n・・・(1) N = A × n ··· (1)
M=B×m・・・(2) M = B × m ··· (2)
ただし、A及びBは自然数であり、かつ、A≠Bを満たすものである。 However, A and B are natural numbers, and those satisfying the A ≠ B.
また、請求項の発明は、請求項の撮像装置において、上記式(1)中のAに対する上記式(2)中のBの比率が1/2又は2であることを特徴とするものである。 The invention of claim 5 is the imaging apparatus according to claim 4, which the ratio of B in the formula (2) with respect to A in the formula (1) is characterized in that it is a 1/2 or 2 it is.
また、請求項の発明は、請求項1乃至のいずれか1項に記載の撮像装置において、上記選択フィルタ領域は、所定の偏光成分を選択的に透過させる偏光フィルタで構成されていることを特徴とするものである。 Further, an invention according to claim 6, in the imaging apparatus according to any one of claims 1 to 5, the selective filter region, it is configured with polarization filter for selectively transmitting a predetermined polarization component the one in which the features.

本発明においては、撮像手段の光学フィルタに備わった複数種類のフィルタ領域を透過した各光束の単位画素内における受光面積比率が互いに等しい1種類又は2種類以上の共通単位画素が周期的に存在する。 In the present invention, the common unit pixels of one or more kinds light receiving area ratio are equal to each other in the unit pixel of the light beam transmitted through the plurality of filter regions that provided in the optical filter of the imaging means is present periodically . なお、ここでいう「フィルタ領域」とは、所定の光学成分を選択的に透過させる選択フィルタ領域だけでなく、入射光をそのまま透過させる非選択フィルタ領域を含む意味である。 Here, the "filter region" is not only selective filter region that selectively transmits a predetermined optical component, is intended to include non-selective filter region which directly transmits the incident light. また、ここでは、受光面積比率が同じもの同士を同一種類の共通単位画素としている。 Further, here, the light receiving area ratio is a common unit pixels of the same type to each other the same.
本発明者が鋭意研究したところ、受光面積比率が同じである同一種類の共通単位画素は、受光素子アレイ上で近接している画素同士であれば、その画像信号から出力画像情報の画素値を算出する画像処理で用いる演算パラメータが互いに近似しているという知見を得た。 The present inventor has conducted extensive studies, common unit pixels of the same type receiving area ratio is the same, if the pixel each other are close on the light-receiving element array, the pixel values ​​of the output image data from the image signal calculation parameters used by the image processing for calculating to obtain a finding that approximate one another. 本発明は、この知見に基づいてなされたものである。 The present invention has been accomplished based on this finding. すなわち、受光素子アレイ上の単位画素を、同一種類の共通単位画素を複数含んだ互いに隣接する4つ以上の単位画素で構成される2以上の単位処理領域に区分する。 That is, a unit pixel of the photodetector array, divided into two or more unit processing region composed of four or more unit pixels adjacent to the same type of common unit pixels each other including a plurality of. このように区分された単位処理領域内には、受光素子アレイ上で互いに近接した少なくとも2つの同一種類の共通単位画素が含まれる。 The thus segmented unit processing region includes a common unit pixels of at least two identical types are close to each other on the light-receiving element array. よって、これらの共通単位画素に対する画像処理で用いる演算パラメータは互いに近似したものである。 Therefore, calculation parameters used by the image processing for these common unit pixels is obtained by approximating each other. したがって、これらの共通単位画素の演算パラメータとして同一の演算パラメータを使い回しても、その演算誤差は許容範囲内に収めることができる。 Accordingly, by turning to use the same calculation parameters as the operation parameters for these common unit pixels, the calculation error can be kept within the allowable range. その結果、パラメータ記憶手段に記憶しておく演算パラメータの数が、すべての単位画素について演算パラメータをパラメータ記憶手段に記憶しておく場合と比較して、その使い回し分だけ少なくできる。 As a result, the number of operation parameters to be stored in the parameter storage means, operation parameters for all the unit pixels as compared to the case where stored in the parameter storage unit, can be reduced by that user turning amount.

以上、本発明によれば、光学フィルタを通じて撮像した撮像画像に対して画像処理を行って互いに異なった光学成分を抽出して光学成分抽出画像を生成する場合に必要となる演算パラメータのデータ量を少なくすることができるので、その演算パラメータを格納するメモリ(パラメータ記憶手段)の低容量化を実現できるという優れた効果が得られる。 As described above, according to the present invention, the data amount of the operation parameters necessary to generate a optical component extraction image by extracting an optical component that is different from each other by performing image processing on the captured image captured through an optical filter it is possible to reduce, excellent effect of realizing a low capacity memory (parameter memory means) for storing the operation parameters are obtained.

実施形態に係る運転者支援システムの機能ブロック図である。 It is a functional block diagram of a driver assistance system according to the embodiment. 同運転者支援システムにおける車両検出処理の概要を示すフローチャートである。 Is a flowchart showing the outline of a vehicle detection processing in the driver assistance system. 路面及び立体物を判別するための処理の流れを示すフローチャートである。 It is a flowchart showing a flow of processing for determining the road surface and three-dimensional object. 高速道路を走行している車両に搭載した偏光カメラにより撮像して得た差分偏光度画像を示したものである。 It shows the differential polarization degree image obtained by imaging by the polarization camera mounted on a vehicle traveling on a highway. 同差分偏光度画像について路面及び立体物の判別処理を施した後の画像を示したものである。 It shows the image after applying the discrimination processing of the road surface and three-dimensional object on the differential polarization degree image. 立体物領域であると判定された領域の中から車両候補領域を決定するためのフローチャートである。 Is a flow chart for determining the vehicle candidate region from the determined region as a three-dimensional object area. 同運転者支援システムに利用可能な偏光カメラの概略構成を示す説明図である。 It is an explanatory view showing a schematic configuration of a polarization camera for the driver assistance system. 同偏光カメラの光学フィルタと画像センサとを示す断面拡大図である。 It is a cross-sectional enlarged view showing the optical filter and the image sensor of the polarization camera. 同光学フィルタの偏光フィルタと画像センサ上の画素との対応関係を示す説明図である。 It is an explanatory diagram showing a correspondence relationship between pixels on the polarizing filter and the image sensor of the optical filter. 同画像センサ上の受光素子を単位処理領域ごとに区分する方法を説明するための説明図である。 It is an explanatory diagram for explaining a method for dividing a light receiving element on the same image sensor for each unit processing region. 一の単位処理領域における4種類の共通単位画素の分布を示す説明図である。 It is an explanatory diagram showing four types of distributions of common unit pixel in one unit processing region. (a)は、第1共通単位画素を注目画素として画像処理を行う際に用いられる3×3画素内の共通単位画素分布を示す説明図である。 (A) is an explanatory diagram showing a common unit pixel distribution of 3 × 3 in pixels to be used in image processing of the first common unit pixels as a pixel of interest. (b)は、第2共通単位画素を注目画素として画像処理を行う際に用いられる3×3画素内の共通単位画素分布を示す説明図である。 (B) is an explanatory diagram showing a common unit pixel distribution of 3 × 3 in pixels to be used in image processing and the second common unit pixels as a pixel of interest. (c)は、第3共通単位画素を注目画素として画像処理を行う際に用いられる3×3画素内の共通単位画素分布を示す説明図である。 (C) is an explanatory diagram showing a common unit pixel distribution of 3 × 3 in pixels to be used in image processing of the third common unit pixels as a pixel of interest. (d)は、第4共通単位画素を注目画素として画像処理を行う際に用いられる3×3画素内の共通単位画素分布を示す説明図である。 (D) is an explanatory diagram showing a common unit pixel distribution in the fourth common unit in 3 × 3 pixels to be used when the pixel for image processing as a pixel of interest a. 変形例1に係る光学フィルタと画像センサ上の画素との対応関係を示す説明図である。 It is an explanatory diagram showing a correspondence relationship between the pixel on the optical filter and the image sensor according to the first modification. 変形例1における一の単位処理領域に存在する6種類の共通単位画素の分布を示す説明図である。 Is an explanatory view showing the distribution of six common unit pixels existing in one unit processing region in the first modification. 変形例2に係る光学フィルタと画像センサ上の画素との対応関係を示す説明図である。 It is an explanatory diagram showing a correspondence relationship between the pixel on the optical filter and the image sensor according to a second modification. 変形例2における一の単位処理領域に存在する12種類の共通単位画素の分布を示す説明図である。 It is an explanatory diagram in a modified example 2 shows the distribution of 12 kinds of common unit pixels existing in one unit processing region. 実施例に係る偏光カメラの概略構成を示すブロック図である。 Is a block diagram showing the schematic configuration of the polarization camera according to the embodiment. 同偏光カメラに設けられた差分偏光度画像生成部の内部構成を示すブロック図である。 Is a block diagram showing the internal configuration of the polarization ratio image generating unit provided in the polarization camera. 同差分偏光度画像生成部に設けられたBRAMアドレス計算部の出力タイミングチャートである。 An output timing chart of the BRAM address calculation section provided in the differential polarization degree image generating unit. 同差分偏光度画像生成部に設けられた係数生成部の内部構成図である。 It is an internal block diagram of a coefficient generation unit provided in the differential polarization degree image generating unit. 実施例における単位処理領域の区分を示す説明図である。 It is an explanatory view showing a segment unit processing region in the embodiment. 擬似逆行列パラメータが格納される擬似逆行列パラメータ格納用BRAMのアドレスマップである。 An address map of the pseudo-inverse parameter storage BRAM pseudo inverse matrix parameters are stored. 同差分偏光度画像生成部に設けられた偏光分離処理部の内部構成図である。 It is an internal block diagram of a polarization separation section provided in the differential polarization degree image generating unit. 同差分偏光度画像生成部に設けられた差分偏光度計算部の内部構成図である。 It is an internal block diagram of a differential polarization degree calculation section provided in the differential polarization degree image generating unit. 同差分偏光度画像生成部に設けられた差分偏光度画像計算部の内部構成図である。 It is an internal block diagram of a differential polarization degree image calculation unit provided in the differential polarization degree image generating unit. 擬似逆行列パラメータが格納されたSPIフラッシュメモリのアドレスマップである。 Pseudo-inverse parameter is the address map of the SPI Flash memory stored. 同SPIフラッシュメモリのセクター24に格納される疑似逆行列パラメータのアドレスマップである。 An address map of the pseudo-inverse matrix parameters stored in the sector 24 of the SPI Flash memory. 同SPIフラッシュメモリのセクター25に格納される疑似逆行列パラメータのアドレスマップである。 An address map of the pseudo-inverse matrix parameters stored in the sector 25 of the SPI Flash memory. 同SPIフラッシュメモリのセクター26に格納される疑似逆行列パラメータのアドレスマップである。 An address map of the pseudo-inverse matrix parameters stored in the sector 26 of the SPI Flash memory. 光学フィルタの偏光フィルタと受光素子アレイの受光素子との対応関係を示す説明図である。 Is an explanatory diagram showing the correspondence between the polarizing filter of the optical filter and a light receiving element of the light receiving element array.

以下、本発明に係る撮像装置を、自車の運転者(ドライバー)の運転負荷を軽減させるための運転者支援システムに適用した一実施形態について説明する。 Hereinafter, an imaging apparatus according to the present invention, an embodiment applied to a driver assistance system for reducing the operation load of the vehicle driver (driver) is explained.
まず、本運転者支援システムにおける概略構成及び動作概要を説明する。 First, a schematic configuration and operation outline of the driver assistance system.
図1は、本実施形態に係る運転者支援システムの機能ブロック図である。 Figure 1 is a functional block diagram of a driver assistance system according to the present embodiment.
図2は、本実施形態の運転者支援システムにおける車両検出処理の概要を示すフローチャートである。 Figure 2 is a flowchart showing the outline of the vehicle detection process in driver assistance system of the present embodiment.
図示しない車両に搭載された撮像装置としての偏光カメラ10により、車両が走行する路面(移動面)を含む自車周囲の風景を撮影する(S1)。 The polarization camera 10 as an imaging device mounted on a vehicle (not shown), to photograph the vehicle surrounding landscape including road (movement plane) which the vehicle travels (S1). これにより、偏光カメラ10の受光素子1つに対応した単位画素(以下、単に「画素」という。)ごとの垂直偏光強度(以下「縦偏光強度」という。)及び水平偏光強度(以下「横偏光強度」という。)を得る(S2)。 Thus, the unit pixels corresponding to the light receiving element one polarization camera 10 (hereinafter, simply referred to as "pixels".) Each of the vertically polarized intensity (hereinafter referred to as "vertical polarization intensity".) And horizontal polarization intensity (the "horizontal polarization strength "hereinafter.) is obtained (S2). 本実施形態では、このようにして得られる各画素の縦偏光強度及び横偏光強度から、単位画素ごとに、差分偏光度を算出する(S3)。 In the present embodiment, the vertically polarized light intensity and the horizontal polarization intensity of each pixel thus obtained, for each unit pixel, and calculates the differential polarization degree (S3). この差分偏光度から、各画素の差分偏光度を画素値とした差分偏光度画像を生成することができる。 This differential polarization degree, the differential polarization degree of each pixel can generate differential polarization degree image pixel values.

差分偏光度は、下記の式(3)に示す計算式から求められる。 Differential polarization degree is determined from the formula shown in the following equation (3). すなわち、差分偏光度は、横偏光強度と縦偏光強度との合計値(輝度合計値)に対する横偏光強度と縦偏光強度との差分値(輝度差分値)の比率である。 That is, the polarization ratio is the ratio of the horizontally polarized light intensity and the total value of the vertical polarization intensity differential value between the horizontally polarized light intensity and the vertical polarization intensity for (brightness sum value) (luminance difference value). また、差分偏光度は、輝度合計値に対するP偏向強度の比率(横差分偏光度)と、輝度合計値に対するS偏向強度の比率(縦差分偏光度)との差分値であると言い換えることもできる。 Further, the polarization ratio is the ratio of P deflection strength for the luminance total value (horizontal differential polarization degree) can also be referred to as a difference value between the ratio of S deflecting strength (longitudinal differential polarization degree) with respect to the luminance sum value . なお、本実施形態では、横偏光強度から縦偏光強度を差し引く場合について説明するが、縦偏光強度から横偏光強度を差し引くようにしてもよい。 In the present embodiment, there will be described a case where the horizontally polarized light intensity subtracting the vertical polarization intensity, may be from the vertical polarization intensity as subtracting the horizontal polarization intensity.
差分偏光度=(横偏光強度−縦偏光強度)/(横偏光強度+縦偏光強度) ・・(3) Differential polarization degree = (horizontal polarization intensity - vertical polarization intensity) / (horizontal polarization intensity + vertical polarization intensity) .. (3)

本実施形態では、偏光カメラ10から差分偏光度画像のデータが出力され、この差分偏光度画像のデータが路面・立体物判別部21に入力される。 In the present embodiment, data of the differential polarization degree image from the polarization camera 10 is outputted, the data of the differential polarization degree image is input to the road-dimensional object judgment unit 21. 路面・立体物判別部21は、偏光カメラ10から出力された差分偏光度画像について、路面を映し出した画像領域と立体物を映し出した画像領域とを判別する(S4)。 Road-dimensional object judgment unit 21, the outputted differential polarization degree image from the polarization camera 10, determines the image region reflects the image area and the solid object that reflects the road surface (S4).
図3は、路面及び立体物を判別するための処理の流れを示すフローチャートである。 Figure 3 is a flowchart showing the flow of processing for determining the road surface and three-dimensional object.
路面・立体物判別部21は、偏光カメラ10から差分偏光度画像のデータを受け取ったら、まず、差分偏光度画像を2値化するための閾値を設定し(S41)、その閾値を用いて差分偏光度画像を2値化する(S42)。 Road-dimensional object judgment unit 21, when receiving the data of the differential polarization degree image from the polarization camera 10 first sets the threshold value for binarizing the differential polarization degree image (S41), using the threshold difference binarizing the polarization image (S42). 具体的には、所定の閾値以上の差分偏光度を有する画素に「1」、そうでない画素に「0」を割り振ることで、2値化画像を作成する。 Specifically, "1" to the pixel having a predetermined threshold value or more differential polarization degree, by assigning "0" to the pixel is not the case, to create a binary image. その後、この2値化画像において、「1」が割り振られた画素が近接している場合には、それらを1つの画像領域として認識するラベリング処理を実施する(S43)。 Thereafter, in the binary image, if "1" is allocated pixels are close, performing the recognizing labeling processes them as a single image region (S43). これによって、差分偏光度の高い近接した複数の画素の集合が1つの高差分偏光度領域として抽出される。 Thus, a set of a plurality of pixels proximate high differential polarization degree is extracted as one high differential polarization degree region. このようにして抽出した各高差分偏光度領域を、図示しない路面特徴データ記憶手段としての記憶部内に記憶されている路面の特徴データと照らし合わせ、路面の特徴データに合致した高差分偏光度領域を路面領域として抽出する(S44)。 Thus each high differential polarization degree region extracted by the comparing with the feature data of the road stored in the storage portion of the road feature data storage means (not shown), high differential polarization degree area that matches the characteristic data of the road surface It is extracted as the road area (S44). そして、このようにして抽出した路面領域の形状を、路面形状パターンと照らし合わせて推定し(S45)、路面領域の両端すなわち路端ラインを特定する。 Then, the way the shape of the road area extracted by estimates against the road surface shape pattern (S45), specifies both ends i.e. road-edge line of the road area. その後、抽出した路面領域以外の残りの画像領域を、立体物を映し出した立体物領域として抽出する(S46)。 Thereafter, the remaining image area other than the extracted road area is extracted as three-dimensional object area reflects the three-dimensional object (S46).

図4は、高速道路を走行している車両に搭載した偏光カメラ10により撮像して得た差分偏光度画像を示したものである。 Figure 4 shows the differential polarization degree image obtained by imaging the polarization camera 10 mounted on a vehicle traveling on a highway.
図5は、この差分偏光度画像について路面及び立体物の判別処理を施した後の画像を示したものである。 Figure 5 is a about the differential polarization degree image showing the image after applying the discrimination processing of the road surface and three-dimensional object.
図5に示す画像中の黒塗り部分の画像領域が路面領域として抽出された箇所である。 Image area of ​​the black portion in the image shown in FIG. 5 is a portion extracted as the road area. また、図5に示す画像中の点線で示すラインが路端ラインである。 Further, the line indicated by the dotted line in the image shown in FIG. 5 is a road-edge line.

車両候補領域決定部22は、車両の窓ガラスからの光が有する差分偏光度の特徴を利用して、上記S46において立体物領域であると判定された領域の中から、車両候補領域を決定する(S5)。 Vehicle candidate region determination part 22 uses the differential polarization degree characteristic of having the light from the window glass of the vehicle, from among the determined region as a three-dimensional object area in the S46, determines the vehicle candidate region (S5).
図6は、立体物領域であると判定された領域の中から車両候補領域を決定するためのフローチャートである。 Figure 6 is a flow chart for determining the vehicle candidate region from the determined region as a three-dimensional object area.
車両候補領域決定部22は、路面・立体物判別部21において判定された各立体物領域に対して、その差分偏光度が所定の閾値以上であるか否か(所定の数値範囲内であるか否か)を判断し、差分偏光度が所定の閾値以上である立体物領域を検知する(S51)。 Whether the vehicle candidate region determining part 22, for each three-dimensional object region determined in the road surface, the three-dimensional object discriminating section 21, the differential polarization degree is in whether (predetermined numerical range is above a predetermined threshold value It determines whether) differential polarization degree detects a three-dimensional object area is not less than a predetermined threshold value (S51). 次に、このようにして検知した立体物領域の面積が、車両の窓ガラスに対応する面積範囲内であるか否かをチェックする(S52)。 Then, the area of ​​the three-dimensional object area has been detected in this way, to check whether it is within the area range corresponding to the window glass of the vehicle (S52). そして、このチェックを通った立体物領域に対し、車両の窓ガラスに対応する形状を有するかどうかをチェックして、このチェックも通った立体物領域を、車両後方領域として決定する(S53)。 Then, with respect to the three-dimensional object area through this check, to check whether it has a shape corresponding to the window glass of a vehicle, a three-dimensional object area through Again check, is determined as a vehicle rear area (S53).

車両識別部23は、車両特徴量パターン記憶部24に記憶された車両特徴量パターンによるバターンマッチング手法により、上記車両候補領域決定部22が決定した車両候補領域が車両領域であるか否かを識別する。 Vehicle identification unit 23, the Bataan matching technique by the vehicle feature amount pattern stored in the vehicle feature amount pattern memory unit 24, the vehicle candidate region in which the vehicle candidate region determination part 22 has determined that the identification whether the vehicle area to. このバターンマッチング手法は、公知のものを広く利用できる。 The Bataan matching method is widely utilized a known.

本実施形態では、例えば、CRTや液晶等で構成される車内の情報報知手段である表示部(ディスプレイ)25に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ輝度画像(フロントビュー画像)を表示し、その画像中の他車を映し出している領域を示す情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する。 In the present embodiment, for example, the display unit is a vehicle information notification means constituted by CRT or liquid crystal or the like (display) 25, a monochrome luminance image (front generated by using the luminance data calculated by the monochrome image processing unit display view image), information indicating a region that reflects the other vehicle in the image, in order to inform as useful information for the driver, the driver is displayed in easy-to-see display form. これによれば、例えば、運転者が目視で他車を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、自車と他車との相対位置関係を把握することができ、他車に衝突することなく安全に走行することが容易になる。 According to this, for example, even under the difficult conditions that the driver recognizes the other vehicle visually, the driver is able to see the front view image of the display unit, relative to the vehicle and the other vehicle positional relationship can be grasped, it is easy to safely travel without colliding with the other vehicle.

また、本実施形態の車両制御部26は、例えば、車両識別部23により識別された車両領域の位置情報から、自車と他車との相対位置関係を把握する処理を行い、自車が他車に近づいて走行していないかどうかを判断し、他車に近づいたときに警報音等を発する処理を行う。 The vehicle control unit 26 of the present embodiment, for example, from the position information of the vehicle regions identified by the vehicle identification unit 23 performs a process of grasping the relative positional relationship between the vehicle and the other vehicle, the vehicle other to determine whether or not the vehicle is traveling close to the car, it performs a process of issuing a warning sound or the like when close to other vehicles. あるいは、他車に近づいたときに、自動ブレーキ機能を実行して、自車の走行速度を落とすような処理を行ってもよい。 Alternatively, when approaching the other vehicle, and performs automatic braking function may perform processing such as decreasing the traveling speed of the vehicle.

以下、本発明の特徴部分である偏光カメラ10の構成及び動作について詳述する。 Hereinafter, detailed configuration and operation of the polarization camera 10, which is a feature of the present invention.
図7は、本実施形態における偏光カメラ10の概略構成を示す説明図である。 Figure 7 is an explanatory diagram showing the schematic configuration of the polarization camera 10 in this embodiment.
この偏光カメラ10は、主に、撮像レンズ1と、光学フィルタ2と、受光素子が2次元配置された受光素子アレイを有する画像センサ4が搭載されたセンサ基板3と、センサ基板3から出力されるアナログ電気信号(画像センサ4上の各受光素子が受光した受光量)をデジタル電気信号に変換するA/D変換部5と、A/D変換部5から出力されるデジタル電気信号(画素データ)に対して画像処理を行って差分偏光度画像のデータを生成して出力する信号処理部6とから構成されている。 The polarization camera 10 mainly includes an imaging lens 1, an optical filter 2, the sensor substrate 3 of the image sensor 4 is mounted with a light receiving element array in which the light-receiving elements are arranged two-dimensionally, is output from the sensor substrate 3 that analog electrical signal (received light amount each light receiving element on the image sensor 4 has received) and a / D converter 5 for converting the digital electrical signal, a digital electrical signal (pixel data output from the a / D converter 5 performing image processing and a signal processing unit 6 for generating and outputting data of the polarization ratio image to). 被写体(被検物)を含む撮像領域からの光は、撮像レンズ1を通り、光学フィルタ2を透過して、画像センサ4でその光強度に応じた電気信号に変換される。 Light from an imaging region including the object (specimen) passes through the imaging lens 1, passes through the optical filter 2 and converted into an electrical signal corresponding to the light intensity in the image sensor 4. A/D変換部5では、画像センサ4から出力される電気信号(アナログ信号)が入力されると、その電気信号から、画素データとして、画像センサ4上における各画素の受光量を示すデジタル信号を、画像の垂直同期信号及び水平同期信号とともに信号処理部6へ出力する。 The A / D converter 5, the electric signal output from the image sensor 4 (analog signal) is input from the electrical signal, as pixel data, a digital signal indicating the amount of light received by each pixel in the image sensor on the 4 and outputs to the signal processing unit 6 with the vertical synchronizing signal and a horizontal synchronizing signal of the image.

図8は、光学フィルタ2と画像センサ4とを示す断面拡大図である。 Figure 8 is an enlarged sectional view showing an optical filter 2 and the image sensor 4.
画像センサ4は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Image sensor 4, CCD (Charge Coupled Device) or CMOS (Complementary Metal
Oxide Semiconductor)などを用いたイメージセンサであり、その受光素子にはフォトダイオード4aを用いている。 Oxide Semiconductor) is an image sensor using like, in the light receiving element is a photodiode 4a. フォトダイオード4aは、画素ごとに2次元的にアレイ配置されており、フォトダイオード4aの集光効率を上げるために、各フォトダイオード4aの入射側にはマイクロレンズ4bが設けられている。 Photodiode 4a is two-dimensionally arrayed in each pixel, in order to improve the light collection efficiency of the photodiode 4a, a microlens 4b is provided on the entrance side of each photodiode 4a. この画像センサ4がワイヤボンディングなどの手法によりPWB(printed wiring board)に接合されてセンサ基板3が形成されている。 The image sensor 4 is PWB (printed wiring board) is bonded to the sensor substrate 3 is formed by a technique such as wire bonding. 撮像する画像の波長範囲は略可視光であるため、画像センサ4としては、可視光の範囲に感度を有するものを選択すればよい。 Since the wavelength range of the image to be captured is substantially visible light, the image sensor 4 may be selected to have a sensitivity in the range of visible light. 本実施形態の画像センサ4は、互いに直交する縦方向及び横方向に等間隔で配列された480×752の受光素子(フォトダイオード4a)を有効画素とする構成であり、1個のフォトダイオード4aを単位画素とする。 Image sensor 4 of this embodiment, a structure in which the effective pixel light-receiving elements in the vertical direction and the transverse direction are arranged at equal intervals a 480 × 752 (photodiode 4a) perpendicular to each other, one photodiode 4a It is referred to as unit pixels.

画像センサ4のマイクロレンズ4b側の面には、光学フィルタ2が近接配置されている。 The surface of the microlens 4b side of the image sensor 4, the optical filter 2 is arranged close. 光学フィルタ2の画像センサ4側の面には、図9に示すように、光をそのまま透過する非選択フィルタ領域である透過領域2aと、横偏光成分のみを選択的に透過させる選択フィルタ領域としての横偏光フィルタ領域2bとが、画像センサ4の縦方向(図中y方向)及び横方向(図中x方向)のいずれにも傾斜するように交互配置されたストライプ状の領域分割パターンを有している。 The surface of the image sensor 4 side of the optical filter 2, as shown in FIG. 9, the transmissive region 2a is a non-selective filter region which directly transmits the light, as the selection filter region that selectively transmits only horizontally polarized light component Yes and the horizontal polarization filter region 2b is a longitudinal direction (in the figure the y-direction) and transverse stripe area division patterns that are alternately arranged so as also to tilt in any direction (x direction in the drawing) of the image sensor 4 are doing. 具体的には、画像センサ4の縦方向における画素間隔(フォトダイオード4aの中心間距離)をnとし、横方向における画素間隔をmとしたとき、透過領域2a及び横偏光フィルタ領域2bの縦方向長さNが下記の式(1)を満たし、透過領域2a及び横偏光フィルタ領域2bの横方向長さMが下記の式(2)を満たすように、光学フィルタ2が構成されている。 Specifically, pixels in the vertical direction of the image sensor 4 interval (distance between centers of the photodiode 4a) is n, when the pixel spacing in the horizontal direction is m, the vertical direction of the transmissive region 2a and horizontal polarization filter region 2b length N satisfies the equation (1) below, lateral length M of the transparent regions 2a and horizontal polarization filter region 2b is to satisfy equation (2) below, the optical filter 2 is configured. 本実施形態の光学フィルタ2は、図9に示すように、A=1、B=2の例(すなわち、B/A=2の例)である。 The optical filter 2 of the present embodiment, as shown in FIG. 9, an example of A = 1, B = 2 (i.e., Examples of B / A = 2).
N = A × n ・・・(1) N = A × n ··· (1)
M = B × m ・・・(2) M = B × m ··· (2)

本実施形態においては、図9に示すように、光学フィルタ2に備わった2種類のフィルタ領域(透過領域2aと横偏光フィルタ領域2b)を透過した各光の1画素内における受光面積の比率が互いに等しい4種類の共通単位画素が周期的に存在するように構成される。 In the present embodiment, as shown in FIG. 9, the ratio of light receiving area within one pixel of each light transmitted through the two types of filter regions provided in the optical filter 2 (transmitting region 2a and the horizontal polarization filter region 2b) configured together equal 4 kinds of common unit pixels exist periodically.
具体的に説明すると、第1共通単位画素は、図9に示す画素番号1の画素のように、当該画素の右上隅の小領域で横偏光フィルタ領域2bを透過した横偏光成分を受光するとともに、残りの大領域で透過領域2aを透過した非偏光の光を受光するパターンの画素である。 Specifically, the first common unit pixel, as the pixel the pixel number 1 shown in FIG. 9, as well as receiving the horizontally polarized light component transmitted through the horizontal polarization filter region 2b in the small area in the upper right corner of the pixel a pixel pattern for receiving unpolarized light transmitted through the transparent regions 2a in the remaining large areas.
第2共通単位画素は、図9に示す画素番号2の画素のように、当該画素の左下隅の小領域で透過領域2aを透過した非偏光の光を受光するとともに、残りの大領域で横偏光フィルタ領域2bを透過した横偏光成分を受光するパターンの画素である。 Second common unit pixels, as the pixels pixel number 2 shown in FIG. 9, as well as receiving the unpolarized light transmitted through the transparent regions 2a in the lower left corner of the small area of ​​the pixel, horizontal in the rest of the large region the horizontally polarized light component transmitted through the polarization filter region 2b is a pixel of a pattern to be received.
第3共通単位画素は、図9に示す画素番号3の画素のように、当該画素の右上隅の小領域で透過領域2aを透過した非偏光の光を受光するとともに、残りの大領域で横偏光フィルタ領域2bを透過した横偏光成分を受光するパターンの画素である。 The third common unit pixels, as the pixels of the pixel number 3 shown in FIG. 9, as well as receiving the unpolarized light in a small area of ​​the upper right corner has been transmitted through the transmissive region 2a of the pixel, horizontal in the rest of the large region the horizontally polarized light component transmitted through the polarization filter region 2b is a pixel of a pattern to be received.
第4共通単位画素は、図9に示す画素番号5の画素のように、当該画素の左下隅の小領域で横偏光フィルタ領域2bを透過した横偏光成分を受光するとともに、残りの大領域で透過領域2aを透過した非偏光の光を受光するパターンの画素である。 The fourth common unit pixels, as the pixels of the pixel number 5 shown in FIG. 9, as well as receiving the horizontally polarized light component transmitted through the horizontal polarization filter region 2b in the lower left corner of the small area of ​​the pixel, the remaining large region the light transmitted through the transmitting region 2a unpolarized light is a pixel of a pattern to be received.

本実施形態の偏光カメラ10の信号処理部6では、A/D変換部5から出力される画素データと疑似逆行列パラメータとを用いて、注目画素(図9中の画素番号5)の縦偏光成分Vと横偏光成分Hを、下記の数3に示す式より算出する。 In the signal processing unit 6 of the polarization camera 10 of the present embodiment, by using the pixel data and the pseudo inverse matrix parameter output from the A / D converter 5, the vertical polarization of the pixel of interest (pixel number 5 in FIG. 9) the component V and the horizontal polarization component H, is calculated from the formula shown in formula 3 below. すなわち、本実施形態では、注目画素5の縦偏光成分Vと横偏光成分Hを、当該注目画素5の画素データI5だけでなく、その注目画素5の周囲を取り囲む8つの周辺画素1〜4,6〜9の画素データI1〜I4,I6〜I9も用いて算出する。 That is, in this embodiment, the vertical polarization component V and the horizontal polarization component H of the target pixel 5, not only the pixel data I5 of the target pixel 5, eight peripheral pixels 1-4 surrounding the target pixel 5, 6-9 of pixel data I1 to I4, is calculated by using also I6~I9. この算出に必要な疑似逆行列パラメータは、予め求めておいて後述するパラメータ記憶手段としてのSPIフラッシュメモリに格納されているものを用いる。 The pseudo-inverse matrix parameters required for calculation, use those stored in the SPI flash memory as a parameter storage means for later determined in advance.

本実施形態の信号処理部6が実行する画像処理においては、画像センサ4の有効画素(480×752)について、図10に示すように、縦を30等分し、横を47等分して、16×16画素で構成される1410個の単位処理領域に区分して、注目画素5の縦偏光成分Vと横偏光成分Hを上記数3に示す式より算出する演算処理を行う。 In the image processing by the signal processing unit 6 of the present embodiment is executed, the effective pixels of the image sensor 4 (480 × 752), as shown in FIG. 10, the vertical 30 equal parts, and lateral 47 equal parts , and divided into 1410 pieces of unit processing region composed of 16 × 16 pixels, the vertical polarization component V and the horizontal polarization component H of the pixel of interest 5 performs calculation process of calculating the equation shown in equation 3. このように区分すると、各単位処理領域には、上述した4種類の共通単位画素それぞれについて、同一種類の共通単位画素が2つ以上存在する。 With such a division, each unit processing region, for each of the common unit pixels of four types described above, the common unit pixels of the same kind there are two or more.

図11は、一の単位処理領域における4種類の共通単位画素の分布を示す説明図である。 Figure 11 is an explanatory view showing the distribution of four types of common unit pixel in one unit processing region.
図12(a)〜(d)は、4種類の共通単位画素それぞれを注目画素とした場合において、その画像処理に用いられる3×3画素内における4種類の共通単位画素の分布を示す説明図である。 Figure 12 (a) ~ (d), in case of the pixel of interest respectively four common unit pixels, explanatory view showing the distribution of four types of common unit pixels in 3 × 3 in pixels used in the image processing it is.
4種類の共通単位画素について、第1共通単位画素を丸付き数字1で示し、第2共通単位画素を丸付き数字2で示し、第3共通単位画素を丸付き数字3で示し、第4共通単位画素を丸付き数字4で示すと、図9に示すように構成された光学フィルタ2の場合、各単位処理領域内の共通単位画素分布は、図11に示すようになる。 The four common unit pixels, the first common unit pixel shown by circled numeral 1, the second common unit pixels shown by circled numeral 2 indicates a third common unit pixels by circled numeral 3, a fourth common when showing a unit pixel by circled numeral 4, when the optical filter 2 configured as shown in FIG. 9, the common unit pixel distribution of each unit processing region is as shown in FIG. 11. このような分布においては、第1共通単位画素を注目画素とした画像処理に用いられる3×3画素内における4種類の共通単位画素の分布は、当該単位処理領域内のどの第1共通単位画素についても、図12(a)のようになる。 In such distribution, the distribution of the four types of common unit pixels in 3 × 3 in pixels used in image processing and target pixel of the first common unit pixel, which first common unit pixels of the unit processing region for also becomes as shown in FIG. 12 (a). すなわち、第1共通単位画素を注目画素とした場合、その3×3画素の共通単位画素分布は一意に決まる。 That is, when the target pixel of the first common unit pixel, the common unit pixel distribution of the 3 × 3 pixels is uniquely determined.

同様に、第2共通単位画素を注目画素とした場合、その3×3画素の共通単位画素分布も、図12(b)に示すように、一意に決まる。 Similarly, when the pixel of interest and the second common unit pixels, also common unit pixel distribution of the 3 × 3 pixels, as shown in FIG. 12 (b), is uniquely determined.
また、第3共通単位画素を注目画素とした場合、その3×3画素の共通単位画素分布も、図12(c)に示すように、一意に決まる。 In addition, when the target pixel a third common unit pixels, also common unit pixel distribution of the 3 × 3 pixels, as shown in FIG. 12 (c), is uniquely determined.
また、第4共通単位画素を注目画素とした場合、その3×3画素の共通単位画素分布も、図12(d)に示すように、一意に決まる。 In addition, when the target pixel a fourth common unit pixels, also common unit pixel distribution of the 3 × 3 pixels, as shown in FIG. 12 (d), is uniquely determined.

本発明者が鋭意研究したところ、受光面積比率が同じである同一種類の共通単位画素については、画像センサ4上で近接している画素同士であれば、その画像処理で用いる疑似逆行列パラメータ(演算パラメータ)が互いに近似するという知見を得た。 The present inventor has conducted intensive studies for common unit pixels of the same type receiving area ratio is the same, if the pixels to which are close on the image sensor 4, a pseudo inverse matrix used in the image processing parameters ( operation parameter) to obtain a finding that close to each other. 特に、受光面積比率だけでなく、透過領域2a及び横偏光フィルタ領域2bを透過した各光の画素内における受光位置までも同じであるものを同一種類の共通単位画素とすれば、疑似逆行列パラメータの近似性はより高まる。 In particular, the light receiving area ratio as well, if the common unit pixels of the same kind of thing is the same to the light receiving position in the transmission region 2a and horizontal polarization filter region 2b each light in the pixel that has passed through the pseudo inverse matrix parameters closeness is enhanced more of. よって、互いに近接して位置する同一種類の共通単位画素の疑似逆行列パラメータとして、同じ疑似逆行列パラメータを使い回しても、その演算誤差は許容範囲内に収めることができる。 Therefore, as a pseudo-inverse matrix parameters of the common unit pixels of the same type that are located close to each other, by turning use the same pseudo-inverse matrix parameters, the calculation error can be kept within the allowable range.

そこで、本実施形態においては、画像センサ4上における480×752の有効画素を、互いに隣接する16×16画素で構成された1410個の単位処理領域に区分することとしている。 Therefore, in this embodiment, the effective pixels 480 × 752 in the image sensor on 4, and be divided into 1410 pieces of unit processing area constituted by neighboring 16 × 16 pixels from one another. この区分数は、許容する演算誤差に応じて適宜設定されるものである。 The number of segments is intended to be set appropriately in accordance with the calculation error tolerated. すなわち、同一種類の共通単位画素であっても、互いの距離が遠くなればなるほど近似性が低下するので、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素の範囲を、演算誤差が許容範囲に収まるほどの近似性が得られる距離に位置する範囲内に制限するように、その区分数を設定する。 That is, even common unit pixels of the same kind, since the more closeness if distant distance therebetween is decreased, the range of the common unit pixels of the same type turn use the same pseudo-inverse matrix parameters, calculation error is acceptable as closeness enough to fit range is limited within the range located at a distance obtained, and sets the number of segments.

この区分数を多くすればするほど、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素に対応する本来の疑似逆行列パラメータの近似性が高いので、より小さな演算誤差で済むが、必要となる疑似逆行列パラメータの数(データ量)は増えることになる。 The more you many this indicator number, because of the high similarity of the original pseudo-inverse matrix parameters corresponding to the common unit pixels of the same type turn use the same pseudo-inverse matrix parameters, but requires a smaller calculation error, it requires comprising the number of pseudo-inverse matrix parameters (amount of data) will be increased.
具体例を挙げると、本実施形態の場合、1つの疑似逆行列パラメータの要素数が18個で、その1要素あたりのデータ量が4バイトであるので、疑似逆行列パラメータ1個あたりのデータ量は72バイトである。 Specific examples, in the present embodiment, in the 18 number of elements one pseudo inverse matrix parameters, since the data amount per Part 1 elements is 4 bytes, the data amount per one pseudo inverse matrix parameters is 72 bytes. 本実施形態のように1410個の単位処理領域に区分する場合、各単位処理領域それぞれで4つの疑似逆行列パラメータを使い回すことになるので、全体で4×1410=5640個の疑似逆行列パラメータが必要となる。 If divided into 1410 pieces of unit processing region as in this embodiment, it means that reused four pseudo inverse matrix parameters in each of the unit processing regions, a total of 4 × 1410 = 5640 or pseudo inverse matrix parameters Is required. したがって、疑似逆行列パラメータの全データ量は406080バイト(約0.4Mバイト)となる。 Thus, the total data amount of the pseudo-inverse matrix parameter becomes 406,080 bytes (approximately 0.4M bytes). これに対し、1つの単位処理領域が8×8画素で構成されるように区分すると、その区分数は5640個となり、全体で4×5640=22560個の疑似逆行列パラメータが必要となる。 In contrast, when the partitioning as one unit processing region is constituted by 8 × 8 pixels, the division number becomes 5640 pieces, total 4 × 5640 = 22560 pieces of pseudo inverse matrix parameters are required. この場合、疑似逆行列パラメータの全データ量は1624320バイト(約1.6Mバイト)となる。 In this case, the total data amount of the pseudo-inverse matrix parameter becomes 1624320 bytes (approximately 1.6M bytes).
なお、逆に、演算誤差に余裕がある場合には、区分数を減らして、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素の数を増やし、疑似逆行列パラメータの数(データ量)を更に減らすようにしてもよい。 Incidentally, on the contrary, when there is a margin in the calculation error is, by reducing the number of division, to increase the number of common unit pixels of the same type turn use the same pseudo-inverse matrix parameters, the number of pseudo-inverse matrix parameters (amount of data) it may be further reduced.

すべての画素について個別に疑似逆行列パラメータを用意する場合には、全疑似逆行列パラメータのデータ量が約26Mバイトにもなり、疑似逆行列パラメータを格納しておくメモリとして、26Mバイト以上の大容量メモリが必要であったところ、本実施形態によれば、全疑似逆行列パラメータのデータ量を約0.4Mバイトにまで低減できるので、低消費電力である安価な小容量メモリで済む。 If it has a separate pseudo-inverse matrix parameters for all the pixels, becomes the data amount of about 26M bytes of all pseudo-inverse matrix parameters, as a memory for storing a pseudo-inverse matrix parameters, 26M byte or more large where there is capacity memory was required, according to this embodiment, since it is possible to reduce the data amount of all pseudo-inverse matrix parameters to about 0.4M bytes, it requires only inexpensive small capacity memory is low power consumption.

本実施形態においては、疑似逆行列パラメータの1要素あたりのデータ量を例えば1バイトに減らしてもよい。 In the present embodiment may reduce the amount of data per one element of the pseudo-inverse matrix parameter for example 1 byte. この場合、疑似逆行列パラメータの全データ量は、更に101520バイト(約0.1Mバイト)にまで低減することができる。 In this case, the total data amount of the pseudo-inverse matrix parameters may be reduced to further 101,520 bytes (approximately 0.1M bytes).
特に、本実施形態においては、各単位処理領域で使い回す4種類の擬似逆行列パラメータは、その単位処理領域を構成する16×16画素のすべてについて求めた擬似逆行列パラメータの和をとり、その絶対値が一番大きい要素の絶対値が127となるように規格化してもよい。 Particularly, in the present embodiment, the pseudo-inverse matrix parameters four types reused in each unit processing region takes the sum of the pseudo-inverse matrix parameters obtained for all the 16 × 16 pixels constituting the unit processing region, the it may be normalized such that the absolute value of the absolute value of the largest element is 127. この規格化すると、疑似逆行列パラメータの1要素あたりのデータ量が1バイトとなるが、このようにデータ量を減らしても、計算精度の良好な差分偏光度が算出できる。 With this normalization, the data amount per one element of the pseudo inverse matrix parameter is one byte, be thus reduce the amount of data, good differential polarization degree of calculation accuracy can be calculated.

本実施形態では、光学フィルタ2の各フィルタ領域2a,2bの配列パターン(領域分割パターン)が、縦に480画素、横に752画素の有効画素で構成される画像センサ4に対し、横に2画素分、縦に1画素分の傾きを有するストライプ状のパターンである例について説明したが、横に1画素分、縦に2画素分の傾きを有するストライプ状のパターンであっても同じである。 In this embodiment, each filter region 2a of the optical filter 2, 2b arrangement pattern (area division pattern), vertically 480 pixels, the image sensor 4 consists of effective pixels of the 752 pixels in the horizontal, the horizontal 2 pixels, an example has been described is a pattern of stripes having a slope of one pixel vertically, one pixel in the horizontal, the same even pattern of stripes having an inclination of 2 pixels in the vertical . この傾きは、適宜設定され、例えば傾きを1に設定してもよい。 The inclination is set appropriately, for example, it may be set to tilt to one.

〔変形例1〕 Modification 1]
図13は、各フィルタ領域2a,2bの傾きが1/3となるように構成された変形例1に係る光学フィルタ2と画像センサ4の画素との対応関係を示す説明図である。 Figure 13 is an explanatory diagram showing a correspondence relationship between the pixel of each filter region 2a, the optical filter 2 and the image sensor 4 according to Modification 1 constructed as 2b inclination of is 1/3.
図14は、本変形例1における一の単位処理領域に存在する6種類の共通単位画素の分布を示す説明図である。 Figure 14 is an explanatory view showing the distribution of six common unit pixels existing in one unit processing region in the first modification.
本変形例1の光学フィルタのように各フィルタ領域2a,2bの傾きが1/3となるように構成されている場合、全体で6種類の共通単位画素が存在することになり、その分布は図14に示すものを繰り返したものとなる。 Each filter region 2a as the optical filter of the first modification, if 2b inclination of is configured to be 1/3, results in the presence of a common unit pixel total of six, the distribution a a repeat of that shown in FIG. 14. 本変形例1では、共通単位画素の種類が6種類であることを考慮して、一の単位処理領域を6×6画素で構成した。 In this modified example 1, taking into account that the type of the common unit pixels is six, and constitute one unit processing region 6 × 6 pixels. この場合、その区分数はおよそ10080個となるので、全体で6×10080=60480個の疑似逆行列パラメータが必要となる。 In this case, because the number of sections is approximately 10080 pieces, total 6 × 10080 = 60480 pieces of pseudo inverse matrix parameters are required. よって、疑似逆行列パラメータ1個あたりのデータ量を18バイトであるとすると、疑似逆行列パラメータの全データ量は1088640バイト(約1.1Mバイト)となる。 Therefore, when the amount of data per pseudo inverse matrix parameters and is 18 bytes, the total data amount of the pseudo-inverse matrix parameter becomes 1,088,640 bytes (approximately 1.1M bytes). なお、傾きが3である場合も同様である。 The same applies when the inclination is 3.

〔変形例2〕 Modification 2]
図15は、各フィルタ領域2a,2bの傾きが2/3となるように構成された変形例2に係る光学フィルタ2と画像センサ4の画素との対応関係を示す説明図である。 Figure 15 is an explanatory diagram showing a correspondence relationship between the pixel of each filter region 2a, the optical filter 2 and the image sensor 4 2b slope of according to the second modification which is configured to be 2/3.
図16は、本変形例2における一の単位処理領域に存在する12種類の共通単位画素の分布を示す説明図である。 Figure 16 is an explanatory diagram showing a distribution of 12 kinds of common unit pixels existing in one unit processing region in the second modification.
本変形例2の光学フィルタのように各フィルタ領域2a,2bの傾きが2/3となるように構成されている場合、全体で12種類の共通単位画素が存在することになる。 If each filter region 2a as the optical filter of the second modification, the inclination of 2b is configured to be 2/3, there will be a common unit pixel total of 12 types. 本変形例2では、共通単位画素の種類が12種類であることを考慮して、一の単位処理領域を8×8画素で構成した。 In this modified example 2, taking into account that the type of the common unit pixels is 12 kinds, and forms one unit processing region in 8 × 8 pixels. この場合、その区分数は5640個となるので、全体で12×5640=67680個の疑似逆行列パラメータが必要となる。 In this case, since the division number becomes 5640 pieces, a total of 12 × 5640 = 67.68 thousand pieces of pseudo inverse matrix parameters are required. よって、疑似逆行列パラメータ1個あたりのデータ量を18バイトであるとすると、疑似逆行列パラメータの全データ量は1218240バイト(約1.2Mバイト)となる。 Therefore, when the amount of data per pseudo inverse matrix parameters and is 18 bytes, the total data amount of the pseudo-inverse matrix parameter becomes 1,218,240 bytes (approximately 1.2M bytes).

本実施形態(各変形例を含む。以下同じ。)においては、光学フィルタ2に備わった複数種類のフィルタ領域が、光をそのまま透過する透過領域2aと横偏光成分のみを選択的に透過させる横偏光フィルタ領域2bとである場合であったが、これに限られるものではない。 In the present embodiment (the modifications including examples. Hereinafter the same.), A plurality of types of filter regions that provided in the optical filter 2 selectively transmits only the transmissive region 2a and the horizontally polarized light component is transmitted through the light lateral It was when there in the polarization filter region 2b, but not limited thereto. 例えば、光をそのまま透過する透過領域と縦偏光成分のみを選択的に透過させる縦偏光フィルタ領域とである場合や、縦偏光成分のみを選択的に透過させる縦偏光フィルタ領域と横偏光成分のみを選択的に透過させる横偏光フィルタ領域とである場合でも、同様の演算精度で差分偏光度画像を得ることができる。 For example, when there in the vertical polarization filter region that selectively transmits only the transmission area and the vertical polarization component which is transmitted through the light, only the vertical polarization filter region and the horizontally polarized light component that selectively transmits only vertically polarized light components even if there in the horizontal polarization filter region for selectively transmitting, it is possible to obtain a differential polarization degree image in the same operation precision.
また、本実施形態においては、光学フィルタ2に備わった複数種類のフィルタ領域が画像センサ4の縦方向及び横方向のいずれにも傾斜するように構成されたものであったが、画像センサ4の縦方向及び横方向のいずれか一方に平行である構成としてもよい。 In the present embodiment, although a plurality of types of filter regions that provided in the optical filter 2 were those configured to be inclined in either the longitudinal and transverse direction of the image sensor 4, the image sensor 4 in one of longitudinal and transverse directions may be configured parallel. ただし、この場合には、各フィルタ領域を透過した両方の光が1つの画素内で受光されるように構成する。 However, in this case, it is configured to light both transmitted through each filter region is received within one pixel.

〔実施例〕 〔Example〕
以下、本発明の実施例について説明する。 Hereinafter, a description will be given of an embodiment of the present invention.
図17は、本実施例に係る偏光カメラ10の概略構成を示すブロック図である。 Figure 17 is a block diagram showing the schematic configuration of the polarization camera 10 according to this embodiment.
画像センサ4から出力される各画素の受光量に応じたアナログ電気信号は、A/D変換部5でデジタル信号である画素データに変換され、その画素データは垂直同期信号及び水平同期信号とともに信号処理部6へ順次出力する。 Analog electric signal corresponding to the received light intensity of each pixel output from the image sensor 4 is converted into pixel data is a digital signal by the A / D converter 5, the pixel data signal with the vertical synchronizing signal and a horizontal synchronizing signal and sequentially outputs to the processing unit 6. 信号処理部6に順次入力された垂直同期信号及び水平同期信号並びに画素データは、信号処理部6内のラインバッファ部31に一時的に保持される。 The signal processing unit 6 sequentially inputted vertical synchronizing signal and a horizontal synchronizing signal and pixel data is temporarily held in the line buffer section 31 in the signal processing unit 6. このラインバッファ部31には、少なくとも直前2ライン分の画素データが保持される。 The line buffer unit 31, at least immediately before two lines of pixel data is held. そして、ラインバッファ部31は、保持している直前2ライン分の画素データと信号処理部6に入力されてくる最新の1ライン分の画素データとを含む3ライン分の画素データから、画像処理の対象となる注目画素及びその周辺画素からなる3×3画素分の画素データI1〜I9を選択して、差分偏光度画像生成部50へ出力する。 Then, the line buffer unit 31, the three lines of pixel data including the latest one line of pixel data immediately before two lines of incoming inputted to the pixel data and the signal processing unit 6 which holds, the image processing subject to the pixel of interest and the 3 × 3 pixels of the pixel data I1~I9 consisting its peripheral pixels by selecting the outputs to the differential polarization degree image generating unit 50. そして、差分偏光度画像生成部50は、入力された3×3画素分の画素データI1〜I9と、パラメータ記憶手段としてのSPIフラッシュメモリ32に格納されていた当該注目画素に対応する擬似逆行列パラメータとを用いて、上記数3に示した式より、当該注目画素で受光した光の縦偏光強度Vと横偏光強度Hとを算出し、その算出結果から当該注目画素についての差分偏光度を算出する。 The differential polarization degree image generating unit 50 includes a pixel data I1~I9 of the input 3 × 3 pixels, a pseudo inverse matrix corresponding to the pixel of interest that has been stored in the SPI flash memory 32 as a parameter storage means by using the parameters, the equation shown in equation 3 to calculate the vertical polarization intensity V and horizontal polarization intensity H of the light received in the pixel of interest, a differential polarization degree of the target pixel from the result of the calculation calculate. 算出した差分偏光度は、差分偏光度画像のデータ(画素値)として、水平・垂直同期信号とともに後段の機器へと順次出力される。 Calculated difference polarization degree, as the data (pixel values) of the differential polarization degree image, are sequentially output to the subsequent stage of the device with horizontal and vertical sync signals. このような画像処理を画像センサ4の有効画素全体について行うことで、各画素についての差分偏光度を画素値とした差分偏光度画像が生成される。 Such image processing by performing the entire effective pixels of the image sensor 4, the polarization ratio image pixel value difference polarization degree for each pixel is generated.

ここで、本実施例における差分偏光度画像生成部50の構成及び動作について説明する。 Here, the configuration and operation of the polarization ratio image generating unit 50 in this embodiment.
図18は、差分偏光度画像生成部50の内部構成を示すブロック図である。 Figure 18 is a block diagram showing the internal configuration of the polarization ratio image generating unit 50.
この差分偏光度画像生成部50は、FPGAで構成されていて、画素データI1〜I9と擬似逆行列パラメータとから当該画素についての縦偏光強度Vと横偏光強度Hを算出して、その算出結果から当該画素についての差分偏光度を算出する画像処理をハードウェア処理により実現している。 The differential polarization degree image generating section 50 is composed of FPGA, and calculates the vertical polarization intensity V and horizontal polarization intensity H of the pixel from the pixel data I1~I9 and pseudo-inverse parameter, the calculation result It is realized by hardware processing an image processing for calculating the differential polarization degree of the pixel from. なお、この画像処理で用いるすべての擬似逆行列パラメータは、予めFPGA内部に設けられた擬似逆行列パラメータ格納用BRAM(Block-RAM)にロードしておく。 Incidentally, all of the pseudo inverse matrix parameters used by the image processing, should be loaded into the pseudo-inverse parameter storage BRAM provided inside advance FPGA (Block-RAM).

差分偏光度画像生成部50のBRAMアドレス計算部51は、垂直同期信号と水平同期信号を受け取ることで、その画像処理に使用する擬似逆行列パラメータが格納されているBRAMアドレス値を計算する。 BRAM address calculation unit 51 of the polarization ratio image generating unit 50, by receiving a vertical synchronizing signal and a horizontal synchronizing signal, calculates the BRAM address value pseudo-inverse parameters used in the image processing is stored. 本実施例におけるBRAMアドレス計算部51の出力タイミングチャートは図19に示すとおりである。 Output timing chart of BRAM address calculation unit 51 in this embodiment is shown in FIG. 19.

差分偏光度画像生成部50の係数生成部52は、BRAMアドレス計算部51から出力されるBRAMアドレス値を受け取ったら、そのBRAMアドレス値に格納されている擬似逆行列パラメータを偏光分離処理部53へ出力する。 Coefficient generator of the polarization ratio image generation unit 50 52 After receiving BRAM address value output from the BRAM address calculator 51, a pseudo-inverse matrix parameters that are stored in the BRAM address value to the polarization separating section 53 Output. 本実施例における係数生成部52の内部構成図を図20に示す。 The internal structure of the coefficient generator 52 in the embodiment shown in FIG. 20. また、本実施例における単位処理領域の区分を図21に示す。 Moreover, the division unit processing region in the present embodiment shown in FIG. 21. また、擬似逆行列パラメータが格納される擬似逆行列パラメータ格納用BRAMのアドレスマップを図22に示す。 Also shows an address map of the pseudo-inverse parameter storage BRAM pseudo inverse matrix parameters are stored in FIG. 22.

差分偏光度画像生成部50の偏光分離処理部53は、ラインバッファ部31から出力される9個の画素データI1〜I9と、係数生成部52から出力される18個の要素A1〜A18をもつ擬似逆行列パラメータとを受け取り、上記数3に示した式より、横偏光成分Hと縦偏光成分Vを算出する。 Polarization splitting processing unit 53 of the polarization ratio image generating unit 50 includes a nine pixel data I1~I9 output from the line buffer unit 31, with 18 elements A1~A18 outputted from the coefficient generator 52 receiving a pseudo-inverse matrix parameters, the equation shown in equation 3 calculates the horizontal polarization component H and the vertical polarization component V. 本実施例における偏光分離処理部53の内部構成を図23に示す。 The internal configuration of the polarization separating section 53 in this embodiment shown in FIG. 23.

差分偏光度画像生成部50の差分偏光度計算部54は、偏光分離処理部53から出力される横偏光成分Hと縦偏光成分Vを受け取ったら、差分偏光度P=(H−V)/(H+V)を計算する。 Differential polarization degree calculator 54 of the polarization ratio image generating unit 50, when you receive the horizontal polarization component H and the vertical polarization component V output from the polarization separating section 53, the polarization ratio P = (H-V) / ( H + V) is calculated. 理論的に差分偏光度Pは−1〜1の範囲内の値をとるので、小数部分をビット表現したものが差分偏光度計算部54から出力されることになる。 Since theoretically differential polarization degree P takes a value in the range of -1 to 1, so that those bits represent the fractional part is outputted from the differential polarization degree calculation unit 54. 本実施例における差分偏光度計算部54の内部構成図を図24に示す。 The internal structure of the differential polarization degree calculation unit 54 in this embodiment shown in FIG. 24.

差分偏光度画像生成部50の差分偏光度画像計算部55は、差分偏光度計算部54から出力された差分偏光度Pを受け取ったら、小数部分をビット表現した差分偏光度Pを、差分偏光度画像の画素値へ変換する処理を行う。 Differential polarization degree image calculation portion 55 of the differential polarization degree image generating unit 50, when you receive a differential polarization degree P output from the differential polarization degree calculation unit 54, a differential polarization degree P was bits represent the fractional part, the polarization ratio It performs processing for converting the image pixel values. 本実施例における差分偏光度画像計算部55の内部構成図を図25に示す。 The internal structure of the differential polarization degree image calculating unit 55 in this embodiment shown in FIG. 25.

次に、本実施例におけるパラメータ制御部40の構成及び動作について説明する。 Next, the configuration and operation of the parameter control section 40 in this embodiment.
本実施例においては、事前にすべての疑似逆行列パラメータを算出しておき、それをSPIフラッシュメモリ32内に格納してある。 In the present embodiment, in advance, to calculate all the pseudo-inverse matrix parameters, it is stored it in the SPI flash memory 32. 本実施例におけるSPIフラッシュメモリ32のアドレスマップは、図26〜図29に示すとおりである。 Address map of the SPI flash memory 32 in this embodiment is as shown in FIG. 26 to FIG. 29. パラメータ制御部40は、図17や図18に示したように、汎用のCPU41を備えていて、電源投入時に、SPIインターフェース42を通じてSPIフラッシュメモリ32から擬似逆行列パラメータを読み出し、読み出した全擬似逆行列パラメータを、CPUバス43及びUserインターフェース44を介して、差分偏光度画像生成部50を構成するFPGA内の擬似逆行列パラメータ格納用BRAMへ転送する。 Parameter control unit 40, as shown in FIGS. 17 and 18, comprise a general purpose CPU 41, when power is turned on, reads the pseudo-inverse matrix parameters from SPI flash memory 32 through the SPI interface 42, read all the pseudo-inverse the matrix parameter, and transfers via the CPU bus 43 and User interface 44, the pseudo-inverse parameter storage BRAM in the FPGA constituting the differential polarization degree image generating unit 50.

次に、電源を投入してから差分偏光度画像を生成するまでの処理フローについて説明する。 Next, a description will be given of a process flow from turning on the power to the generation of the differential polarization degree image.
電源が投入されると、まず、パラメータ制御部40のCPU41は、SPIフラッシュメモリ32内のFPGA回路データを、差分偏光度画像生成部50を構成するFPGA内にロードする。 When the power is turned on, first, the CPU41 of the parameter control section 40, the FPGA circuit data in SPI flash memory 32, loaded into the FPGA constituting the differential polarization degree image generating unit 50. その後、CPU41は、擬似逆行列パラメータ転送処理を実行する。 Then, CPU 41 executes a pseudo inverse matrix parameter transfer process. この擬似逆行列パラメータ転送処理では、まず、CPU41からSPIインターフェース42にRead用コマンドを発行する。 In this pseudo-inverse matrix parameter transfer processing, first, it issues a Read command for the SPI interface 42 from CPU 41. これにより、SPIインターフェース42を介してSPIフラッシュメモリ32内の擬似逆行列パラメータがCPU41に読み込まれる。 Thus, the pseudo-inverse matrix parameters in SPI flash memory 32 through the SPI interface 42 are read into the CPU 41. その後、CPU41はUserインターフェース44にWrite用コマンドを発行する。 Then, CPU 41 issues a Write command for the User Interface 44. これにより、Userインターフェース44を介して擬似逆行列パラメータが係数生成部52内における擬似逆行列パラメータ格納用BRAMに書き込まれる。 Thus, the pseudo-inverse matrix parameters via User interface 44 is written to the pseudo-inverse parameter storage BRAM in the coefficient in the generator 52. すべての擬似逆行列パラメータが係数生成部52内の擬似逆行列パラメータ格納用BRAMに転送されるまで、上述したRead用コマンドの発行からWrite用コマンドの発行までの処理を繰り返し行う。 Until all of the pseudo-inverse matrix parameters are forwarded to the pseudo-inverse matrix parameter storage BRAM coefficient in generator 52 repeats the processing from the issuance of the command for Read described above to issue a Write commands.

以上のようにして、SPIフラッシュメモリ32内の全擬似逆行列パラメータが係数生成部52内の擬似逆行列パラメータ格納用BRAMに転送されて擬似逆行列パラメータ転送処理が完了したら、差分偏光度画像生成工程に移行する。 As described above, when the pseudo-inverse parameter transfer process is transferred to the pseudo-inverse matrix parameter storage BRAM of all pseudo-inverse parameter coefficient in generator 52 in the SPI flash memory 32 is completed, the polarization ratio image generation to migrate to the process. この差分偏光度画像生成工程では、垂直同期信号と水平同期信号と画素データとが画像センサ4から転送されてくると、まず、垂直同期信号と水平同期信号を参照して、画素ごとに係数生成部52内の擬似逆行列パラメータ格納用BRAMのアドレス値を計算し、そのBRAMに格納されている擬似逆行列パラメータの要素(144bitのbus信号)を読み出す。 This differential polarization degree image production step, when the vertical synchronizing signal and a horizontal synchronizing signal and the pixel data is transferred from the image sensor 4, first, with reference to the vertical synchronizing signal and a horizontal synchronizing signal, the coefficient for each pixel generation the address value of the pseudo-inverse parameter storage BRAM parts 52 calculates, reads the element (bus signal 144Bit) of the pseudo-inverse matrix parameters stored in the BRAM. そして、読み出した144bitのbus信号を18要素に分割して、擬似逆行列パラメータの18要素A1〜A18を得る。 Then, by dividing the bus signal read 144bit to 18 elements to obtain a 18 element A1~A18 the pseudo-inverse parameter. その後、偏光分離処理部53において、この18要素の擬似逆行列パラメータを用いて、処理対象となる画素(注目画素)についての横偏光成分Hと縦偏光成分Vを、当該注目画素及びその周辺画素の画素データI1〜I9から上記数3に示した式より計算する。 Thereafter, in the polarization separating section 53, by using the pseudo-inverse matrix parameters of the 18 elements, the horizontal polarization component H and the vertical polarization component V of the processing target pixel (target pixel), the target pixel and its peripheral pixels from the pixel data I1~I9 calculated from the formula shown in equation 3. このようにして算出された横偏光成分Hと縦偏光成分Vは差分偏光度計算部54に送られ、差分偏光度計算部54にて差分偏光度Pが算出される。 Such horizontal polarization component H and the vertical polarization component V calculated in the are sent to differential polarization degree calculation unit 54, the differential polarization degree P is calculated by the differential polarization degree calculation unit 54. そして、差分偏光度画像計算部55では、この差分偏光度Pを差分偏光度画像の画素値(画像データ)へ変換する処理行う。 Then, the differential polarization degree image calculation unit 55 performs processing to convert the differential polarization degree P pixel value of the differential polarization image to the (image data). これにより、差分偏光度画像の1画素についての画像データが得られる。 Thus, the image data for one pixel of the differential polarization degree image is obtained. 以上のような処理を全画素について行うことで差分偏光度画像が生成される。 The differential polarization degree image is generated by performing all the pixels, such processing as described above.

以上、本実施形態に係る運転者支援システムの偏光カメラ10は、所望の光学成分である横偏光成分を選択的に透過させる選択フィルタ領域としての横偏光フィルタ領域2bと入射光をそのまま透過させる非選択フィルタ領域としての透過領域2aとを周期的に配列した光学フィルタ2を通じて、フォトダイオード4aからなる受光素子が2次元配置された受光素子アレイである画像センサ4により撮像領域からの光を受光し、画像センサ4上の1つの受光素子に対応する単位画素(単に「画素」という。)ごとの受光量に応じた画像信号である画素データを出力する撮像手段としての撮像部と、撮像部から出力された画素データから、各画素に応じた演算パラメータである疑似逆行列パラメータを用いて、その画素で受光された光に含まれ Above, polarization camera 10 of the driver assistance system according to the present embodiment, the non-for directly transmitting the horizontally polarized light filter region 2b the incident light as a selective filter region that selectively transmits horizontally polarized light component is a desired optical component through an optical filter 2 that is periodically arranged and a transmissive region 2a as a selection filter region, the light receiving element composed of a photodiode 4a is receiving light from the imaging region by the image sensor 4 which is a two-dimensional arranged photodetector array an imaging unit as an image pickup means for outputting the pixel data is an image signal corresponding to the received light amount for each unit pixel corresponding to one light receiving element on the image sensor 4 (. simply referred to as "pixel"), from the imaging unit the output pixel data by using a pseudo inverse matrix parameter is a calculation parameter corresponding to each pixel, included in the light received by that pixel 互いに異なった光学成分(縦偏光成分と横偏光成分)を算出する画像処理を実行する画像処理手段としての信号処理部6と、全画素に対応する疑似逆行列パラメータを記憶するパラメータ記憶手段としてのSPIフラッシュメモリ32とを備えた撮像装置である。 Different from each other and the signal processing section 6 as an image processing means for executing image processing for calculating the optical component (vertical polarization component and the horizontal polarization component) as a parameter storage means for storing a pseudo-inverse matrix parameters corresponding to all the pixels an imaging device that includes a SPI flash memory 32. この偏光カメラ10において、撮像部は、光学フィルタ2に備わった複数種類のフィルタ領域2a,2bを透過した各光の一画素内における受光面積比率が互いに等しい4種類の共通単位画素が周期的に存在するように構成されている。 In the polarization camera 10, the imaging unit, a plurality of types of filter regions 2a that provided in the optical filter 2, 2b common unit pixels of four light receiving area ratio are equal to each other within one pixel of each transmitted light periodically It is configured to present. そして、信号処理部6では、同一種類の共通単位画素を複数含んだ互いに隣接する4つ以上の単位画素で構成される2以上の単位処理領域、具体的には、各種類の共通単位画素についてそれぞれ64個ずつ含んだ16×16画素で構成される単位処理領域に区分して、合計1410個の単位処理領域を得て、同一の単位処理領域内における同一種類の共通単位画素については、同一の疑似逆行列パラメータを用いて画像処理を実行する。 Then, the signal processing unit 6, the same type of common unit pixels two or more unit processing region composed of four or more unit pixels adjacent to each other including a plurality of, specifically, the common unit pixels each type each divided into unit processing region composed of 16 × 16 pixels including one by 64, to obtain a total of 1410 pieces of unit processing region, the common unit pixels of the same kind in the same unit process region are the same performing image processing using the pseudo-inverse matrix parameters. この構成により、同一の単位処理領域内における同一種類の共通単位画素については、同じ疑似逆行列パラメータを使い回して画像処理を実行することができる。 This configuration, for common unit pixels of the same kind in the same unit processing region, can perform image processing by turning use the same pseudo-inverse matrix parameters. すべての画素について個別に疑似逆行列パラメータを用意する場合には、全疑似逆行列パラメータのデータ量が約26Mバイトにもなっていたが、本実施形態ではこれを約0.4Mバイトにまで低減することができる。 If it has a separate pseudo-inverse matrix parameters for all the pixels, the data amount of all pseudo-inverse matrix parameters had become to about 26M bytes, reducing it in this embodiment to approximately 0.4M bytes can do.
また、本実施形態において、撮像部は、光学フィルタ2に備わった複数種類のフィルタ領域2a,2bを透過した各光の一画素内における受光面積比率が偏るように構成されている。 Further, in the present embodiment, the imaging unit is configured as a plurality of types of filter regions 2a that provided in the optical filter 2, the light receiving area ratio in a single pixel of the light transmitted through 2b biased. このように受光面積比率が偏っていることで、当該画素で受光される光学成分のうち少なくとも1つの光学成分(受光面積が大きい光学成分)についての感度を、各光学成分の受光面積がすべて等しい場合よりも大きくすることができる。 By is biased in this manner the light receiving area ratio, the sensitivity of the at least one optical component (optical component receiving area is large) in the optical component to be received by the pixel, are all equal light receiving area of ​​each optical component it can be made larger than the case. そして、本実施形態では、このような画素が周期的に存在するので、注目画素の周囲には、その注目画素とは別の光学成分についての受光面積が大きい画素が隣接して存在することになる。 In the present embodiment, since such a pixel exists periodically, around the target pixel, that pixel is large light receiving area of ​​the other optical components and the target pixel is present adjacent Become. これらの画素は、微小領域内で互いに隣接して位置するので、実質的に撮像領域内の同じ箇所からの光を受光すると考えることができる。 These pixels so positioned adjacent one another in small areas, can be considered as substantially receive light from the same portion of the imaging area. よって、これらの画素からの画素データに基づき、撮像領域内の同一箇所からの光について互いに異なる光学成分の光強度を高い感度で検知することができる。 Therefore, it is possible to detect based on the pixel data from these pixels, the light intensity of the different optical components for light from the same position of the imaging area with high sensitivity.
また、本実施形態において、光学フィルタ2は、複数種類のフィルタ領域2a,2bをストライプ状に配列したものである。 Further, in the present embodiment, the optical filter 2 is obtained by arranging a plurality of types of filter regions 2a, 2b in stripes. これにより、複数種類のフィルタ領域2a,2bを例えば市松模様状に配列した場合よりも、光学フィルタ2を安価に製造できる。 Thus, a plurality of types of filter regions 2a, than when arranged 2b, for example, in a checkered pattern, can be produced at low cost optical filter 2.
また、本実施形態において、画像センサ4は、互いに直交する縦方向及び横方向に受光素子が等間隔で配列されたものであり、光学フィルタ2は、複数種類のフィルタ領域2a,2bの長手方向が画像センサ4の縦方向及び横方向のいずれにも傾斜するように構成されている。 Further, in the present embodiment, the image sensor 4, which vertical and horizontal directions in the light receiving elements are arranged at equal intervals perpendicular to each other, the optical filter 2, a plurality of types of filter regions 2a, longitudinal 2b There is also configured to tilt in either of the longitudinal and transverse direction of the image sensor 4. このような構成により、傾斜していない構成よりも、注目画素の周囲に、注目画素とは異なる種類の共通単位画素がより多く配置されやすく、演算精度を高めやすい。 With this configuration, than the configuration not inclined, around the pixel of interest, easily disposed more common unit pixels of a different type than the target pixel, easily increase the calculation accuracy.
特に、画像センサ4の縦方向における受光素子間隔をnとし、横方向における受光素子間隔をmとしたとき、複数種類のフィルタ領域2a,2bの縦方向長さNが上記式(1)を満たし、複数種類のフィルタ領域2a,2bの横方向長さMが上記式(2)を満たすように構成すれば、注目画素の周囲に、注目画素とは異なる種類の共通単位画素がより多く配置され、演算精度を高めることができる。 In particular, the light receiving element spacing in the longitudinal direction of the image sensor 4 is n, when the light receiving element spacing in the horizontal direction is m, satisfies a plurality of types of filter regions 2a, the longitudinal length N of 2b above formula (1) a plurality of types of filter regions 2a, the lateral direction length M of 2b be configured so as to satisfy the above equation (2), around the pixel of interest, it is arranged more common unit pixels of a different type than the pixel of interest , it is possible to improve the calculation accuracy.

以上の説明では、光学フィルタ2の選択フィルタ領域を、所定の偏光成分を選択的に透過させる偏光フィルタで構成して、互いに異なる2つの偏光成分から差分偏光度画像を生成する場合について説明したが、光学フィルタ2の選択フィルタ領域を、特定の波長成分を選択的に透過させる分光フィルタで構成して、互いに異なる複数の波長成分から例えば色分解画像を生成する場合でも、本発明を同様に適用できる。 In the above description, the selection filter region of the optical filter 2, constituted by a polarization filter for selectively transmitting a predetermined polarization component, has been described to generate a differential polarization degree image from the two polarization components are different from each other the selective filter region of the optical filter 2, constituted by a spectral filter that selectively transmits a specific wavelength component, even when generating a different example color separation images from wavelength components with each other, the present invention similarly applicable it can.
また、本実施形態に係る運転者支援システムは、そのシステム全体が車両に搭載されているが、必ずしもシステム全体が車両に搭載されている必要はない。 Further, the driver support system according to the present embodiment, the entire system is mounted on a vehicle, not necessarily the entire system is mounted on a vehicle. したがって、例えば、偏光カメラ10のみを自車に搭載して、残りのシステム構成要素を自車とは別の場所に遠隔配置するようにしてもよい。 Thus, for example, only the polarization camera 10 is mounted on the vehicle, it may be the rest of the system components to be remotely located elsewhere in the vehicle. この場合、車両の走行状態を運転者以外の者が客観的に把握するシステムとすることもできる。 In this case, the person running state of the vehicle other than the driver can also be a system that objectively grasped.
また、本発明に係る撮像装置は、本実施形態に限らず、幅広い分野に応用することができる。 The imaging apparatus according to the present invention is not limited to the present embodiment can be applied to a wide range of fields.

1 撮像レンズ 2 光学フィルタ 2a 透過領域 2b 横偏光フィルタ領域 4 画像センサ 4a フォトダイオード(受光素子) 1 imaging lens 2 optical filter 2a transmissive region 2b horizontal polarization filter region 4 image sensors 4a photodiode (light receiving element)
5 A/D変換部 6 信号処理部 10 偏光カメラ 31 ラインバッファ部 32 SPIフラッシュメモリ 40 パラメータ制御部 41 CPU 5 A / D converter 6 signal processing unit 10 polarization camera 31 line buffer unit 32 SPI flash memory 40 parameter control unit 41 CPU
50 差分偏光度画像生成部 51 アドレス計算部 52 係数生成部 53 偏光分離処理部 54 差分偏光度計算部 55 差分偏光度画像計算部 50 differential polarization degree image generating unit 51 address calculation section 52 coefficient generator 53 the polarization separating section 54 differential polarization degree calculation unit 55 differential polarization degree image calculator

特開2007−086720号公報 JP 2007-086720 JP 特許3771054号公報 Patent 3771054 No.

Claims (6)

  1. 互いに異なる光学成分を選択的に透過させる複数種類の選択フィルタ領域を周期的に配列した光学フィルタ、又は、1種類又は2種類以上の選択フィルタ領域及び入射光をそのまま透過させる非選択フィルタ領域を周期的に配列した光学フィルタを通じて、受光素子が2次元配置された受光素子アレイにより撮像領域からの光を受光し、該受光素子アレイ上の1つの受光素子又は2以上の受光素子群に対応する単位画素ごとの受光量に応じた画像信号を出力するものであって、上記光学フィルタに備わった複数種類のフィルタ領域を透過した各光の単位画素内における受光面積比率が偏るように構成された撮像手段と、 A plurality of types of selective filter region periodically arranged optical filter that selectively transmits different optical components, or the period of one or two or more kinds of selected filter region and the non-selected filter region which directly transmits the incident light through arrayed the optical filter, the unit light receiving element receives light from the imaging region by the two-dimensional arranged photodetector array corresponds to one light receiving element or two or more light receiving element group on the light receiving element array It is one that outputs an image signal corresponding to the amount of light received for each pixel, image pickup configured to light receiving area ratio is biased in each optical unit pixel that has passed through the plurality of filter regions that provided in the optical filter and means,
    該撮像手段から出力された画像信号に基づき単位画素及びその周辺画素の受光量から、該単位画素に応じた演算パラメータを用いて、該単位画素で受光された光に含まれる互いに異なった光学成分を演算する画像処理を実行する画像処理手段と、 Based on the image signal outputted from the image pickup means, from the unit pixel and a light receiving amount of the surrounding pixels, by using a calculation parameter corresponding to the unit pixel, different from each other are included in the light received by the unit pixel optical image processing means for executing image processing for calculating the components,
    全単位画素に対応する演算パラメータを記憶するパラメータ記憶手段とを備えた撮像装置であって、 An imaging apparatus that includes a parameter storing means for storing operation parameters corresponding to all unit pixels,
    上記撮像手段は、上記光学フィルタに備わった複数種類のフィルタ領域を透過した各光の単位画素内における受光面積比率が互いに等しい1種類又は2種類以上の共通単位画素が周期的に存在するように構成されており、 The imaging means, as a common unit pixels of one or more kinds light receiving area ratio are equal to each other in the unit pixel of the light transmitted through a plurality of types of filter regions that provided in the optical filter is present periodically is configured,
    上記画像処理手段は、同一種類の共通単位画素を複数含んだ互いに隣接する4つ以上の単位画素で構成される2以上の単位処理領域に区分し、同一の単位処理領域内における同一種類の共通単位画素については、同一の演算パラメータを用いて上記画像処理を実行することを特徴とする撮像装置。 Said image processing means divides the same type of common unit pixels two or more unit processing region composed of four or more unit pixels adjacent to each other including a plurality of common same type in the same unit process area the unit pixel imaging device and executes the image processing by using the same calculation parameters.
  2. 請求項1の撮像装置において、 The imaging apparatus according to claim 1,
    上記光学フィルタは、複数種類のフィルタ領域をストライプ状に配列したものであることを特徴とする撮像装置。 Said optical filter, an imaging apparatus, characterized in that is obtained by arranging a plurality of types of filter regions in stripes.
  3. 請求項の撮像装置において、 The imaging apparatus according to claim 2,
    上記受光素子アレイは、互いに直交する縦方向及び横方向に受光素子が等間隔で配列されたものであり、 The light receiving element array, which light receiving elements are arranged at equal intervals in the vertical and horizontal directions perpendicular to each other,
    上記光学フィルタは、上記複数種類のフィルタ領域の長手方向が上記受光素子アレイの縦方向及び横方向のいずれにも傾斜するように構成されていることを特徴とする撮像装置。 It said optical filter, an imaging apparatus characterized by the longitudinal direction of the plurality of types of filter regions are configured to be inclined in either the longitudinal and transverse directions of the light receiving element array.
  4. 請求項の撮像装置において、 The imaging apparatus according to claim 3,
    上記受光素子アレイの縦方向における受光素子間隔をnとし、横方向における受光素子間隔をmとしたとき、上記光学フィルタは、上記複数種類のフィルタ領域の縦方向長さNが下記の式(1)を満たし、該複数種類のフィルタ領域の横方向長さMが下記の式(2)を満たすように構成されていることを特徴とする撮像装置。 The light receiving element spacing in the longitudinal direction of the light receiving element array is n, when the light receiving element spacing in the horizontal direction is m, the optical filter, the plurality of types of formula longitudinal length N is below the filter region (1 ) satisfies the imaging apparatus characterized by lateral length M of the plurality several filter area is configured so as to satisfy the equation (2) below.
    N = A × n ・・・(1) N = A × n ··· (1)
    M = B × m ・・・(2) M = B × m ··· (2)
    ただし、A及びBは自然数であり、かつ、A≠Bを満たすものである。 However, A and B are natural numbers, and those satisfying the A ≠ B.
  5. 請求項の撮像装置において、 The imaging apparatus according to claim 4,
    上記式(1)中のAに対する上記式(2)中のBの比率が1/2又は2であることを特徴とする撮像装置。 Imaging and wherein the ratio of B in the formula (2) with respect to A in the above formula (1) is 1/2 or 2.
  6. 請求項1乃至のいずれか1項に記載の撮像装置において、 The imaging apparatus according to any one of claims 1 to 5,
    上記選択フィルタ領域は、所定の偏光成分を選択的に透過させる偏光フィルタで構成されていることを特徴とする撮像装置。 The selective filter region, an imaging apparatus characterized by being constituted by a polarization filter for selectively transmitting a predetermined polarization component.
JP2011001320A 2011-01-06 2011-01-06 Imaging device Active JP5674130B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011001320A JP5674130B2 (en) 2011-01-06 2011-01-06 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011001320A JP5674130B2 (en) 2011-01-06 2011-01-06 Imaging device

Publications (2)

Publication Number Publication Date
JP2012142903A true JP2012142903A (en) 2012-07-26
JP5674130B2 true JP5674130B2 (en) 2015-02-25

Family

ID=46678709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011001320A Active JP5674130B2 (en) 2011-01-06 2011-01-06 Imaging device

Country Status (1)

Country Link
JP (1) JP5674130B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0488780A (en) * 1990-07-31 1992-03-23 Canon Inc Color solid-state image pickup element
US7426065B2 (en) * 2003-08-26 2008-09-16 Hewlett-Packard Development Company, L.P. System and method for alternating between transmitting and reducing incident light on pixel portion of an imager
JP4974543B2 (en) * 2005-08-23 2012-07-11 株式会社フォトニックラティス Polarization Imaging device
JP5076244B2 (en) * 2008-10-30 2012-11-21 富士フイルム株式会社 Calculating apparatus, an imaging apparatus, calculation method, a method, and a program
JP5310483B2 (en) * 2009-10-28 2013-10-09 株式会社リコー Imaging device

Also Published As

Publication number Publication date Type
JP2012142903A (en) 2012-07-26 application

Similar Documents

Publication Publication Date Title
US20110199458A1 (en) Image processing device, image processing method, image processing program, and imaging device
US20080285799A1 (en) Apparatus and method for detecting obstacle through stereovision
JP2010224925A (en) Environment recognition device
US20060268110A1 (en) Support apparatus for sense of vision
JP2006134035A (en) Moving object detecting device and moving object detecting method
JP2008158958A (en) Road surface determination method and road surface determination device
JPH0771916A (en) On-vehicle distance measuring device
CN102288165A (en) Moving distance detecting means and the moving distance detection method
JP2012168592A (en) Environment recognition device
JP2007179386A (en) Method and apparatus for recognizing white line
JP2009042941A (en) Object type decision device, vehicle, object type decision method, and program for object type decision
JPH05313736A (en) Obstacle recognizing device for moving vehicle
JP2010257357A (en) Image processing apparatus, semiconductor data processing apparatus, and data processing system
US20100283845A1 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
JP2003028635A (en) Image range finder
JP2007255977A (en) Object detection method and object detector
US20120218410A1 (en) System and method of assisting visibility of driver
US20140133699A1 (en) Target point arrival detector, method of detecting target point arrival, storage medium of program of detecting target point arrival and vehicle-mounted device control system
JP2006072757A (en) Object detection system
JP2004185425A (en) Lane mark recognition method and device
JP2003016458A (en) Object extracting device
JP2001257923A (en) Image pickup device
JP2009276910A (en) Image processor, method and program
JP2014096005A (en) Object detection device and object detection method
US20150049913A1 (en) Road surface slope-identifying device, method of identifying road surface slope, and computer program for causing computer to execute road surface slope identification

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140905

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141218