JP4974543B2 - Polarization imaging device - Google Patents

Polarization imaging device Download PDF

Info

Publication number
JP4974543B2
JP4974543B2 JP2006045257A JP2006045257A JP4974543B2 JP 4974543 B2 JP4974543 B2 JP 4974543B2 JP 2006045257 A JP2006045257 A JP 2006045257A JP 2006045257 A JP2006045257 A JP 2006045257A JP 4974543 B2 JP4974543 B2 JP 4974543B2
Authority
JP
Japan
Prior art keywords
polarization
polarizer
light
region
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006045257A
Other languages
Japanese (ja)
Other versions
JP2007086720A (en
Inventor
尚 佐藤
貴之 川嶋
孝文 青木
彰二郎 川上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Photonic Lattice Inc
Original Assignee
Photonic Lattice Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2005241270 priority Critical
Priority to JP2005241270 priority
Application filed by Photonic Lattice Inc filed Critical Photonic Lattice Inc
Priority to JP2006045257A priority patent/JP4974543B2/en
Publication of JP2007086720A publication Critical patent/JP2007086720A/en
Application granted granted Critical
Publication of JP4974543B2 publication Critical patent/JP4974543B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Description

本発明は、偏光イメージング装置、及びこれを用いた撮影装置、表面形状計測装置などに関する。   The present invention relates to a polarization imaging apparatus, a photographing apparatus using the same, a surface shape measuring apparatus, and the like.

一般的に、画像の撮影原理は、被写体から得られる情報として、被写体からの光の強さ(輝度情報)のみを検出し、この輝度情報に基づいて陰影を再現して画像を形成する。この単純な画像形成方法では、被写体からの光以外に、不要な光情報も同時に検出してしまうため、最適な画像を得ることができない。   In general, the imaging principle of an image is to detect only the intensity of light (luminance information) from the subject as information obtained from the subject, and reproduce the shadow based on the luminance information to form an image. In this simple image forming method, unnecessary light information is simultaneously detected in addition to light from the subject, so that an optimum image cannot be obtained.

そこで、例えば、周囲の景色が映り込んでしまうようなショーウインドウをカメラで撮影する場合には、偏光フィルタを利用して最適な撮影を行っている。偏光フィルタは、ガラスなどの艶のある表面の反射光が偏光になっているという性質を利用して、周辺の光の乱反射をカットし、被写体のコントラストを上げるフィルタである。偏光フィルタは、ショーウインドウのガラスに周囲の景色が写り込んだりするのを防いだり、順光の青空も偏光の性質があるので、青空を鮮やかに青く抜きたいときなどにも用いられる。   Therefore, for example, when shooting a show window in which surrounding scenery is reflected with a camera, an optimal shooting is performed using a polarizing filter. A polarizing filter is a filter that increases the contrast of a subject by cutting the irregular reflection of ambient light by utilizing the property that reflected light from a glossy surface such as glass is polarized. The polarizing filter prevents the surrounding scenery from being reflected in the glass of the show window, and the blue light of the forward light has the property of polarization, so it is also used when the blue sky is to be extracted vividly blue.

しかしながら、通常の偏光フィルタは主として一方向のみの偏光を透過するという異方性を有し、撮影対象が複数の偏光を有する場合には、全ての邪魔な偏光をカットすることができない。この問題に対応する方法としては、偏光フィルタを回転させて複数方向についての偏光情報を得ると共に、各偏光情報に基づく複数の画像を最適化処理する方法がある。しかしながら、この方法では、回転駆動を必要とするため装置が大型化したり堅牢ではなかったり、前偏光方向に対応した360度の回転駆動に時間がかかるため高速撮影には適していない。また、回転速度については、高速化を目的として連続回転させた場合には、正確な情報を取得することが困難となるし、一方で回転駆動を遅くして段階的(ステップ的)に行う場合には、高速処理の実現が困難となる。   However, a normal polarizing filter has an anisotropy that mainly transmits polarized light in only one direction, and when a subject to be photographed has a plurality of polarized lights, all the disturbing polarized lights cannot be cut off. As a method for dealing with this problem, there is a method in which a polarization filter is rotated to obtain polarization information in a plurality of directions, and a plurality of images based on each polarization information are optimized. However, this method is not suitable for high-speed photography because it requires rotational driving and the apparatus is not large or robust, and it takes time to rotate 360 degrees corresponding to the previous polarization direction. As for the rotational speed, when it is continuously rotated for the purpose of speeding up, it is difficult to obtain accurate information, and on the other hand, when the rotational drive is slowed down and performed stepwise (stepwise) However, it is difficult to realize high-speed processing.

これに対して、回転駆動部をなくした偏光解析装置が提案されている(国際公開WO 2004/008196(下記、特許文献1)を参照。)。この偏光解析装置は、複数の偏光方向の領域を有する偏光子アレイを用いることにより、ある入射光に含まれる様々な方向の偏光を偏光子アレイの後段に設けた受光素子アレイにより別々に受光することができる。この結果、固定された偏光子アレイであっても、あたかも主として一方向のみの偏光を透過する偏光フィルタを回転させて偏光情報を得るのと同じ情報を得ることができ、回転駆動部をなくすことができる。   On the other hand, an ellipsometer that eliminates the rotation driving unit has been proposed (see International Publication WO 2004/008196 (Patent Document 1 below)). In this ellipsometer, by using a polarizer array having a plurality of polarization directions, polarized light in various directions included in a certain incident light is separately received by a light receiving element array provided at the subsequent stage of the polarizer array. be able to. As a result, even with a fixed polarizer array, it is possible to obtain the same information as if polarization information is obtained by rotating a polarization filter that mainly transmits polarized light in only one direction, eliminating the rotation drive unit. Can do.

国際公開WO 2004/008196International Publication WO 2004/008196

しかしながら、被写体を撮影する際に得られる、被写体からの光には、様々な偏光状態の光が含まれており、上記偏光解析装置が記載された文献には、この様々な偏光状態の光を詳細に解析し、必要な偏光状態の光と不要な偏光状態の光とに分離したり、ある特定の偏光状態の光を抽出したりする技術は提案されていない。   However, the light from the subject obtained when the subject is photographed includes light in various polarization states, and the literature describing the ellipsometer describes the light in various polarization states. A technique for analyzing in detail and separating light in a necessary polarization state and light in an unnecessary polarization state or extracting light in a specific polarization state has not been proposed.

まず、「偏光」について、一般的な用語の意味を説明した後、本明細書で用いる「偏光成分」及び「無偏光成分」について説明する。   First, the meaning of general terms for "polarized light" will be described, and then "polarized light component" and "non-polarized light component" used in this specification will be described.

一般的に、光は、「偏光」と「無偏光」とに区別することができる。
一般的な用語としての「偏光」の意味は、「光(電磁波)の電界がいずれかの方向に偏って振動している光」という意味である。したがって、偏光子を通った光に着目して説明すると、「偏光」とは、偏光子を回転するにしたがって、強度が変化する光のことである。
また、一般的な用語としての「無偏光」の意味は、「光(電磁波)の電界がどの方向に対しても振動している光」という意味である。実際には、有限の非常に短い時間で偏光方向が変化しており、偏光状態を計測する測定器を用いて観測しても、その平均的な状態のみが測定されることになる。したがって、偏光子を通った光に着目して説明すると、「無偏光」とは、偏光子を回転しても、強度が変化せず、常に一定の光のことである。
In general, light can be distinguished between “polarized light” and “non-polarized light”.
The meaning of “polarized light” as a general term means “light in which the electric field of light (electromagnetic wave) is oscillating while being biased in any direction”. Accordingly, when focusing attention on the light passing through the polarizer, “polarized light” is light whose intensity changes as the polarizer is rotated.
Moreover, the meaning of “non-polarized light” as a general term means “light whose electric field of light (electromagnetic wave) is oscillating in any direction”. Actually, the polarization direction changes in a finite and extremely short time, and even when observed using a measuring instrument that measures the polarization state, only the average state is measured. Accordingly, when focusing attention on light that has passed through the polarizer, “non-polarized light” means light that is always constant without changing its intensity even when the polarizer is rotated.

更に、「偏光」は、以下の3つ、「直線偏光」、「円偏光」及び「楕円偏光」に区別することができる。
「直線偏光」とは、ある特定の方向にのみ電界が振動している光である。その振動方向に垂直な方向に振動している成分はなく、したがって偏光子の透過軸と偏光方向が直行するように偏光子を通した場合、光は透過しない。
「円偏光」とは、ある方向とそれに直交した方向とに電界が振動しており、互いの振動の位相差がπ/2+nπ(nは整数)となっている光である。この2つの振動が合成されることにより、電界ベクトルを光の進行方向に垂直な面に射影すると、そのベクトルの先端は円軌道を描くことになる。したがって、偏光子を用いて各方向の強度を測定した場合、測定される強度はある時間内の平均値であるため、どの方向も同じ値となる。
「楕円偏光」とは、上記「円偏光」において、合成される2つの方向の電界の振幅が異なる場合の光、または、合成される2つの電界の振幅が同じ大きさであっても、その位相がπ/2+nπ以外の場合の光である。合成される2つの方向の電界の振幅が異なる場合、その合成ベクトルの先端は、光の進行方向に垂直な面内において楕円軌道を描く。また、合成される2つの電界の振幅が同じ大きさであっても、その位相がπ/2+nπ以外の場合、合成ベクトルの先端はやはり楕円軌道を描く。したがって、偏光子を用いて各方向の強度を測定した場合、偏光子の回転角度により、透過する光の強度は変化する一方、この強度がゼロになることはない。なお、「直線偏光」及び「円偏光」は、「楕円偏光」の特殊な例であるといえる。
Furthermore, “polarized light” can be classified into the following three: “linearly polarized light”, “circularly polarized light”, and “elliptical polarized light”.
“Linearly polarized light” is light in which an electric field vibrates only in a specific direction. There is no component oscillating in a direction perpendicular to the vibration direction, and therefore light does not pass through the polarizer so that the transmission axis of the polarizer is perpendicular to the polarization direction.
“Circularly polarized light” is light in which an electric field vibrates in a certain direction and a direction perpendicular thereto, and the phase difference between the vibrations is π / 2 + nπ (n is an integer). By combining these two vibrations, when the electric field vector is projected onto a plane perpendicular to the light traveling direction, the tip of the vector forms a circular orbit. Therefore, when the intensity in each direction is measured using a polarizer, the measured intensity is an average value within a certain time, and therefore, the same value is obtained in any direction.
The “elliptical polarization” is the light in the case where the amplitudes of the electric fields in the two directions to be synthesized are different from each other in the above “circular polarization”, or even if the amplitudes of the two electric fields to be synthesized are the same magnitude. This is light when the phase is other than π / 2 + nπ. When the amplitudes of the electric fields in the two directions to be combined are different, the tip of the combined vector draws an elliptical orbit in a plane perpendicular to the light traveling direction. Further, even if the amplitudes of the two electric fields to be combined are the same, if the phase is other than π / 2 + nπ, the tip of the combined vector also draws an elliptical orbit. Therefore, when the intensity in each direction is measured using a polarizer, the intensity of transmitted light changes depending on the rotation angle of the polarizer, but this intensity does not become zero. Note that “linearly polarized light” and “circularly polarized light” are special examples of “elliptical polarized light”.

上述する一般的な用語の意味を踏まえて、本明細書で用いる「偏光成分」及び「無偏光成分」について説明する。
本明細書においては、「偏光成分」とは、被測定光を偏光子に通した場合、偏光子の回転角度により強度が変化する成分、すなわち、上記「直線偏光」及び上記「楕円偏光」をいう。
また、本明細書においては、「無偏光成分」とは、被測定光を偏光子に通した場合、偏光子の回転角度により強度が変化しない成分、すなわち、上記「無偏光」及び上記「円偏光」をいう。
Based on the meaning of the general terms described above, “polarization component” and “non-polarization component” used in this specification will be described.
In this specification, the “polarized light component” refers to a component whose intensity changes depending on the rotation angle of the polarizer when the light to be measured passes through the polarizer, that is, the “linearly polarized light” and the “elliptical polarized light”. Say.
In the present specification, the “non-polarized component” means a component whose intensity does not change depending on the rotation angle of the polarizer when the light to be measured passes through the polarizer, that is, the “non-polarized component” and the “circular component”. "Polarized light".

本発明の好ましい態様に係る偏光イメージング装置及びこれを用いた、撮影装置、表面形状計測装置は、上記「偏光成分」と上記「無偏光成分」とを分離、そして一方を除去、抽出などして種々の効果を奏する装置であって、一般的な用語として用いられている上記「偏光」と上記「無偏光」とを分離などするものではない。すなわち、上記「無偏光成分」には、上記「無偏光」のほかに上記「円偏光」も含まれており、これらを区別していない。しかし、現実的には、物体からの反射光が上記「円偏光」であることは大変まれであるため、実質的には、上記「無偏光成分」は上記「無偏光」を意味する場合が多いことになる。   A polarization imaging apparatus according to a preferred embodiment of the present invention and an imaging apparatus and a surface shape measurement apparatus using the polarization imaging apparatus separate the “polarized light component” and the “non-polarized light component” and remove or extract one of them. It is an apparatus that exhibits various effects, and does not separate the “polarized light” and the “non-polarized light” that are used as general terms. That is, the “non-polarized component” includes the “circularly polarized light” in addition to the “non-polarized light”, and these are not distinguished. However, in reality, it is very rare that the reflected light from the object is the above-mentioned “circularly polarized light”, so in practice, the “non-polarized light component” may mean the above “non-polarized light”. There will be many.

すなわち、本発明の好ましい態様に係る偏光イメージング装置などは、輝度情報、及び複数の偏光情報を同時に得ることに加えて、さらに被写体からの光を構成する上記「偏光成分」と上記「無偏光成分」とを分離したり、ある特定の成分を抽出したりすることにより、より画像処理精度を向上させた偏光イメージング装置などを提供することを目的とする。   That is, the polarization imaging apparatus or the like according to a preferred aspect of the present invention obtains luminance information and a plurality of polarization information at the same time, and further includes the “polarization component” and the “non-polarization component” that constitute light from the subject. It is an object of the present invention to provide a polarization imaging apparatus and the like in which the image processing accuracy is further improved.

本発明は、基本的には、偏光子アレイ及びその後段の受光素子アレイを有する受光モジュールを用いて、画像処理部により当該受光モジュールからの偏光情報ごとの輝度(光強度)情報を画像処理することにより、最適な画像を得られる、もしくは面内での偏光情報を得られるという知見に基づく発明である。   In the present invention, basically, a light receiving module having a polarizer array and a subsequent light receiving element array is used, and image processing is performed on luminance (light intensity) information for each polarization information from the light receiving module by an image processing unit. Thus, the present invention is based on the knowledge that an optimal image can be obtained or in-plane polarization information can be obtained.

[1] 本発明に係る偏光イメージング装置としては、
それぞれ透過軸が異なる3つ以上の偏光子の領域に分かれており、入射される入力光のうち、前記各領域において当該入力光の無偏光成分を透過させると共に、前記各領域によって偏光方向が異なる前記入力光の偏光成分を透過させる偏光子ユニットを1個又は複数個含む偏光子アレイと、
前記各領域を透過した光を独立に受光する受光素子アレイと、
前記受光素子アレイからの前記偏光成分及び無偏光成分を処理する画像処理部と、
を有する偏光イメージング装置が挙げられる。
[1] As a polarization imaging apparatus according to the present invention,
It is divided into three or more polarizer regions each having a different transmission axis, and transmits the non-polarized component of the input light in each region of the input light that is incident, and the polarization direction varies depending on each region. A polarizer array including one or a plurality of polarizer units that transmit the polarization component of the input light;
A light receiving element array that independently receives light transmitted through each of the regions;
An image processing unit for processing the polarization component and the non-polarization component from the light receiving element array;
A polarization imaging apparatus having

偏光子アレイとは、透過軸の異なる複数の偏光子をユニット化したもの(偏光子ユニット)を複数ユニット組み合わせたものであり、複数の偏光方向を有する光を抽出することができ、この複数抽出により解析精度が高められている。本明細書では、前記偏光子を「領域」とも呼び、この領域は、例えば自己クローニングにより周期的に形成された凹凸の方向に垂直もしくは平行な偏光を透過し、それに直交する偏光を反射する特性を有する。また、例えばワイヤグリッド型の偏光子では、領域に形成された金属細線の方向に垂直な偏光を透過し、金属細線の方向に平行な偏光を反射する特性を有する。この偏光子アレイを受光モジュールの一部に用いることで、受光素子アレイにおける素子(画素)単位で輝度情報に加えて偏光情報を同時に取得することができ、取得画像の局所的な偏光情報を検出することができる。そして、偏光情報に基づいて各受光素子からのデータを処理して、映り込みの少ない画像の取得や、顕微鏡観察などにおいて特定箇所の偏光度を測定することができる。   A polarizer array is a combination of multiple units of polarizers with different transmission axes (polarizer units), and light with multiple polarization directions can be extracted. This improves the analysis accuracy. In this specification, the polarizer is also referred to as a “region”. This region transmits, for example, polarized light that is perpendicular or parallel to the direction of irregularities formed periodically by self-cloning and reflects polarized light orthogonal thereto. Have In addition, for example, a wire grid type polarizer has a characteristic of transmitting polarized light perpendicular to the direction of the fine metal wire formed in the region and reflecting polarized light parallel to the direction of the fine metal wire. By using this polarizer array as part of the light receiving module, it is possible to simultaneously acquire polarization information in addition to luminance information for each element (pixel) in the light receiving element array, and detect local polarization information in the acquired image. can do. Then, the data from each light receiving element is processed based on the polarization information, and the degree of polarization at a specific location can be measured in acquisition of an image with little reflection or observation with a microscope.

被写体は、これが光を反射したときの反射光の偏光状態に着目した場合、大きく2つ、平滑な表面を有する被写体(被写部分)と凹凸のある表面を有する被写体(被写部分)とに分けられる。もちろん、平滑な表面と凹凸のある表面とは、厳密に区別できるわけではなく、凹凸の大きさが小さくなれば平滑な表面に近づくように、両者は連続性のあるものである。この結果、一般に、被写体からの光は、上記「偏光成分」と上記「無偏光成分」とから構成される。被写体の表面が平滑であるほど、反射光は偏光する一方、凹凸のある表面からの反射光は、表面において散乱され、無偏光状態となっている。   When focusing on the polarization state of the reflected light when it reflects light, the subject is roughly divided into a subject having a smooth surface (photographed portion) and a subject having an uneven surface (photographed portion). Divided. Of course, a smooth surface and an uneven surface are not strictly distinguishable, and both are continuous so that if the size of the unevenness is reduced, the smooth surface is approached. As a result, in general, light from a subject is composed of the “polarized component” and the “non-polarized component”. The smoother the surface of the subject, the more the reflected light is polarized. On the other hand, the reflected light from the uneven surface is scattered on the surface and is in an unpolarized state.

そこで、上記偏光イメージング装置では、被写体からの光を構成する上記「偏光成分」及び上記「無偏光成分」のうち、偏光子ユニットを構成する全ての領域において等量の上記「無偏光成分」を透過させると共に、領域によって偏光方向が異なる上記「偏光成分」を透過させることにより、入射光を複数の成分に分離する。そして、画像処理部において、これらの透過光を詳細に解析し、必要な成分と不要な成分に分離したり、一方を抽出したりする。   Therefore, in the polarization imaging apparatus, an equal amount of the “non-polarization component” in all the regions constituting the polarizer unit among the “polarization component” and the “non-polarization component” constituting the light from the subject. The incident light is separated into a plurality of components by transmitting the “polarized component” having a different polarization direction depending on the region. Then, in the image processing unit, the transmitted light is analyzed in detail and separated into necessary components and unnecessary components, or one of them is extracted.

この結果、異なる反射箇所・反射対象からの光の偏光情報を偏光度、偏光状態ごとに個々にかつ同時に取得して、異なる偏光方向から構成される偏光画像を同時に取り込み可能とし、さらに、取り込んだ偏光画像を上記「偏光成分」及び上記「無偏光成分」に分離、選択、再構成することで偏光による不要ノイズを除去する。   As a result, polarization information of light from different reflection locations and reflection targets can be acquired individually and simultaneously for each degree of polarization and polarization state, and polarization images composed of different polarization directions can be captured simultaneously. Unnecessary noise due to polarized light is removed by separating, selecting, and reconstructing a polarized image into the “polarized component” and the “non-polarized component”.

[2] 本発明に係る偏光イメージング装置としては、
前記画像処理部は、前記各領域における透過軸の角度に対する、前記各領域を透過した透過光の強度fm(i,j)に、下記式(1)で表される数学モデルを当てはめることにより、
前記透過光の強度を、前記偏光成分に関する強度A(i,j)と、前記無偏光成分に関する強度B(i,j)とに分離する、[1]の偏光イメージング装置が挙げられる。
ここで、mは前記領域ごとに付けられた番号であり、i及びjは前記偏光子アレイにおける前記偏光子ユニットの座標であり、θmは前記領域のうち基準とする領域における透過軸を0°とした場合の他の各領域における透過軸の角度であり、θ(i,j)は前記偏光子ユニットに入力される前記偏光成分の偏光方向と、前記基準とする領域における透過軸との角度差である。
[2] As a polarization imaging apparatus according to the present invention,
The image processing unit applies a mathematical model represented by the following formula (1) to the intensity fm (i, j) of transmitted light transmitted through each region with respect to the angle of the transmission axis in each region,
The polarization imaging apparatus according to [1], in which the intensity of the transmitted light is separated into an intensity A (i, j) relating to the polarization component and an intensity B (i, j) relating to the non-polarization component.
Here, m is a number assigned to each region, i and j are coordinates of the polarizer unit in the polarizer array, and θm is 0 ° of the transmission axis in the reference region among the regions. Is the angle of the transmission axis in each other region, and θ (i, j) is the angle between the polarization direction of the polarization component input to the polarizer unit and the transmission axis in the reference region It is a difference.

具体的な、画像処理の一例としては、偏光子ユニットにおける各領域(偏光子)から得られた透過光の強度に上述する数学モデルを当てはめる方法が挙げられる。上記式(1)について簡単に説明すると、透過光は、偏光子ユニットの各領域において同じ光量が透過する無偏光成分(強度Bに関する第2の項)と、領域ごとに透過量が異なる(強度Aに関する第1の項)とが合わさったものである。   As a specific example of image processing, there is a method of applying the mathematical model described above to the intensity of transmitted light obtained from each region (polarizer) in the polarizer unit. The above formula (1) will be briefly described. The transmitted light has a different amount of transmission (intensity) from the non-polarized light component (second term relating to the intensity B) that transmits the same amount of light in each area of the polarizer unit. The first term regarding A) is combined.

ある偏光子ユニットに入射する光の偏光状態は、1ユニットの大きさと比較してより大きな周期で変化しているため、全ての領域において一様な偏光状態となっている。これに対して、各領域における透過軸は、基準とした領域(透過軸方向=0°)からθm(m=0〜)ずれた方向となっているので、偏光子ユニットを透過する透過光の強度は各領域の透過軸方向に依存した強度となる。すなわち、上記式(1)における強度Aに関する第1の項に従った強度となる。   Since the polarization state of light incident on a certain polarizer unit changes with a period larger than that of one unit, the polarization state is uniform in all regions. In contrast, the transmission axis in each region is shifted by θm (m = 0 to 0) from the reference region (transmission axis direction = 0 °), so that the transmitted light transmitted through the polarizer unit is The intensity depends on the transmission axis direction of each region. That is, the strength is in accordance with the first term relating to the strength A in the formula (1).

透過光の強度に上述する数学モデルを当てはめることにより、偏光成分に関する強度A(i,j)と、無偏光成分に関する強度B(i,j)とが求められ、両者を分離、抽出することができる。これらの分離した各成分を自由に再構成することにより、所望の画像を得ることができる。   By applying the mathematical model described above to the intensity of transmitted light, the intensity A (i, j) relating to the polarization component and the intensity B (i, j) relating to the non-polarization component are obtained, and both can be separated and extracted. it can. A desired image can be obtained by freely reconstructing these separated components.

[3] 本発明に係る偏光イメージング装置としては、
前記画像処理部は、前記各領域を透過した透過光の強度fm(i,j)を全て加算して領域数で割ることにより平均値を算出し、前記各領域における透過軸の角度に対する、前記各領域を透過した透過光の強度fm(i,j)から前記平均値を減じて得られる強度に、下記式(2)で表される数学モデルを当てはめることにより、
前記透過光の強度から、前記偏光成分に関する強度A(i,j)を抽出する、[1]の偏光イメージング装置が挙げられる。
ここで、mは前記領域ごとに付けられた番号であり、i及びjは前記偏光子アレイにおける前記偏光子ユニットの座標であり、θmは前記領域のうち基準とする領域における透過軸を0°とした場合の他の各領域における透過軸の角度であり、θ(i,j)は前記偏光子ユニットに入力される前記偏光成分の偏光方向と、前記基準とする領域における透過軸との角度差である。また、強度fm(i,j)の平均値をf(i,j)に上線を付けた記号で表示する。
[3] As a polarization imaging apparatus according to the present invention,
The image processing unit calculates an average value by adding all the intensities fm (i, j) of transmitted light transmitted through the respective regions and dividing the sum by the number of regions, and for the angle of the transmission axis in each region, By applying a mathematical model represented by the following formula (2) to the intensity obtained by subtracting the average value from the intensity fm (i, j) of the transmitted light transmitted through each region,
The polarization imaging apparatus according to [1], in which the intensity A (i, j) related to the polarization component is extracted from the intensity of the transmitted light.
Here, m is a number assigned to each region, i and j are coordinates of the polarizer unit in the polarizer array, and θm is 0 ° of the transmission axis in the reference region among the regions. Is the angle of the transmission axis in each other region, and θ (i, j) is the angle between the polarization direction of the polarization component input to the polarizer unit and the transmission axis in the reference region It is a difference. Further, the average value of the intensity fm (i, j) is displayed with a symbol with f (i, j) overlined.

各領域を透過した透過光の強度fm(i,j)を全て加算して領域数で割ることで得られる、各領域における透過光の強度の平均値は、偏光成分に関する強度Aと無偏光成分に関する強度Bとの和に等しい。したがって、上記式(1)で示す透過光の強度fm(i,j)の関数から、各領域における透過光の強度の平均値を減じることにより、上記式(2)に示すように、偏光成分に関する式に単純化することができる。   The average value of the transmitted light intensity in each region obtained by adding all the intensities fm (i, j) of the transmitted light transmitted through each region and dividing by the number of regions is the intensity A for the polarization component and the unpolarized component Is equal to the sum of intensity B for Therefore, by subtracting the average value of the transmitted light intensity in each region from the function of the transmitted light intensity fm (i, j) expressed by the above formula (1), as shown in the above formula (2), the polarization component Can be simplified to

[4] 本発明に係る偏光イメージング装置としては、
前記画像処理部は、更に、前記θ(i,j)を算出して、前記偏光成分の偏光方向を求める、[2]又は[3]の偏光イメージング装置が挙げられる。
[4] As a polarization imaging apparatus according to the present invention,
The image processing unit further includes the polarization imaging apparatus according to [2] or [3], in which the θ (i, j) is calculated to determine the polarization direction of the polarization component.

[5] さらに、本発明に係る偏光イメージング装置としては、
それぞれ透過軸が異なる3つ以上の偏光子の領域に分かれており、入射される入力光のうち、前記各領域において当該入力光の無偏光成分を透過させると共に、前記各領域によって偏光方向が異なる前記入力光の偏光成分を透過させる偏光子ユニットを1個又は複数個含む偏光子アレイと、
前記各領域を透過した光を独立に受光する受光素子アレイと、
前記各領域を透過した透過光の強度について、隣接する領域同士の透過光の強度差が所定値より大きい偏光子ユニットと所定値より小さい偏光子ユニットとを分離する画像処理部と、
を有する偏光イメージング装置が挙げられる。
[5] Furthermore, as a polarization imaging apparatus according to the present invention,
It is divided into three or more polarizer regions each having a different transmission axis, and transmits the non-polarized component of the input light in each region of the input light that is incident, and the polarization direction varies depending on each region. A polarizer array including one or a plurality of polarizer units that transmit the polarization component of the input light;
A light receiving element array that independently receives light transmitted through each of the regions;
With respect to the intensity of transmitted light transmitted through each of the regions, an image processing unit that separates a polarizer unit having a difference in transmitted light intensity between adjacent regions larger than a predetermined value and a polarizer unit smaller than a predetermined value;
A polarization imaging apparatus having

[6] 本発明に係る偏光イメージング装置としては、
前記偏光子ユニットにおける前記透過軸が、前記領域ごとに45°以下の角度で異なる、[1]又は[5]の偏光イメージング装置が挙げられる。
[6] As a polarization imaging apparatus according to the present invention,
The polarization imaging apparatus according to [1] or [5], in which the transmission axis in the polarizer unit is different at an angle of 45 ° or less for each region.

[7] 本発明に係る偏光イメージング装置としては、
前記偏光子ユニットは、前記領域を4つ有し、
前記領域における前記透過軸は、それぞれ前記領域のうち基準とする領域における透過軸に対して0°、45°、90°、135°の方向である、[1]又は[5]の偏光イメージング装置が挙げられる。
[7] As a polarization imaging apparatus according to the present invention,
The polarizer unit has four regions,
The polarization imaging apparatus according to [1] or [5], wherein the transmission axis in the region is a direction of 0 °, 45 °, 90 °, and 135 ° with respect to a transmission axis in a reference region among the regions. Is mentioned.

偏光子ユニットにおける各領域の設け方には様々な態様があるが、1つのユニットに3つ以上の領域を設けることが好ましい。また、各領域における透過軸は均等にずれて形成されることが好ましい。例えば、1ユニットに3つの領域を設けた場合、基準領域(透過軸方向=0°)に対して他の領域は、自由な透過軸方向を設計できるが、好ましくは60°、120°ずれた透過軸方向とする。また、1ユニットに4つの領域を設けた場合、基準領域(透過軸方向=0°)に対して他の領域は、自由な透過軸方向を設計できるが、好ましくは45°、90°、135°ずれた透過軸方向とする。すなわち、透過軸方向を均等にずらして形成するとは、1つのユニットにM個の領域がある場合、各領域の透過軸方向をπ/Mずらして形成することである。また、このずれ角度が小さいほど、入力光が有しうる様々な偏光角度に対応することができるようになるので、45°以下のずれ、好ましくは36°以下のずれ、より好ましくは30°以下のずれがよい。1つの偏光子ユニットを構成する領域の数としては、3〜180個、3〜90個、3〜45個、3〜30個などが挙げられ、好ましくは、36個、25個、16個、9個、4個である。   There are various ways of providing each region in the polarizer unit, but it is preferable to provide three or more regions in one unit. Moreover, it is preferable that the transmission axes in each region are formed so as to be evenly shifted. For example, when three areas are provided in one unit, a free transmission axis direction can be designed for other areas with respect to the reference area (transmission axis direction = 0 °), but preferably 60 ° and 120 ° shifted. The transmission axis direction. In addition, when four regions are provided in one unit, a free transmission axis direction can be designed for other regions with respect to the reference region (transmission axis direction = 0 °), but preferably 45 °, 90 °, 135 The direction of the transmission axis is shifted. That is, forming the transmission axis direction evenly shifted means that when there are M areas in one unit, the transmission axis direction of each area is shifted by π / M. Also, the smaller this deviation angle is, the more it becomes possible to deal with various polarization angles that the input light can have, so a deviation of 45 ° or less, preferably 36 ° or less, more preferably 30 ° or less. The shift is good. Examples of the number of regions constituting one polarizer unit include 3-180, 3-90, 3-45, 3-30, etc., preferably 36, 25, 16, Nine and four.

[8] 本発明に係る偏光イメージング装置としては、
前記偏光子ユニットの各領域の境界部分に遮光部分を設けるか、または前記偏光子ユニットの各領域の境界部分に対応した前記受光素子アレイの領域を遮光し、前記境界部分における光の回折や散乱の影響を抑圧する、[1]又は[5]の偏光イメージング装置が挙げられる。
[8] As a polarization imaging apparatus according to the present invention,
A light shielding portion is provided at a boundary portion of each region of the polarizer unit, or a region of the light receiving element array corresponding to a boundary portion of each region of the polarizer unit is shielded, and light is diffracted or scattered at the boundary portion. The polarization imaging apparatus of [1] or [5] that suppresses the influence of the above is mentioned.

[9] 本発明に係る偏光イメージング装置としては、
前記偏光子ユニットは、直交座標系x、y、zにおいて、xy面に平行な1つの基板の上に2種以上の透明材料をz方向に交互に積層した多層構造体であって、xy面内において3つ以上の偏光子の領域に分かれており、各層は領域毎に定まるxy面内の一方向に繰り返される1次元周期的な凹凸形状を有し、
前記xy面に前記入力光が入射される、
[1]ないし[8]のいずれかの偏光イメージング装置が挙げられる。
[9] As a polarization imaging apparatus according to the present invention,
The polarizer unit is a multilayer structure in which two or more transparent materials are alternately stacked in the z direction on a single substrate parallel to the xy plane in an orthogonal coordinate system x, y, z. Each layer is divided into three or more polarizer regions, and each layer has a one-dimensional periodic uneven shape repeated in one direction in the xy plane determined for each region,
The input light is incident on the xy plane;
The polarization imaging apparatus according to any one of [1] to [8] is included.

[10] 本発明に係る偏光イメージング装置としては、
前記偏光子ユニットは、前記各領域がワイヤーグリッド型偏光子により構成されている、
[1]ないし[8]のいずれかの偏光イメージング装置が挙げられる。
[10] As a polarization imaging apparatus according to the present invention,
In the polarizer unit, each region is configured by a wire grid polarizer.
The polarization imaging apparatus according to any one of [1] to [8] is included.

偏光子ユニットを構成する各領域(偏光子)としては、偏光子としての機能を有するものであれば特に限定されないが、例えば、自己クローニング技術により形成された偏光子や、ワイヤーグリッド型偏光子などが挙げられる。   Each region (polarizer) constituting the polarizer unit is not particularly limited as long as it has a function as a polarizer. For example, a polarizer formed by a self-cloning technique, a wire grid polarizer, etc. Is mentioned.

[11] 本発明に係る偏光イメージング装置としては、
前記受光素子アレイがフォトディテクタ、CCD、C−MOS又は撮像管のいずれかである、[1]ないし[10]のいずれかの偏光イメージング装置が挙げられる。
偏光子ユニットにおける偏光子(領域)と受光素子との対応関係については、1つの偏光子に対して少なくとも1つの受光素子を対応させることが好ましい。また、1つの偏光子に対して2つ以上の受光素子を対応させてもよい。隣接する受光素子は必ずしも全部が同じ光学特性を有しているわけではなく、感度や雑音強度などに多少の個体差がある場合が多い。そこで、1つの偏光子に対して2つ以上の受光素子を割り当てることにより、複数の受光素子間のばらつきを平均化でき、偏光強度、偏光角などを算出する際にS/N比を向上させることができる。
[11] As a polarization imaging apparatus according to the present invention,
The polarization imaging apparatus according to any one of [1] to [10], wherein the light receiving element array is any one of a photodetector, a CCD, a C-MOS, and an imaging tube.
Regarding the correspondence between the polarizer (region) and the light receiving element in the polarizer unit, it is preferable that at least one light receiving element corresponds to one polarizer. Further, two or more light receiving elements may correspond to one polarizer. Adjacent light receiving elements do not necessarily have the same optical characteristics, and there are many individual differences in sensitivity and noise intensity. Therefore, by assigning two or more light receiving elements to one polarizer, it is possible to average the variation among the plurality of light receiving elements, and improve the S / N ratio when calculating the polarization intensity, the polarization angle, and the like. be able to.

[12] また、本発明に係る偏光イメージング装置の応用例としては、
[1]の偏光イメージング装置を具備し、
前記画像処理部により、前記入力光を構成する前記偏光成分と前記無偏光成分とを分離して、前記無偏光成分を得る、撮影装置が挙げられる。
[12] As an application example of the polarization imaging apparatus according to the present invention,
Comprising the polarization imaging apparatus of [1],
There is an imaging device in which the image processing unit separates the polarization component and the non-polarization component constituting the input light to obtain the non-polarization component.

例えば、ショーウインドウの中の商品を撮影する場合、ショーウインドウからの反射光は偏光している一方、ウインドウ内の商品からの反射光は偏光していないといった場合が多いので、両反射光をその偏光状態を解析することにより、無偏光成分のみを分離、抽出し、ガラスからの反射光(偏光成分)を除いて最適な画像とすることができる。また、ショーウインドウが曲面ガラスなどである場合には、ウインドウにおける反射箇所の違いにより反射光の偏光角度などが異なる。このような場合でも、複数の偏光角度に対応した偏光子ユニット及びそのアレイ板を用いることにより、ウインドウからの種々の偏光した反射光を分離することができる。   For example, when shooting a product in a show window, the reflected light from the show window is polarized, while the reflected light from the product in the window is often not polarized. By analyzing the polarization state, only the non-polarized component can be separated and extracted, and the reflected image from the glass (polarized component) can be removed to obtain an optimum image. In addition, when the show window is a curved glass or the like, the polarization angle of the reflected light and the like differ depending on the difference in the reflection part in the window. Even in such a case, by using a polarizer unit corresponding to a plurality of polarization angles and an array plate thereof, various polarized reflected lights from the window can be separated.

[13] また、本発明に係る偏光イメージング装置の応用例としては、
[4]の偏光イメージング装置を具備し、
前記画像処理部により、更に、前記偏光成分の偏光方向の角度を前記偏光子ユニットごとにマッピングして、物体の表面形状を検出する、表面形状計測装置が挙げられる。
[13] As an application example of the polarization imaging apparatus according to the present invention,
Comprising the polarization imaging apparatus of [4],
A surface shape measuring device that further detects the surface shape of an object by mapping the angle of the polarization direction of the polarization component for each polarizer unit by the image processing unit.

[14] また、本発明に係る偏光イメージング装置の応用例としては、
[4]の偏光イメージング装置を具備し、
前記画像処理部により、更に、前記偏光成分の偏光方向の角度を前記偏光子ユニットごとにマッピングして、物体の表面を構成する物質の連続性を検出する、表面性状計測装置。
[14] As an application example of the polarization imaging apparatus according to the present invention,
Comprising the polarization imaging apparatus of [4],
A surface property measurement apparatus that further detects the continuity of a substance constituting the surface of an object by mapping an angle of a polarization direction of the polarization component for each polarizer unit by the image processing unit.

ある偏光子ユニットに入力される入力光は、各領域に一様な偏光角度で入力されるので、当該偏光した入力光はいずれかの領域(又は領域ごとに分布を持って)を透過してくる。このため、入力光がいずれの領域を透過したのかを解析することにより、入力光の偏光角度を求めることができ、偏光子ユニットごとの偏光角度のマップを作成することができる。表面形状が他の部分と異なる箇所(例えば平滑面における傷など)からの反射光は、それ以外の箇所からの反射光と比較して、異なった偏光状態である場合が多いため、このマップを概観した場合、すぐにその異常な箇所を検出することができる。また、物体の表面を構成する物質が他の部分と異なる箇所(例えば複数物質により表面が構成されている場合など)からの反射光は、それ以外の箇所からの反射光と比較して、異なった偏光状態である場合が多いため、このマップを概観した場合、すぐにその異なる物質の箇所を検出することができる。   Since the input light input to a certain polarizer unit is input to each region with a uniform polarization angle, the polarized input light passes through any region (or has a distribution for each region). come. Therefore, by analyzing which region the input light has passed through, the polarization angle of the input light can be obtained, and a map of the polarization angle for each polarizer unit can be created. Reflected light from places where the surface shape is different from other parts (for example, scratches on a smooth surface) is often in a different polarization state compared to reflected light from other parts. In the case of an overview, the abnormal part can be detected immediately. In addition, the reflected light from a location where the substance constituting the surface of the object is different from other parts (for example, when the surface is constituted by multiple substances) is different from the reflected light from other locations. Therefore, when this map is overviewed, the location of the different substance can be detected immediately.

[15] また、本発明に係る偏光イメージング装置の応用例としては、
[4]の偏光イメージング装置を具備し、
前記画像処理部により、更に、前記偏光成分の偏光方向の角度を前記偏光子ユニットごとにマッピングして、該マップにおいて所定の偏光角度が所定の範囲に亘って一様となる箇所又は連続的に変化する箇所を検出する、撮影装置が挙げられる。
[15] As an application example of the polarization imaging apparatus according to the present invention,
Comprising the polarization imaging apparatus of [4],
The image processing unit further maps the angle of the polarization direction of the polarization component for each polarizer unit, and in the map, the predetermined polarization angle is uniform over a predetermined range or continuously. An imaging device that detects a changing portion is mentioned.

[16] また、本発明に係る偏光イメージング装置の応用例としては、
[15]の撮影装置を具備し、
前記画像処理部により、更に、前記マップにおいて所定の偏光角度が所定の範囲に亘って一様となる箇所又は連続的に変化する箇所を路面として特定し、前記路面として特定された箇所に位置する物体を検出する、路面上障害物検出装置が挙げられる。
[16] As an application example of the polarization imaging apparatus according to the present invention,
[15] including a photographing device;
The image processing unit further specifies a location where a predetermined polarization angle is uniform over a predetermined range in the map or a location where the polarization angle changes continuously as a road surface, and is located at a location specified as the road surface. An obstacle detection device on a road surface that detects an object is mentioned.

[17] また、本発明に係る偏光イメージング装置の応用例としては、
[15]の撮影装置を具備し、
前記画像処理部により、更に、前記マップにおいて所定の偏光角度が所定の範囲に亘って一様となる箇所又は連続的に変化する箇所を路面として特定し、
前記画像処理部により、更に、前記マップにおける前記路面として特定された箇所に相当する部分において、前記偏光成分に関する強度が所定値より大きい箇所または前記無偏光成分に関する強度が所定値より小さい箇所を液体成分が存在する箇所と判定すると共に、前記偏光成分に関する強度が所定値より小さい箇所または前記無偏光成分に関する強度が所定値より大きい箇所を固体成分が存在する箇所と判定する、路面状態検出装置が挙げられる。
[17] As an application example of the polarization imaging apparatus according to the present invention,
[15] including a photographing device;
The image processing unit further specifies a place where a predetermined polarization angle is uniform over a predetermined range in the map or a place where it continuously changes as a road surface,
Further, in the portion corresponding to the location specified as the road surface in the map by the image processing unit, a location where the intensity relating to the polarization component is greater than a predetermined value or a location where the intensity relating to the non-polarization component is less than a predetermined value is liquid. A road surface state detection device that determines a location where a component exists and determines a location where the intensity related to the polarized component is smaller than a predetermined value or a location where the intensity related to the non-polarized component is higher than a predetermined value as a location where a solid component exists. Can be mentioned.

[18] また、本発明に係る偏光イメージング装置の応用例としては、
[1]ないし[3]のいずれかの偏光イメージング装置を具備し、
前記画像処理部により、前記入力光を構成する前記偏光成分と前記無偏光成分とを分離すると共に、前記偏光成分に関する強度または前記無偏光成分に関する強度を前記偏光子ユニットごとにマッピングする、撮影装置が挙げられる。
[18] As an application example of the polarization imaging apparatus according to the present invention,
Comprising the polarization imaging device according to any one of [1] to [3],
The image processing unit separates the polarization component and the non-polarization component constituting the input light, and maps the intensity related to the polarization component or the intensity related to the non-polarization component for each polarizer unit. Is mentioned.

[19] また、本発明に係る偏光イメージング装置の応用例としては、
[18]の撮影装置を具備し、
前記画像処理部により、更に、前記マップにおいて、前記偏光成分に関する強度が所定値より大きい箇所または前記無偏光成分に関する強度が所定値より小さい箇所を液体成分が存在する箇所と判定すると共に、前記偏光成分に関する強度が所定値より小さい箇所または前記無偏光成分に関する強度が所定値より大きい箇所を固体成分が存在する箇所と判定する、気象観察用撮影装置が挙げられる。
[19] As an application example of the polarization imaging apparatus according to the present invention,
[18] including a photographing apparatus;
The image processing unit further determines, in the map, a location where the intensity relating to the polarization component is greater than a predetermined value or a location where the intensity relating to the non-polarization component is less than a predetermined value as a location where a liquid component exists, and the polarization A weather observation imaging apparatus that determines a location where the intensity related to the component is smaller than a predetermined value or a location where the intensity related to the non-polarized component is greater than the predetermined value as a location where a solid component exists is cited.

[20] また、本発明に係る偏光イメージング装置の応用例としては、
[5]の偏光イメージング装置を具備し、
前記画像処理部により、更に、前記隣接する領域同士の透過光の強度差が所定値より大きい偏光子ユニットが所定の範囲に亘って隣接して連続する箇所からの情報を移動体として検出する、移動体検出用撮影装置が挙げられる。
[20] As an application example of the polarization imaging apparatus according to the present invention,
Comprising the polarization imaging apparatus of [5],
The image processing unit further detects, as a moving body, information from a location where a polarizer unit having a transmitted light intensity difference between adjacent regions larger than a predetermined value is adjacent and continuous over a predetermined range. An imaging device for detecting a moving object is exemplified.

本発明によれば、輝度情報、及び複数の偏光情報を同時に得ることに加えて、さらに被写体からの光を構成する偏光成分と無偏光成分とを分離したり、ある特定の成分を抽出したりすることにより、より画像処理精度を向上させた偏光イメージング装置とすることができる。   According to the present invention, in addition to simultaneously obtaining luminance information and a plurality of polarization information, the polarization component and the non-polarization component constituting the light from the subject are further separated, or a specific component is extracted. By doing so, a polarization imaging apparatus with improved image processing accuracy can be obtained.

例えば、ショーウインドウの中の商品を撮影する場合、ショーウインドウからの反射光は偏光している一方、ウインドウ内の商品からの反射光は偏光していないといった場合が多いので、両反射光をその偏光状態を解析することにより、分離し、主として商品からの反射光を抽出して最適な画像とすることができる。また、ショーウインドウが曲面ガラスなどである場合には、ウインドウにおける反射箇所の違いにより反射光の偏光角度などが異なる。このような場合でも、複数の偏光角度に対応した偏光子ユニット及びそのアレイ板を用いることにより、ウインドウからの種々の偏光した反射光を分離することができる。また、偏光子ユニットごとの偏光角度のマップを作成することができ、表面形状が他の部分と異なる箇所(例えば平滑面における傷など)や物体の表面を構成する物質が他の部分と異なる箇所(例えば複数物質により表面が構成されている場合など)などの異常な箇所を検出することができる。   For example, when shooting a product in a show window, the reflected light from the show window is polarized, while the reflected light from the product in the window is often not polarized. By analyzing the polarization state, it is possible to separate and mainly extract reflected light from the product to obtain an optimum image. In addition, when the show window is a curved glass or the like, the polarization angle of the reflected light and the like differ depending on the difference in the reflection part in the window. Even in such a case, by using a polarizer unit corresponding to a plurality of polarization angles and an array plate thereof, various polarized reflected lights from the window can be separated. In addition, it is possible to create a map of the polarization angle for each polarizer unit, where the surface shape is different from other parts (for example, scratches on a smooth surface), and where the material constituting the surface of the object is different from other parts An abnormal location such as a case where the surface is composed of a plurality of substances can be detected.

更に、隣接する領域同士の透過光の強度差が所定値より大きい偏光子ユニットと所定値より小さい偏光子ユニットとを分離することにより、撮影画像において偏光成分が比較的多く含まれる箇所と比較的少なく含まれる箇所とを識別することができる。これにより、例えば、車両などの移動体を含む景観の中から車両(移動体)のガラスなどの偏光成分の多い箇所を識別することができる結果、車両(移動体)を検出することができる。   Further, by separating a polarizer unit having a transmitted light intensity difference between adjacent regions larger than a predetermined value and a polarizer unit smaller than a predetermined value, a portion where a polarization component is relatively contained in a captured image is relatively different. It is possible to distinguish from a portion that is included in a small amount. Thereby, for example, a vehicle (moving body) can be detected as a result of being able to identify a portion having a large amount of polarization components such as glass of the vehicle (moving body) from a landscape including a moving body such as a vehicle.

また、偏光子ユニットごとの偏光角度のマップを作成することができ、例えば該マップにおいて所定の偏光角度が所定の範囲に亘って一様となる箇所又は連続的に変化する箇所を検出したり、更には、該検出箇所を路面として特定して、路面として特定された箇所に位置する物体を検出することができる。また、該検出箇所を路面として特定して、さらに、路面として特定された箇所における偏光成分又は無偏光成分に関する強度を解析することにより、該解析結果に基づいて路面上に水面や氷面が存在するかなどを判断することができる。この結果、撮影した画像における一部を画像処理するだけで路面上の障害物や路面状態などを検出することができ、撮影画像の全てを画像処理する必要がなくなる。なお、路面状態の検出については、次に説明する液体成分と固体成分との識別機能を利用しているため、後述するように、さらに識別精度を高めるアルゴリズムなどが必要となる場合もある。   Further, a map of the polarization angle for each polarizer unit can be created, for example, a location where the predetermined polarization angle is uniform over a predetermined range or a location where it continuously changes in the map, Furthermore, the detection location can be specified as a road surface, and an object located at the location specified as the road surface can be detected. In addition, by specifying the detection location as a road surface and analyzing the intensity of the polarized light component or non-polarized light component at the location specified as the road surface, there is a water surface or ice surface on the road surface based on the analysis result. It is possible to determine whether or not to do so. As a result, obstacles on the road surface, road surface conditions, and the like can be detected by only performing image processing on a part of the captured image, and it is not necessary to perform image processing on the entire captured image. Note that the detection of the road surface state uses a function for discriminating between a liquid component and a solid component, which will be described below, so that an algorithm for further improving the discrimination accuracy may be required as will be described later.

また、偏光子ユニットごとの偏光成分(又は無偏光成分)に関する強度のマップを作成することができ、例えば該マップにおいて偏光成分(又は無偏光成分)に関する強度の大小により、液体成分が比較的多く存在する箇所と固体成分が比較的多く存在する箇所とを識別することができる。更には、前記識別精度を高めるアルゴリズムを採用したり、例えば他の情報をも考慮したりするなどにより、液体成分が存在する箇所と固体成分が存在する箇所とをより明確に識別することができる。この結果、例えば雲などを撮影したときに雲を構成する成分(例えば、水蒸気、砂、塵など)を判断することができる。   Further, it is possible to create a map of intensity related to the polarization component (or non-polarization component) for each polarizer unit. For example, the liquid component is relatively large due to the magnitude of the intensity related to the polarization component (or non-polarization component) in the map. It is possible to distinguish between a location where the solid component exists and a location where a relatively large amount of the solid component exists. Furthermore, the location where the liquid component is present and the location where the solid component is present can be more clearly identified by adopting an algorithm for improving the identification accuracy, or considering other information, for example. . As a result, it is possible to determine components (for example, water vapor, sand, dust, etc.) constituting the cloud when the cloud is photographed.

<装置構成の概要>
以下、図面に基づいて、本発明の実施形態に係る偏光イメージング装置について説明する。図1は、本発明の実施形態に係る偏光イメージング装置の概略構成図である。図1に示すように、偏光イメージング装置100は、偏光子アレイ101と偏光子アレイからの光を受光する受光素子アレイ102とからなる受光モジュール103と、受光素子アレイ102からの光に関する情報(偏光成分及び無偏光成分)を処理する画像処理部104とを有する偏光イメージング装置である。
<Outline of device configuration>
Hereinafter, a polarization imaging apparatus according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a schematic configuration diagram of a polarization imaging apparatus according to an embodiment of the present invention. As illustrated in FIG. 1, the polarization imaging apparatus 100 includes a light receiving module 103 including a polarizer array 101 and a light receiving element array 102 that receives light from the polarizer array, and information on light from the light receiving element array 102 (polarization). Component and non-polarized light component).

なお、画像処理部104は、偏光イメージング装置に備えられたCPUなどの演算部105により、メインメモリ106中の制御プログラムから受けた指令、メモリなどの記憶手段から読み出された記憶情報などに基づいて、下記詳細に説明する画像処理を行うように構成されている。そして、得られた処理画像は、演算部105からの指令により、モニタやプリンタなどの出力部107から出力されるようになっている。   The image processing unit 104 is based on a command received from a control program in the main memory 106 by a calculation unit 105 such as a CPU provided in the polarization imaging apparatus, storage information read from a storage unit such as a memory, and the like. The image processing described in detail below is performed. The obtained processed image is output from an output unit 107 such as a monitor or a printer in response to a command from the calculation unit 105.

次に、偏光イメージング装置を実現する各構成、すなわち、偏光子アレイ101と受光素子アレイ102とからなる受光モジュール103、および画像処理部104における画像処理原理について説明する。   Next, each component for realizing the polarization imaging apparatus, that is, the image processing principle in the light receiving module 103 including the polarizer array 101 and the light receiving element array 102 and the image processing unit 104 will be described.

<受光モジュール>
図2は、フォトニック結晶からなる偏光子の概念図である。まず、フォトニック結晶からなる偏光子について説明する。図2のような周期的な溝列を形成した透明材料基板201上に、透明で高屈折率の媒質202と低屈折率の媒質203とを界面の形状を保存しながら、交互に積層する。各層はx方向に周期性を持つが、y方向には一様であってもよいしx軸方向より大きい長さの周期的または非周期的な構造を有していてもよい。このような微細な周期構造(フォトニック結晶)は、自己クローニング技術と呼ばれる方式(特開平10−335758号公報を参照)を用いることにより、再現性良く且つ高い均一性で作製することができる。
<Light receiving module>
FIG. 2 is a conceptual diagram of a polarizer made of a photonic crystal. First, a polarizer made of a photonic crystal will be described. A transparent high-refractive index medium 202 and a low-refractive index medium 203 are alternately stacked on a transparent material substrate 201 having a periodic groove array as shown in FIG. 2 while preserving the shape of the interface. Each layer has periodicity in the x direction, but may be uniform in the y direction, or may have a periodic or aperiodic structure having a length larger than that in the x-axis direction. Such a fine periodic structure (photonic crystal) can be produced with high reproducibility and high uniformity by using a method called a self-cloning technique (see Japanese Patent Laid-Open No. 10-335758).

こうして作成された周期構造体にxy面に垂直あるいは斜め方向から無偏波光または楕円偏光を入射すると、溝列と平行な偏波即ちy偏波と、それに直交するx偏波とに対して、それぞれTEモードとTMモードの光が周期構造体の内部に励起される。TEモードとTMモードの伝搬定数は、周期構造を構成する材料の屈折率、xy面の周期、積層周期によって広い範囲で選ぶことができる。   When non-polarized light or elliptically polarized light is incident on the periodic structure thus created perpendicularly or obliquely to the xy plane, the polarized wave parallel to the groove array, that is, the y-polarized light, and the x-polarized light orthogonal to the polarized wave, Each of TE mode light and TM mode light is excited inside the periodic structure. The propagation constant of the TE mode and the TM mode can be selected in a wide range depending on the refractive index of the material constituting the periodic structure, the period of the xy plane, and the stacking period.

図3は、図2に示すフォトニック結晶の伝搬特性を表すバンド図である。同図には、高屈折率材料としてSi、低屈折率材料としてSiO2を用いた場合の2次元周期構造の分散曲線の例を示してある。縦軸は波長λの逆数を積層周期Lzで規格化した値、横軸は1周期を伝搬したときの位相変化量kzz(kzはz方向の伝播定数)をπで規格化した値である。白丸がTE波、黒丸がTM波を示す。Lxは面内方向の周期を表し、ここではLz/Lx=1としてある。 FIG. 3 is a band diagram showing the propagation characteristics of the photonic crystal shown in FIG. This figure shows an example of a dispersion curve of a two-dimensional periodic structure when Si is used as the high refractive index material and SiO 2 is used as the low refractive index material. The vertical axis is the value obtained by normalizing the reciprocal of the wavelength λ by the stacking period Lz, and the horizontal axis is the phase change amount k z L z (k z is the propagation constant in the z direction) when propagating one period is normalized by π. Value. White circles indicate TE waves and black circles indicate TM waves. L x represents a period in the in-plane direction, and here, L z / L x = 1.

入射する光の周波数が、バンドギャップの中にあれば、そのモードは周期構造体の中で伝搬することができず、入射光は反射または回折される。一方、光の周波数がフォトニックバンド内にあれば、周期構造体の中を光は透過することができる。周波数領域301では、TE波はバンドギャップとなり反射され、TM波は伝搬域であるため透過され、従って偏光分離素子(特開2001−83321号公報、特開2000−056133号公報(特許3288976号)を参照。)として動作する。周波数領域302では、TE波が透過し、TM波が反射される偏光子として動作する。本構造の偏光子の特長は、透過光の消光比が高い、薄型軽量、任意の基板に形成可能、などが挙げられる。これまで数値シミュレーションと実験により、特に高周波数側の301の領域を利用したもので、高い消光比50dBを少ない積層数10周期で実現している。一方、周波数領域303では、TE波とTM波ともに伝搬域となり透過する。しかしこの場合、2つの曲線がずれていることからそれぞれの伝搬定数が異なり、2つのモードに位相差を与える波長板として動作することになる。   If the frequency of the incident light is within the band gap, the mode cannot propagate in the periodic structure and the incident light is reflected or diffracted. On the other hand, if the frequency of light is within the photonic band, light can pass through the periodic structure. In the frequency region 301, the TE wave is reflected as a band gap, and the TM wave is transmitted because it is a propagation region. Therefore, the polarization separation element (Japanese Patent Laid-Open Nos. 2001-83321 and 2000-056133 (Patent No. 3288976)) is transmitted. See). In the frequency domain 302, it operates as a polarizer that transmits TE waves and reflects TM waves. Features of the polarizer of this structure include a high extinction ratio of transmitted light, a thin and light weight, and can be formed on an arbitrary substrate. Up to now, numerical simulations and experiments have utilized a region of 301 on the high frequency side in particular, and a high extinction ratio of 50 dB has been realized with a small number of stacks of 10 cycles. On the other hand, in the frequency region 303, both the TE wave and the TM wave become a propagation region and are transmitted. However, in this case, since the two curves are deviated from each other, the propagation constants are different from each other, and it operates as a wave plate that gives a phase difference between the two modes.

フォトニツク結晶からなる偏光子や波長板は、構成する材料の屈折率、充填率、溝列の周期Lx、積層方向の周期Lzを調整することで、動作波長域を自由に設定することができる。例えば、基板のパターンや製膜に使用する材料、および積層周期や積層数を適当に設計することにより、任意の位相差を与える波長板を設計可能であり、例えば位相差がπ/2となるようにすれば、1/4波長板として動作させることができる。さらに、溝の周期や方向は1枚の基板内の領域毎に独立に変えることができるため、フォトニック結晶の特性を領域毎に変えることができる。これをマルチパターンフォトニック結晶と呼ぶ。例えば、偏光子であれば領域毎に光軸方向を変えることができ、また波長板であれば、光軸方向や位相差を変えることができる。 For polarizers and wave plates made of photonic crystals, the operating wavelength range can be freely set by adjusting the refractive index, filling factor, groove row period L x , and laminating direction period L z of the constituent materials. Can do. For example, it is possible to design a wave plate that gives an arbitrary phase difference by appropriately designing the pattern of the substrate, the material used for film formation, the lamination period and the number of laminations, and the phase difference becomes π / 2, for example. By doing so, it can be operated as a quarter-wave plate. Furthermore, since the period and direction of the groove can be changed independently for each region in one substrate, the characteristics of the photonic crystal can be changed for each region. This is called a multi-pattern photonic crystal. For example, the polarizer can change the optical axis direction for each region, and the wavelength plate can change the optical axis direction and phase difference.

フォトニック結晶を構成する低屈折率媒質としては、SiO2を主成分とする材料が最も一般的であり、透明波長領域が広く、化学的、熱的、機械的にも安定であり、製膜も容易に行うことができる。また、低屈折率媒質としてはその他の光学ガラス、例えばMgF2のようなより屈折率の低い材料を用いてもよい。高屈折率材料としては、Si、Geなどの半導体や、Ta25、TiO2、Nb25、HfO2、Si34などの酸化物や窒化物を用いることができる。半導体材料は屈折率が大きいため、大きなバンドキャップが得られるという利点があるが、利用波長域は近赤外に限定される。一方、酸化物や窒化物は透明波長範囲が広いことから、可視光領域でも使用することが可能となる。 As a low refractive index medium constituting a photonic crystal, a material having SiO 2 as a main component is the most common, a transparent wavelength region is wide, and it is chemically, thermally, and mechanically stable. Can also be done easily. Further, as the low refractive index medium, other optical glass, for example, a material having a lower refractive index such as MgF 2 may be used. As the high refractive index material, a semiconductor such as Si or Ge, or an oxide or nitride such as Ta 2 O 5 , TiO 2 , Nb 2 O 5 , HfO 2 , or Si 3 N 4 can be used. Since the semiconductor material has a large refractive index, there is an advantage that a large band cap can be obtained, but the use wavelength range is limited to the near infrared. On the other hand, since oxides and nitrides have a wide transparent wavelength range, they can be used even in the visible light region.

自己クローニング法によりフォトニック結晶偏光子を作製する場合、まず基板上に電子ビームリソグラフィとドライエッチングにより、先の図2の基板201に示したような周期的な溝を作製する。溝パターンの形成には、その他のフォトリソグラフィや干渉露光、金型によるスタンピング技術を用いても良い。また、図2では溝の断面形状は矩形であるが、三角形など他の形でも良い。基板としてはSiや石英ガラス、その他の光学ガラスなどが使用できる。凹凸のピッチは入射する光の波長の半分程度、例えば0.8μmの光では0.4μm程度、溝の深さは0.2μm程度である。   When a photonic crystal polarizer is manufactured by the self-cloning method, first, periodic grooves as shown in the substrate 201 of FIG. 2 are formed on the substrate by electron beam lithography and dry etching. For the formation of the groove pattern, other photolithography, interference exposure, or a stamping technique using a mold may be used. In FIG. 2, the cross-sectional shape of the groove is rectangular, but other shapes such as a triangle may be used. As the substrate, Si, quartz glass, other optical glass, or the like can be used. The pitch of the unevenness is about half of the wavelength of incident light, for example, about 0.4 μm for 0.8 μm light, and the depth of the groove is about 0.2 μm.

上述した偏光子の開口面積や透過軸は、はじめに基板に加工する溝パターンの大きさや方向で自由に設計することができる。パターン形成は、電子ビームリソグラフィ、フォトリソグラフィ、干渉露光法、ナノプリンティングなど様々な方法で行うことができる。いずれの場合でも、微小領域ごとに溝の方向を高精度に定めることができる。そのため、透過軸の異なる微小偏光子を組み合わせた偏光子ユニット、更にそれを複数並べた偏光子アレイを形成することが可能となる。また、凹凸パターンを持つ特定の領域のみが偏光子の動作をするため、その周辺の領域を平坦あるいは、面内で等方的な凹凸パターンにしておけば偏波依存性のない媒質として光は透過する。したがって、特定の領域にのみ偏光子を作りこむことができる。   The aperture area and transmission axis of the polarizer described above can be freely designed according to the size and direction of the groove pattern to be processed on the substrate first. Pattern formation can be performed by various methods such as electron beam lithography, photolithography, interference exposure, and nanoprinting. In any case, the direction of the groove can be determined with high accuracy for each minute region. Therefore, it is possible to form a polarizer unit in which micro-polarizers having different transmission axes are combined, and further a polarizer array in which a plurality of them are arranged. In addition, since only a specific region having a concavo-convex pattern operates as a polarizer, if the peripheral region is flat or isotropic concavo-convex pattern in the plane, light can be used as a medium having no polarization dependency. To Penetrate. Therefore, a polarizer can be formed only in a specific region.

この基板201上に、Ta25およびSiO2等のターゲットを用い、スパッタデポジションとバイアススパッタリングを組み合わせて交互多層膜を積層する。このとき、各層のx軸方向に周期的な凹凸形状が保存されるように、バイアス条件を適切に設定することが肝要である。この自己クローニング技術(特開平10−335758号公報(特許3325825号)を参照。)は、再現性、均一性が高く、工業的に微細な周期構造(フォトニック結晶)を作製する優れた手法である。基板の上に規則的な積層構造が生成される理由は、(1)ターゲットからの中性粒子の分散入射による堆積、(2)Arイオンの垂直入射によるスパッタエッチング、それと、(3)堆積粒子の再付着の3つの作用の重ね合わせによって説明することができる。 An alternating multilayer film is laminated on the substrate 201 by using a target such as Ta 2 O 5 and SiO 2 in combination with sputtering deposition and bias sputtering. At this time, it is important to appropriately set the bias condition so that the periodic uneven shape of each layer is preserved in the x-axis direction. This self-cloning technique (see Japanese Patent Application Laid-Open No. 10-335758 (Japanese Patent No. 3325825)) is an excellent technique for producing an industrially fine periodic structure (photonic crystal) with high reproducibility and uniformity. is there. The reason why the regular laminated structure is formed on the substrate is that (1) deposition by neutral incidence of neutral particles from the target, (2) sputter etching by perpendicular incidence of Ar ions, and (3) deposition particles This can be explained by the superposition of the three actions of redeposition.

作製条件の一例としては、たとえば、Ta25層の製膜では、ガス圧0.27Pa(2mTorr)、ターゲット印加高周波電力300W、SiO2層の製膜では、ガス圧0.80Pa(6mTorr)、ターゲット印加高周波電力300W、スパッタエッチングはSiO2層製膜後に行ない、ガス圧0.27Pa(2mTorr)、基板印加高周波電力90Wの作製条件が挙げられる。 As an example of the production conditions, for example, a gas pressure of 0.27 Pa (2 mTorr) is used for the Ta 2 O 5 layer film formation, a target applied high frequency power of 300 W, and a gas pressure of 0.80 Pa (6 mTorr) is formed for the SiO 2 layer film formation. The target application high frequency power is 300 W, and the sputter etching is performed after the SiO 2 layer is formed.

偏光子ユニットを構成する各領域(偏光子)としては、偏光子としての機能を有するものであれば特に限定されない。偏光子の例としては、上述した、自己クローニング技術により形成されたフォトニック結晶の他に、例えば、ワイヤーグリッド型偏光子などが挙げられる。   Each region (polarizer) constituting the polarizer unit is not particularly limited as long as it has a function as a polarizer. Examples of the polarizer include, for example, a wire grid type polarizer in addition to the above-described photonic crystal formed by the self-cloning technique.

ワイヤーグリッド型の偏光子とは、細い金属ワイヤーを周期的に配列することにより形成された偏光子であり、従来、電磁波のミリ波領域において多く用いられてきた偏光子である。ワイヤーグリッド型偏光子の構造は、入力光の波長に比べて十分細い金属細線が波長に比べて十分に短い間隔で並んだ構造を有する。このような構造に光を入射した場合、金属細線に平行な偏光は反射され、それに直交する偏光は透過されることはすでに知られている(例えば、米国特許6122103号を参照)。金属細線の方向については、1枚の基板内において領域ごとに独立に変化させて作製することができるため、ワイヤーグリッド偏光子の特性を領域毎に変えることができる。これを利用すれば、本実施形態における偏光子ユニットのような、例えば領域毎に透過軸の方向を変化させた構造とすることができる。   A wire grid type polarizer is a polarizer formed by periodically arranging thin metal wires, and has been conventionally used in the millimeter wave region of electromagnetic waves. The structure of the wire grid polarizer has a structure in which fine metal wires that are sufficiently thin compared to the wavelength of the input light are arranged at intervals that are sufficiently short compared to the wavelength. It is already known that when light is incident on such a structure, polarized light parallel to the metal thin wire is reflected and polarized light orthogonal thereto is transmitted (see, for example, US Pat. No. 6,122,103). About the direction of a metal fine wire, since it can change and produce for every area | region within one board | substrate, the characteristic of a wire grid polarizer can be changed for every area | region. If this is utilized, it can be set as the structure which changed the direction of the transmission axis for every area | region like the polarizer unit in this embodiment, for example.

ワイヤグリッドの作製方法としては、基板上に金属膜を形成し、リソグラフィによりパターニングを行うことで、細線状の金属を残すことができる。他の作製方法としては、リソグラフィにより基板に溝を形成し、この溝の方向とは直角で基板の法線から傾いた方向(基板面に斜めの方向)から真空蒸着により金属を成膜することで作製することができる。真空蒸着では蒸着源から飛来する粒子はその途中で他の分子もしくは原子にほとんど衝突することはなく、粒子は蒸着源から基板にむかって直線的に進むため、溝を構成する凸部にのみ成膜される一方、溝の底部(凹部)では、凸部に遮蔽されほとんど成膜されない。したがって、成膜量を制御することで、基板上に形成された溝の凸部にのみ金属膜を成膜することができ、金属細線を作製することができる。   As a method for manufacturing the wire grid, a thin metal can be left by forming a metal film on a substrate and performing patterning by lithography. As another manufacturing method, a groove is formed on the substrate by lithography, and a metal is deposited by vacuum deposition from a direction perpendicular to the direction of the groove and inclined from the normal line of the substrate (a direction oblique to the substrate surface). Can be produced. In vacuum deposition, particles flying from the deposition source hardly collide with other molecules or atoms in the middle of the deposition, and the particles travel linearly from the deposition source to the substrate. On the other hand, at the bottom part (concave part) of the groove, the film is shielded by the convex part and hardly formed. Therefore, by controlling the amount of film formation, a metal film can be formed only on the convex portion of the groove formed on the substrate, and a thin metal wire can be produced.

その他の作製方法としては次の例が挙げられる。表面に凹凸を有する基板を作製するためには、通常、基板上にレジストを塗付し、リソグラフィにより露光・現像を行い、ドライもしくはウエットのエッチング処理により、レジストを残したまま下地基板にパターニングを行う。したがって、通常、エッチング処理が終了した時点ではレジストは基板上の凸部上部に存在する。この状態において、真空蒸着により基板の垂直方向から金属膜を成膜した場合、レジスト上及び溝の底部には金属膜が成膜されるが、溝の側面(壁面)にはほとんど成膜されない。次に、レジストを溶剤で溶かすことにより、レジスト上の金属膜を剥離し、溝の底部のみに金属を残すことができる。   Examples of other production methods include the following examples. In order to produce a substrate having irregularities on the surface, a resist is usually applied on the substrate, exposure and development are performed by lithography, and patterning is performed on the base substrate while leaving the resist by dry or wet etching. Do. Therefore, normally, the resist exists on the upper part of the convex portion on the substrate when the etching process is completed. In this state, when a metal film is formed from the vertical direction of the substrate by vacuum evaporation, the metal film is formed on the resist and on the bottom of the groove, but is hardly formed on the side surface (wall surface) of the groove. Next, by dissolving the resist with a solvent, the metal film on the resist can be peeled off, leaving the metal only at the bottom of the groove.

上述するようにして金属細線を作製することができるが、干渉露光法においてこの金属細線を微小領域ごとに透過軸を変えて作製する方法としては、例えば、基板上において領域ごとのマスクをして上記方法を実施すればよい。例えば、4つの偏光子領域を有する偏光子ユニットを複数個並列させて偏光子アレイを作製する場合には、基板上に金属膜を形成した後、第1の領域を開口すると共に第2から第4の領域を遮蔽したマスクを用いて、第1の領域における金属細線を作製し、これを順次繰り返すことにより、第2から第4の領域にもそれぞれ透過軸が異なる金属細線を作製することができる。基板に溝(凹凸)を形成する方法でも、同様に領域ごとにマスクを利用することで作製することができる。   As described above, a fine metal wire can be produced. In the interference exposure method, the fine metal wire can be produced by changing the transmission axis for each minute region, for example, by masking each region on the substrate. What is necessary is just to implement the said method. For example, when a polarizer array is produced by arranging a plurality of polarizer units having four polarizer regions in parallel, after forming a metal film on the substrate, the first region is opened and the second to second regions are formed. By using a mask that shields the region 4 to produce a fine metal wire in the first region, and repeating this sequentially, a fine metal wire having a different transmission axis can also be produced in the second to fourth regions. it can. Similarly, a method of forming a groove (unevenness) on a substrate can be manufactured by using a mask for each region.

なお、ワイヤグリッド型偏光子に用いられるワイヤー金属としては、アルミニウムもしくは銀が望ましいが、例えばタングステンなど、そのほかの金属であっても同様の現象を実現できる。また、リソグラフィとしては、光リソグラフィ、電子ビームリソグラフィ又はX線リソグラフィなどが挙げられるが、可視光での動作を想定すると細線の間隔が100nm程度になるため、電子ビームリソグラフィもしくはX線リソグラフィがより望ましい。また、金属の成膜では真空蒸着が望ましいが、主として基板に入射する粒子の方向性が重要であるので、高真空度の雰囲気におけるスパッタリング、もしくはコリメーターを用いたコリメーションスパッタでも可能である。   The wire metal used in the wire grid polarizer is preferably aluminum or silver, but the same phenomenon can be realized with other metals such as tungsten. In addition, as lithography, optical lithography, electron beam lithography, X-ray lithography, and the like can be given. However, when an operation with visible light is assumed, the interval between thin lines is about 100 nm, and thus electron beam lithography or X-ray lithography is more preferable. . Also, vacuum deposition is desirable for metal film formation. However, since the directionality of particles incident on the substrate is important, sputtering in a high vacuum atmosphere or collimation sputtering using a collimator is also possible.

上述した偏光子の開口面積や透過軸は、はじめに基板に加工する溝パターンの大きさや方向で自由に設計することができる。パターン形成は、電子ビームリソグラフィ、フォトリソグラフィ、干渉露光法、ナノプリンティングなど様々な方法で行うことができる。いずれの場合でも、微小領域ごとに溝の方向を高精度に定めることができる。そのため、透過軸の異なる微小偏光子を組み合わせた偏光子ユニット、更にそれを複数並べた偏光子アレイを形成することが可能となる。また、凹凸パターンを持つ特定の領域のみが偏光子の動作をするため、その周辺の領域を平坦あるいは、面内で等方的な凹凸パターンにしておけば偏波依存性のない媒質として光は透過する。したがって、特定の領域にのみ偏光子を作りこむことができる。一列以上でも作製することができる。   The aperture area and transmission axis of the polarizer described above can be freely designed according to the size and direction of the groove pattern to be processed on the substrate first. Pattern formation can be performed by various methods such as electron beam lithography, photolithography, interference exposure, and nanoprinting. In any case, the direction of the groove can be determined with high accuracy for each minute region. Therefore, it is possible to form a polarizer unit in which micro-polarizers having different transmission axes are combined, and further a polarizer array in which a plurality of them are arranged. In addition, since only a specific region having a concavo-convex pattern operates as a polarizer, if the peripheral region is flat or isotropic concavo-convex pattern in the plane, light can be used as a medium having no polarization dependency. To Penetrate. Therefore, a polarizer can be formed only in a specific region. One or more rows can be produced.

以下の説明は、偏光子ユニットを構成する領域(偏光子)として、フォトニック結晶を用いた例について説明する。なお、ワイヤーグリッド型の偏光子やその他の偏光子であっても同様の説明で実施することができる。   In the following description, an example in which a photonic crystal is used as a region (polarizer) constituting the polarizer unit will be described. In addition, even if it is a wire grid type polarizer and another polarizer, it can implement by the same description.

図4は、透過軸が4種類の領域を有する偏光子ユニットを複数並べた偏光子アレイと、受光素子アレイとからなる受光モジュールの概略概観図である。図4に示すように、受光モジュールは偏光子アレイ401と受光素子アレイ402を重ね合わせて構成される。なお、図4には、説明のため各アレイを離して図示してある。   FIG. 4 is a schematic overview of a light receiving module including a polarizer array in which a plurality of polarizer units having four types of transmission axes are arranged, and a light receiving element array. As shown in FIG. 4, the light receiving module is configured by overlapping a polarizer array 401 and a light receiving element array 402. In FIG. 4, the respective arrays are illustrated separately for the sake of explanation.

まず、偏光子アレイ401について説明する。偏光子の構造は図2に示す構造からなり、直交座標系x、y、zにおいて、xy面に平行な1つの基板の上に2種以上の透明材料をz方向に交互に積層した多層構造体(例えばTa25とSiO2の交互多層膜)からなる。偏光子ユニット407は、xy面内において3つ以上の領域、本実施形態では4つの領域403〜406に分かれていて、各領域で各膜は凹凸形状を有しており、この凹凸形状は領域毎に定まるxy面内の一つの方向に周期的に繰り返されて形成されている。 First, the polarizer array 401 will be described. The polarizer has the structure shown in FIG. 2, and in the orthogonal coordinate system x, y, z, a multilayer structure in which two or more transparent materials are alternately stacked in the z direction on one substrate parallel to the xy plane. A body (for example, an alternating multilayer film of Ta 2 O 5 and SiO 2 ). The polarizer unit 407 is divided into three or more regions in the xy plane, and in this embodiment, four regions 403 to 406. In each region, each film has an uneven shape, and this uneven shape is a region. It is formed by being repeated periodically in one direction within the xy plane determined every time.

第1の領域403(基準領域)は溝の方向がx軸(基準領域における透過軸)に対して0°であり、第2の領域404は45°、第3の領域405は90°、第4の領域406は135°となっている。(x軸を基準とする必要はなく、他の軸を基準として定義することもできる。)但し、配列順番は限定されるものではなく、自由に配置することができ、本実施形態では、偏光子ユニット407内に溝方向の角度が0°、45°、90°、135°の領域が形成されていればよい。それぞれの領域は、先に述べたフォトニック結晶偏光子として動作する。すなわち、xy面に入射される入力光から、各領域によって偏光方向が異なる偏光成分を透過させると共に、全領域において、それぞれ等量の無偏光成分を透過させるようになっている。なお、本実施形態では、偏光子の透過軸は4種類であるが、凹凸の軸方向は0°と60°と120°の3種類でも良いし、4方向以上であっても良い。   In the first region 403 (reference region), the groove direction is 0 ° with respect to the x-axis (the transmission axis in the reference region), the second region 404 is 45 °, the third region 405 is 90 °, A region 406 of 4 is 135 °. (It is not necessary to use the x axis as a reference, and it can be defined using another axis as a reference.) However, the arrangement order is not limited and can be freely arranged. It suffices if the sub unit 407 has regions in which the angles in the groove direction are 0 °, 45 °, 90 °, and 135 °. Each region operates as the photonic crystal polarizer described above. That is, from the input light incident on the xy plane, polarized components having different polarization directions are transmitted through each region, and equal amounts of unpolarized components are transmitted through the entire region. In the present embodiment, there are four types of transmission axes of the polarizer, but the axis directions of the unevenness may be three types of 0 °, 60 °, and 120 °, or four or more directions.

ここでフォトニック結晶偏光子は、カメラ撮影用として、例えば面内の周期を0.44μm、積層周期を0.44μm、Ta25とSiO2の膜厚比を4:6とし、その動作波長が例えば波長0.8μm帯で動作するように設計する例が挙げられる。図2の構造体に光を垂直方向から入射したとき、溝に平行な偏光は反射され、透過方向には減衰され、その減衰率は15周期で30dB程度となる。一方、溝に垂直な偏光は伝搬し、その透過損失は10周期で0.1dB以下となる。しかしながら、材料の選定や構造パラメータの選定には自由度がある。例えば、高屈折率材料としては、Ta25、TiO2、Nb25でもよく、低屈折率としてはパイレックス(登録商標)ガラス、MgF2、その他光学ガラスでもよい。動作波長が赤外であれば高屈折率材料としてGe、SiGeなどを使うこともできる。また、膜厚比、面内周期、積層周期、斜面の角度に各偏波の分散関係は依存し、偏光子として動作する波長帯が変化する。従って、可視・紫外から赤外までの任意の波長帯に対して設計、作製できる。 Here, the photonic crystal polarizer is used for camera photography, for example, the in-plane period is 0.44 μm, the stacking period is 0.44 μm, and the film thickness ratio of Ta 2 O 5 and SiO 2 is 4: 6. An example is given in which the wavelength is designed to operate in a wavelength band of 0.8 μm, for example. When light is incident on the structure of FIG. 2 from the vertical direction, polarized light parallel to the groove is reflected and attenuated in the transmission direction, and the attenuation rate becomes about 30 dB in 15 periods. On the other hand, polarized light perpendicular to the grooves propagates, and the transmission loss becomes 0.1 dB or less in 10 cycles. However, there is flexibility in selecting materials and structural parameters. For example, Ta 2 O 5 , TiO 2 , and Nb 2 O 5 may be used as the high refractive index material, and Pyrex (registered trademark) glass, MgF 2 , and other optical glasses may be used as the low refractive index. If the operating wavelength is infrared, Ge, SiGe or the like can be used as a high refractive index material. Further, the dispersion relation of each polarization depends on the film thickness ratio, the in-plane period, the stacking period, and the angle of the slope, and the wavelength band that operates as a polarizer changes. Therefore, it can be designed and manufactured for any wavelength band from visible / ultraviolet to infrared.

ここで基板表面の溝形成は電子ビームリソグラフィと反応性エッチングを用いることができる。その他、フォトリソグラフィでもピッチに対して適した光の波長を選んでおけば形成可能である。偏光子アレイを構成する各領域の大きさは、50μm角が挙げられるが、それよりも大きくても(例えば1000μm角)、小さくても(例えば5μm角)良い。また、正方形のパターンだけでなく、三角形、長方形、六角形など任意である。このようにして、領域毎に透過偏光方向の異なる偏光子アレイを形成できる。   Here, the groove formation on the substrate surface can use electron beam lithography and reactive etching. In addition, photolithography can be formed by selecting a light wavelength suitable for the pitch. The size of each region constituting the polarizer array is 50 μm square, but may be larger (for example, 1000 μm square) or smaller (for example, 5 μm square). Moreover, not only a square pattern but also a triangle, a rectangle, a hexagon, etc. are arbitrary. In this way, it is possible to form a polarizer array having different transmission polarization directions for each region.

この偏光子アレイ401を、受光素子(画素)が同じ周期で配列された受光素子アレイ402の上に搭載することにより、偏光状態を測定する。偏光子ユニットにおける偏光子(領域)と受光素子との対応関係については、1つの偏光子に対して少なくとも1つの受光素子を対応させることが好ましい。また、1つの偏光子に対して2つ以上の受光素子を対応させてもよい。隣接する受光素子は必ずしも全部が同じ光学特性を有しているわけではなく、感度や雑音強度などに多少の個体差がある場合が多い。そこで、1つの偏光子に対して2つ以上の受光素子を割り当てることにより、複数の受光素子間のばらつきを平均化でき、偏光強度、偏光角などを算出する際にS/N比を向上させることができる。光受光素子は、CCD、半導体フォトダイオード、C−MOSや撮像管でも良い。CCDの場合では、一つの領域(画素)の大きさが数μmから数十μmであるので、偏光子アレイと組み合わせることで、高精度な画像情報として、光の偏光状態を観測できる。これにより、物質からの反射光や透過光、地表、水面などの反射光の偏波状態を観測することが可能である。例えばガラスや光ディスク、その他の構造物に光を透過あるいは反射させ、歪により誘起される複屈折率により偏波状態が変化する大きさを計測することも可能である。また、顕微鏡に組みこむことで、ミクロな偏波解析を行なうことも可能である。   The polarization state is measured by mounting the polarizer array 401 on the light receiving element array 402 in which the light receiving elements (pixels) are arranged in the same cycle. Regarding the correspondence between the polarizer (region) and the light receiving element in the polarizer unit, it is preferable that at least one light receiving element corresponds to one polarizer. Further, two or more light receiving elements may correspond to one polarizer. Adjacent light receiving elements do not necessarily have the same optical characteristics, and there are many individual differences in sensitivity and noise intensity. Therefore, by assigning two or more light receiving elements to one polarizer, it is possible to average the variation among the plurality of light receiving elements, and improve the S / N ratio when calculating the polarization intensity, the polarization angle, and the like. be able to. The light receiving element may be a CCD, a semiconductor photodiode, a C-MOS, or an image pickup tube. In the case of a CCD, since the size of one region (pixel) is several μm to several tens of μm, the polarization state of light can be observed as highly accurate image information by combining with a polarizer array. As a result, it is possible to observe the polarization state of the reflected light such as reflected light and transmitted light from the substance, the ground surface, and the water surface. For example, it is possible to transmit or reflect light through glass, an optical disk, or other structures, and measure the magnitude of change in the polarization state due to the birefringence induced by strain. It is also possible to perform micro polarization analysis by incorporating it into a microscope.

図5は、不透過領域により区切られた透過軸が4種類の領域を有する偏光子ユニット及び、それと組み合わされる受光素子アレイを示す図である。本実施形態で使用する偏光子アレイは、異なる領域を複数個配列したものであるため、それぞれの領域の境界部分は不連続となり、光の散乱や回折が発生する。散乱光および回折光は信号処理の上では雑音となって現れ、偏光解析の精度を劣化させる要因となる。このため、精度の高い装置を実現するために、偏光イメージング装置に使用する偏光子アレイまたは受光素子アレイに遮光領域を配置し、散乱光や回折光が受光されないようにするような手法がある。   FIG. 5 is a diagram showing a polarizer unit having four types of regions whose transmission axes are separated by non-transparent regions, and a light receiving element array combined therewith. Since the polarizer array used in this embodiment has a plurality of different regions arranged, the boundary between the regions is discontinuous, and light scattering and diffraction occur. Scattered light and diffracted light appear as noise in signal processing and cause deterioration in the accuracy of ellipsometry. For this reason, in order to realize a highly accurate apparatus, there is a technique in which a light shielding region is arranged in a polarizer array or a light receiving element array used in a polarization imaging apparatus so that scattered light and diffracted light are not received.

図5に示すように、偏光子ユニット507における各領域503〜506の境界部分には不透過領域508が配置されており、この部分に入射した光は受光素子アレイ502を構成する受光素子(画素)509に到達することができないようになっている。他の例としては、受光素子アレイ502のうち偏光子アレイの境界部分からの光が入射する領域に同様に不透過領域を設けることでも、散乱光および回折光を除去することができる。それぞれの受光素子で検出する光は、対応する偏光子を透過した光であること、すなわちクロストークが小さいことが重要であるが、上述するように不透過領域を設けることにより、この問題を解消することができる、   As shown in FIG. 5, an opaque region 508 is arranged at the boundary between the regions 503 to 506 in the polarizer unit 507, and light incident on this portion receives light receiving elements (pixels) constituting the light receiving element array 502. ) 509 cannot be reached. As another example, scattered light and diffracted light can be removed by similarly providing a non-transparent region in a region where light from the boundary portion of the polarizer array is incident in the light receiving element array 502. It is important that the light detected by each light receiving element is light that has passed through the corresponding polarizer, that is, it is important that crosstalk is small. However, this problem can be solved by providing an opaque region as described above. can do,

<画像処理部における画像処理の原理>
次に、画像処理部104における画像処理の原理について説明する。図6は、実施形態に係る画像処理方法を説明するための、偏光子アレイと受光素子アレイの概略構成図である。図6に示すように、偏光子アレイ601を構成する複数の偏光子ユニット607があり、当該偏光子ユニット607は4つの偏光子領域603〜606を有する。一方、受光素子アレイ602は複数の受光素子を有し、受光素子602-0(領域番号m=0)が領域603からの透過光を受光し、受光素子602-1(領域番号m=1)が領域604からの透過光を受光し、受光素子602-2(領域番号m=2)が領域605からの透過光を受光し、受光素子602-3(領域番号m=3)が領域606からの透過光を受光する。
<Principle of image processing in image processing unit>
Next, the principle of image processing in the image processing unit 104 will be described. FIG. 6 is a schematic configuration diagram of a polarizer array and a light receiving element array for explaining the image processing method according to the embodiment. As shown in FIG. 6, there are a plurality of polarizer units 607 constituting a polarizer array 601, and the polarizer unit 607 has four polarizer regions 603 to 606. On the other hand, the light receiving element array 602 has a plurality of light receiving elements, and the light receiving element 602-2 (area number m = 0) receives the transmitted light from the area 603, and the light receiving element 602-1 (area number m = 1). Receives the transmitted light from the region 604, the light receiving element 602-2 (region number m = 2) receives the transmitted light from the region 605, and the light receiving element 602-2 (region number m = 3) from the region 606. The transmitted light is received.

説明の便宜上、偏光子ユニット及びこれに対応する受光素子ユニットを座標i,jで表し、偏光子アレイにおける偏光子ユニット607の座標、及び受光素子アレイにおける偏光子ユニット607に対応する受光素子ユニットの座標を共に座標(i,j)とする。そして、座標(i,j)の偏光子ユニット607から得られる透過光強度データをfm(i,j)とすると、偏光子ユニット607からは各領域の4方向に関するデータf0(i,j)、f1(i,j)、f2(i,j)、f3(i,j)が得られる。この透過光の強度fm(i,j)は、各領域ごとに異なる偏光成分の強度(偏光成分の最大強度(振動幅)を2A(i,j)、振幅をA(i,j)とする)と、全領域において均一な無偏光成分の強度B(i,j)との和である。そして、この透過光の強度fm(i,j)は、下記式(3)により表すことができる。 For convenience of explanation, the polarizer unit and the light receiving element unit corresponding thereto are represented by coordinates i and j, the coordinates of the polarizer unit 607 in the polarizer array, and the light receiving element unit corresponding to the polarizer unit 607 in the light receiving element array. Let both coordinates be coordinates (i, j). If the transmitted light intensity data obtained from the polarizer unit 607 at coordinates (i, j) is fm (i, j), the data f 0 (i, j) regarding the four directions of each region is obtained from the polarizer unit 607. , F 1 (i, j), f 2 (i, j), and f 3 (i, j) are obtained. The intensity fm (i, j) of the transmitted light is the intensity of the polarization component that is different for each region (the maximum intensity (vibration width) of the polarization component is 2A (i, j) and the amplitude is A (i, j). ) And the intensity B (i, j) of the non-polarized component that is uniform in the entire region. The intensity fm (i, j) of the transmitted light can be expressed by the following formula (3).

ここで、mは前記領域ごとに付けられた番号であり、i及びjは前記偏光子アレイにおける前記偏光子ユニットの座標であり、θmは前記領域のうち基準とする領域における繰り返し方向(透過軸)を0°とした場合の他の各領域における繰り返し方向(透過軸)の角度であり、θ(i,j)は前記偏光子ユニットに入力される前記偏光成分の偏光方向と、前記基準とする領域における繰り返し方向(透過軸)との角度差である。 Here, m is a number assigned to each region, i and j are coordinates of the polarizer unit in the polarizer array, and θm is a repetitive direction (transmission axis) in a reference region among the regions. ) Is the angle of the repetitive direction (transmission axis) in each other region when 0 °, and θ (i, j) is the polarization direction of the polarization component input to the polarizer unit, and the reference It is an angle difference with the repetitive direction (transmission axis) in the area to be performed.

本実施形態では、各領域は均一な方向ずれをもって作製されているため、上記式(3)におけるθmをπm/Mとすることができる。これを表したのが下記式(4)である。ここでMは1つの偏光子ユニットにおける領域の数であり、例えば、4つの領域が均一な方向ずれをもって形成された場合には、0°、45°、90°、135°となる。また、例えばM=9の場合には、0°、20°、40°、60°、80°、100°、120°、140°、160°となる。   In this embodiment, since each region is produced with a uniform direction shift, θm in the above equation (3) can be πm / M. This is represented by the following formula (4). Here, M is the number of regions in one polarizer unit. For example, when four regions are formed with a uniform direction shift, they are 0 °, 45 °, 90 °, and 135 °. For example, when M = 9, the angles are 0 °, 20 °, 40 °, 60 °, 80 °, 100 °, 120 °, 140 °, and 160 °.

ここで、強度A(i,j)、強度B(i,j)及びθ(i,j)は、1つの偏光子ユニットの大きさに比べ大きな周期で変化しているため、1つの偏光子ユニット内では一様とみなすことができる。すなわち、1つの偏光子ユニット(i,jが固定された場合)の中では変数m以外は一定の値となる。図7(A)は、上記式(3)又はその特殊型である上記式(4)について、横軸をm、縦軸をfm(i,j)として、グラフをしたものである。図7(A)から分かるように、上記式(3)又は上記式(4)は、所定量の強度B(i,j)に、領域ごとの透過軸の角度により透過強度が異なる偏光成分に関する強度が加わった強度分布となる。   Here, the intensity A (i, j), the intensity B (i, j), and θ (i, j) change with a period larger than the size of one polarizer unit. It can be considered uniform within the unit. That is, in one polarizer unit (when i and j are fixed), the values other than the variable m are constant. FIG. 7A is a graph of the above formula (3) or the special formula (4), with the horizontal axis being m and the vertical axis being fm (i, j). As can be seen from FIG. 7A, the above formula (3) or the above formula (4) relates to a polarization component whose transmission intensity varies depending on the angle of the transmission axis for each region to a predetermined amount of intensity B (i, j). Intensity distribution is added.

そこで、画像処理部104では、偏光子ユニットを構成する各領域に形成された凹凸形状の繰り返し方向の角度に対する、前記各領域を透過した透過光の強度fm(i,j)に、上記式(3)又は上記式(4)で表される数学モデルを当てはめることにより、透過光の強度を、偏光成分に関する強度A(i,j)と、無偏光成分に関する強度B(i,j)とに分離する。その結果、これらの分離した各成分を自由に再構成することにより、所望の画像を得ることができる。   Therefore, in the image processing unit 104, the intensity of the transmitted light transmitted through each region fm (i, j) with respect to the angle of the concavo-convex shape formed in each region constituting the polarizer unit is expressed by the above formula ( 3) or by applying the mathematical model represented by the above formula (4), the intensity of the transmitted light is changed into the intensity A (i, j) relating to the polarization component and the intensity B (i, j) relating to the non-polarization component. To separate. As a result, a desired image can be obtained by freely reconstructing these separated components.

次に、上記数学モデルを当てはめる方法について、その一例を詳細に説明する。
画像処理部104では、まず、偏光子ユニットを構成する各領域を透過した透過光の強度fm(i,j)を全て加算して領域数で割ることにより、透過光の強度fm(i,j)の平均値(f(i,j)に上線を付けた記号で表示する。)を算出する。ここで、図7(A)からも分かるように、透過光の強度fm(i,j)の平均値は、強度A(i,j)と強度B(i,j)との和である。したがって、透過光の強度fm(i,j)の平均値は下記式(5)で表すことができる。
Next, an example of a method for applying the mathematical model will be described in detail.
In the image processing unit 104, first, all the intensities fm (i, j) of the transmitted light transmitted through the respective areas constituting the polarizer unit are added and divided by the number of areas, thereby obtaining the intensity fm (i, j of the transmitted light. ) Average value (indicated by a symbol with f (i, j) overlined). Here, as can be seen from FIG. 7A, the average value of the transmitted light intensity fm (i, j) is the sum of the intensity A (i, j) and the intensity B (i, j). Therefore, the average value of the transmitted light intensity fm (i, j) can be expressed by the following equation (5).

上記式(3)は強度A(i,j)と強度B(i,j)及びθ(i,j)の関数であるが、上記式(5)を用いることにより、強度A(i,j)とθ(i,j)の関数に簡略化することができる。すなわち、下記式(6)に変形することができる。   The above equation (3) is a function of the intensity A (i, j) and the intensity B (i, j) and θ (i, j). By using the above equation (5), the intensity A (i, j ) And θ (i, j). That is, it can deform | transform into following formula (6).


ここで、mは前記領域ごとに付けられた番号であり、i及びjは前記偏光子アレイにおける前記偏光子ユニットの座標であり、θmは前記領域のうち基準とする領域における繰り返し方向を0°とした場合の他の各領域における繰り返し方向の角度であり、θ(i,j)は前記偏光子ユニットに入力される前記偏光成分の偏光方向と、前記基準とする領域における繰り返し方向との角度差である。

Here, m is a number assigned to each of the regions, i and j are coordinates of the polarizer unit in the polarizer array, and θm is a repeat direction in a reference region of the regions of 0 °. And θ (i, j) is the angle between the polarization direction of the polarization component input to the polarizer unit and the repeat direction in the reference region. It is a difference.

本実施形態では、各領域は均一な方向ずれをもって作製されているため、上記式(6)におけるθmをπm/Mとすることができる。これを表したのが下記式(7)である。
In this embodiment, since each region is produced with a uniform direction shift, θm in the above equation (6) can be πm / M. This is represented by the following formula (7).

このようにして、強度A(i,j)とθ(i,j)の関数に簡略化された上記式(6)、(7)を用いて、画像処理部104では、偏光子ユニットを構成する各領域に形成された凹凸形状の繰り返し方向の角度に対する、前記各領域を透過した透過光の強度fm(i,j)から前記平均値を減じて得られる強度に、上記式(6)または上記式(7)で表される数学モデルを当てはめることにより(図7(B)を参照。)、透過光の強度から、偏光成分に関する強度A(i,j)を抽出する。さらに、偏光子ユニットに入力される前記偏光成分の偏光方向と、前記基準とする領域における繰り返し方向との角度差θ(i,j)を算出する。所定の数学モデルの当てはめは、例えばフーリエ解析や最小二乗法によることで可能である。強度A(i,j)を抽出することにより、残りの変数である強度B(i,j)も抽出することができる。その結果、これらの分離した各成分を自由に再構成することにより、所望の画像を得ることができる。   In this way, the image processing unit 104 constitutes a polarizer unit using the above equations (6) and (7) simplified to the functions of the intensity A (i, j) and θ (i, j). The intensity obtained by subtracting the average value from the intensity fm (i, j) of the transmitted light transmitted through each area with respect to the angle of the concavo-convex shape formed in each area in the repeating direction is expressed by the above formula (6) or By applying the mathematical model represented by the above formula (7) (see FIG. 7B), the intensity A (i, j) relating to the polarization component is extracted from the intensity of the transmitted light. Further, an angle difference θ (i, j) between the polarization direction of the polarization component input to the polarizer unit and the repetition direction in the reference region is calculated. The predetermined mathematical model can be fitted by, for example, Fourier analysis or least square method. By extracting the intensity A (i, j), the remaining variable intensity B (i, j) can also be extracted. As a result, a desired image can be obtained by freely reconstructing these separated components.

<偏光イメージング装置を応用した撮影装置>
次に、偏光イメージング装置を応用した撮影装置について説明する。本撮影装置の構成は、上述する偏光イメージング装置と同じであり、画像処理部において、装置への入力光を構成する偏光成分と無偏光成分とを分離して、無偏光成分を得るようにしている。
<Photographing device using polarization imaging device>
Next, a photographing apparatus to which the polarization imaging apparatus is applied will be described. The configuration of the imaging apparatus is the same as that of the polarization imaging apparatus described above. In the image processing unit, the polarization component and the non-polarization component constituting the input light to the apparatus are separated to obtain the non-polarization component. Yes.

図8は、偏光子ユニットにおける各領域から得られる撮影画像の一例である。また、図9は、本発明の実施形態に係る偏光イメージング装置に入力された入力光を各成分に分離、抽出して、再構成した処理画像の一例である。図9(A)は入力光から偏光成分を分離、除去することにより、車両内部の人間を抽出した画像例であり、図9(B)は偏光成分のみを抽出した画像例であり、図9(C)は偏光子ユニットごとの偏光角度をマッピングして得られた画像例である。   FIG. 8 is an example of a captured image obtained from each region in the polarizer unit. FIG. 9 is an example of a processed image that is reconstructed by separating and extracting input light input to the polarization imaging apparatus according to the embodiment of the present invention. FIG. 9A is an example of an image in which a person inside the vehicle is extracted by separating and removing the polarization component from the input light, and FIG. 9B is an example of an image in which only the polarization component is extracted. (C) is an image example obtained by mapping the polarization angle for each polarizer unit.

上述するように、偏光子ユニットは、4つの領域から構成され、1つの偏光子ユニットから各領域の4方向の偏光角度に関する透過光強度のデータf0(i,j)、f1(i,j)、f2(i,j)、f3(i,j)が得られる。また、偏光子アレイは、i×j個の偏光子ユニットが並べられて構成されているため、例えばデータf0〜f3はそれぞれi×j個のマップ状のデータを構成する。このマップ状のデータが図8(A)〜(D)である。すなわち、図8に示す各画像は、それぞれ、一定の透過軸を有する偏光子を透過した光の強度をマップ化して、画像としたものである。 As described above, the polarizer unit is composed of four regions, and the transmitted light intensity data f 0 (i, j), f 1 (i, i, j), f 2 (i, j), f 3 (i, j) are obtained. Further, since the polarizer array is configured by arranging i × j polarizer units, for example, the data f 0 to f 3 constitute i × j map-like data. This map-like data is shown in FIGS. That is, each image shown in FIG. 8 is an image obtained by mapping the intensity of light transmitted through a polarizer having a certain transmission axis.

一般に、例えば、車両内部を撮影する場合、車両内部の物体からの反射光(本来検出したい光線)に加えて、フロントガラスやサイドガラスからの反射光(ノイズ、映り込みの原因となる光線)が受光素子で検出される。ここで、車両内部の物体からの反射光の偏光度と、フロントガラスなどからの反射光の偏光度とが異なるという問題に加えて、除去したい反射光についても、それぞれ異なる偏光を有する複数の反射光から構成されることが問題となる。すなわち、フロントガラスとサイドガラスとでは、カメラから見て表面の向きが異なり偏光度、偏光状態が異なったり、また、各ガラスは表面形状が曲面であることが多く、ガラスの各部位からの反射光は偏光度、偏光状態が異なる。   In general, for example, when photographing the interior of a vehicle, in addition to the reflected light from the object inside the vehicle (the light beam that you want to detect), the reflected light from the windshield and side glass (the light beam that causes noise and reflections) is received. Detected by the element. Here, in addition to the problem that the degree of polarization of reflected light from an object inside the vehicle differs from the degree of polarization of reflected light from a windshield, etc., the reflected light to be removed also has a plurality of reflections having different polarizations. The problem is that it consists of light. That is, the front glass and the side glass have different surface orientations when viewed from the camera, the degree of polarization and the polarization state are different, and each glass often has a curved surface shape, and the reflected light from each part of the glass. Have different polarization degrees and polarization states.

図8を用いて説明すると、図8(A)、(B)、及び(C)では、車両のサイドガラスに周囲の背景(右横の人物や空からの太陽光)が映り込み、車両内部の人物像が不明瞭である。これは、サイドガラスからの反射光が、領域m=0,1,2における透過軸とほぼ同じ偏光角度の反射光を有しているためである。一方、車両内部の人物からの反射光はほとんど偏光していない無偏光成分から構成されるため、いずれの領域も透過して、図8(A)、(B)、(C)、及び(D)の全ての画像で確認することができる。したがって、車両内部の人物像を鮮明に撮影したい場合には、図8(D)で示す領域m=3からの透過光情報を主として用いればよい。主として用いるとは、本実施例では、サイドガラスの表面形状が曲面であるため、サイドガラスからの反射光が全て均一な偏光角度を有しておらず、領域m=3からの透過光情報であっても部分的に映り込みがあるためである。このような場合には、各ユニット座標ごとに最適な情報を選択して画像処理を行うことにより、最適な画像を撮影することができる(図9(A)を参照。)。   Referring to FIG. 8, in FIGS. 8A, 8 </ b> B, and 8 </ b> C, the surrounding background (right person or sunlight from the sky) is reflected on the side glass of the vehicle, The person image is unclear. This is because the reflected light from the side glass has reflected light having substantially the same polarization angle as the transmission axes in the regions m = 0, 1, and 2. On the other hand, since the reflected light from the person inside the vehicle is composed of a non-polarized component which is hardly polarized, any region is transmitted, and FIGS. 8 (A), (B), (C), and (D) ) In all images. Therefore, when it is desired to capture a person image inside the vehicle clearly, the transmitted light information from the area m = 3 shown in FIG. In this example, the surface shape of the side glass is a curved surface, so that the reflected light from the side glass does not have a uniform polarization angle, and is transmitted light information from the region m = 3. This is because there is a partial reflection. In such a case, an optimum image can be taken by selecting optimum information for each unit coordinate and performing image processing (see FIG. 9A).

また、本撮影装置では、装置への入力光のうち、無偏光成分を得たい情報として説明したが、例えば、逆の成分である偏光成分を抽出してもよく、この結果得られた画像を図9(B)に示す。   Further, in the present photographing apparatus, the description has been given as the information for obtaining the non-polarized component of the input light to the apparatus. However, for example, the polarization component that is the opposite component may be extracted, and the resulting image is obtained. As shown in FIG.

本撮影装置は、様々な分野で応用することができる。
(1)雨などで濡れた路面は、濡れていない路面と比較して平滑であり、反射光を生じる。この反射光は、例えば、路面上の白線や道路標識を見えずらくするなどの問題を引き起こし、ドライバーから見て様々な障害となる。一方、この濡れた路面からの反射光は偏光しているため、本撮影装置により、路面からの反射光を除去した画像をリアルタイムで撮影し、ドライバーに提供することができる。
(2)近年、虹彩識別が注目されている。虹彩識別とは、虹彩により人物を認識、特定するシステムである。虹彩とは瞳孔から外側に向かってカオス状に形成された皺のことであり、この皺の形状(模様)は、指紋などと同様にその人固有のパターンとなるため、個人認識の手段として注目されている。この虹彩についても、涙などにより眼が濡れた状態では反射光が識別の障害となってしまう。このような場合でも、本撮影装置により、眼からの反射光を除去した画像を撮影し、識別を的確に行うことができる。
This photographing apparatus can be applied in various fields.
(1) A road surface wet by rain or the like is smoother than a road surface not wet and generates reflected light. This reflected light causes problems such as making it difficult to see the white lines and road signs on the road surface, which causes various obstacles for the driver. On the other hand, since the reflected light from the wet road surface is polarized, an image from which the reflected light from the road surface is removed can be taken in real time and provided to the driver.
(2) In recent years, iris identification has attracted attention. Iris identification is a system that recognizes and identifies a person using an iris. An iris is a cocoon that is formed in a chaotic shape outward from the pupil. The shape (pattern) of the cocoon is a pattern unique to that person, similar to fingerprints, and is therefore attracting attention as a means of personal recognition. Has been. As for this iris, the reflected light becomes an obstacle to identification when the eyes are wet by tears or the like. Even in such a case, the image capturing apparatus can capture an image from which the reflected light from the eye is removed, and can accurately identify the image.

<偏光イメージング装置を応用した表面形状計測装置>
次に、偏光イメージング装置を応用した表面形状計測装置について説明する。この表面形状計測装置の構成は、上述する偏光イメージング装置と同じであり、画像処理部において、偏光成分の偏光方向の角度を前記偏光子ユニットごとにマッピングして、物体の表面形状を検出するようにする。
<Surface shape measuring device using polarization imaging device>
Next, a surface shape measuring apparatus to which the polarization imaging apparatus is applied will be described. The configuration of the surface shape measurement device is the same as that of the polarization imaging device described above, and the image processing unit detects the surface shape of the object by mapping the polarization direction angle of the polarization component for each polarizer unit. To.

ある偏光子ユニットに入力される入力光は、当該ユニットを構成する各領域に一様な偏光角度で入力されるので、当該偏光した入力光はいずれかの領域(又は領域ごとに分布を持って)を透過してくる。このため、入力光がいずれの領域を透過したのか、領域ごとにどのような分布をもって透過したのかなどを解析することにより、入力光の偏光角度を求めることができ、偏光子ユニットごとの偏光角度のマップを作成することができる。この結果得られた画像を図9(C)に示す。表面形状が他の部分と異なる箇所(例えば平滑面における傷など)からの反射光は、それ以外の箇所からの反射光と比較して、異なった偏光状態である場合が多いため、このマップを概観した場合、すぐにその異常な箇所を検出することができる。   Since the input light input to a certain polarizer unit is input to each region constituting the unit at a uniform polarization angle, the polarized input light has a distribution (or distribution for each region). ). For this reason, the polarization angle of the input light can be obtained by analyzing which region the input light has been transmitted through, what distribution is transmitted in each region, etc., and the polarization angle for each polarizer unit. Maps can be created. The resulting image is shown in FIG. Reflected light from places where the surface shape is different from other parts (for example, scratches on a smooth surface) is often in a different polarization state compared to reflected light from other parts. In the case of an overview, the abnormal part can be detected immediately.

具体的な適用例としては、果物を出荷する際の果物の品質を検査する場合が挙げられる。果物はその表面に傷などがあると商品としての価値が下がるため、傷の有無や表面形状の良否が品質管理項目となっている。この傷の有無や表面形状の良否は、果物表面からの光の偏光成分の偏光角度の違いとなって表れるので、本表面形状計測装置を用いることで偏光角度のマップを作成して識別して、品質管理を行うことができる。   As a specific application example, there is a case where the quality of the fruit when the fruit is shipped is inspected. Since the value of a product is reduced if the surface of the fruit has scratches or the like, the presence or absence of scratches and the quality of the surface shape are quality control items. The presence or absence of this scratch and the quality of the surface shape appear as a difference in the polarization angle of the polarization component of the light from the fruit surface, so use this surface shape measurement device to create and identify the polarization angle map. Can do quality control.

他の具体的な適用例としては、半田付けの良否を判定する場合が挙げられる。基板に電子部品などを取り付ける際に半田付け作業が行われるが、半田付けが不良であると電気回路が動作しないなどの問題が生じる。一般的に、半田付けの良否は、基板と該基板から略垂直に延びた電気配線とを配線周囲に亘って接続する溶融した半田の形状によって判定することができ、該半田の形状が団子状(半田表面が凸んでいる)であると不良とされ、富士山状(半田表面が凹んでいる)であると良とされる。この半田の形状の違いは、半田表面からの光の偏光成分の偏光角度の違いとなって表れるので、本表面形状計測装置を用いることで偏光角度のマップを作成して識別することができる。   As another specific application example, there is a case where the quality of soldering is determined. A soldering operation is performed when an electronic component or the like is attached to the substrate. However, if the soldering is poor, there is a problem that an electric circuit does not operate. In general, the quality of soldering can be determined by the shape of the molten solder that connects the substrate and the electrical wiring extending substantially perpendicularly from the substrate over the periphery of the wiring. If it is (the solder surface is convex), it is considered as bad, and if it is Mt. Fuji (the solder surface is concave), it is good. This difference in the solder shape appears as a difference in the polarization angle of the polarization component of the light from the solder surface, so that a map of the polarization angle can be created and identified by using this surface shape measuring apparatus.

物体の表面形状を評価する場合には、物体の表面から局所的に強い強度の反射光(リンゴや金属の表面に光を当てた際に特に反射する箇所)が発生する場合があり、ダイナミックレンジの問題が生じる。このような場合であっても、本表面形状計測装置によれば、局所的に強い強度の反射光に基づく情報を削除して、それ以外の箇所からの光のみを用いて精度よく表面形状を計測することができる。   When evaluating the surface shape of an object, there is a case where reflected light with high intensity is locally generated from the object surface (particularly reflected when light is applied to the surface of an apple or metal), and the dynamic range may be generated. Problem arises. Even in such a case, according to the surface shape measuring apparatus, information based on the reflected light with high intensity locally is deleted, and the surface shape is accurately obtained using only light from other locations. It can be measured.

<偏光イメージング装置を応用した表面性状計測装置>
次に、偏光イメージング装置を応用した表面性状計測装置について説明する。この表面性状計測装置の構成は、上述する偏光イメージング装置と同じであり、画像処理部において、偏光成分の偏光方向の角度を前記偏光子ユニットごとにマッピングして、物体の表面性状を検出するようにする。
<Surface texture measuring device using polarization imaging device>
Next, a surface property measuring apparatus using a polarization imaging apparatus will be described. The configuration of the surface texture measuring apparatus is the same as that of the polarization imaging apparatus described above, and the image processing unit detects the surface texture of the object by mapping the polarization direction angle of the polarization component for each polarizer unit. To.

ある偏光子ユニットに入力される入力光は、当該ユニットを構成する各領域に一様な偏光角度で入力されるので、当該偏光した入力光はいずれかの領域(又は領域ごとに分布を持って)を透過してくる。このため、入力光がいずれの領域を透過したのか、領域ごとにどのような分布をもって透過したのかなどを解析することにより、入力光の偏光角度を求めることができ、偏光子ユニットごとの偏光角度のマップを作成することができる。物体の表面を構成する物質が他の部分と異なる箇所(例えば複数物質により表面が構成されている場合など)からの反射光は、それ以外の箇所からの反射光と比較して、異なった偏光状態である場合が多いため、このマップを概観した場合、すぐにその異なる物質の箇所を検出することができる。   Since the input light input to a certain polarizer unit is input to each region constituting the unit at a uniform polarization angle, the polarized input light has a distribution (or distribution for each region). ). For this reason, the polarization angle of the input light can be obtained by analyzing which region the input light has been transmitted through, what distribution is transmitted in each region, etc., and the polarization angle for each polarizer unit. Maps can be created. Reflected light from a location where the material constituting the surface of the object is different from other portions (for example, when the surface is composed of multiple materials) is polarized differently than reflected light from other locations. Since the map is often in a state, when this map is overviewed, the location of the different substance can be detected immediately.

なお、偏光解析をした結果、反射光の偏光が、物体の表面形状(表面の凹凸など)によるものなのか、または、物体の表面性状(表面を構成する物質の変化など)によるものなのかについては、区別することは困難であるため、他の情報をも考慮して判断することが好ましい。例えば、他の情報から予め表面性状が連続的であると分かっている表面に対して、上記偏光解析を行った結果、反射光の偏光状態のマップに不連続性が観察された場合には、表面形状の不連続性によるものと判断することができる。また逆についても同様である。   As a result of ellipsometry, whether the reflected light is polarized due to the surface shape of the object (such as surface irregularities) or the surface properties of the object (such as changes in the materials constituting the surface). Since it is difficult to distinguish, it is preferable to make a determination in consideration of other information. For example, when discontinuity is observed in the map of the polarization state of the reflected light as a result of performing the above polarization analysis on the surface whose surface properties are known to be continuous from other information, It can be determined that this is due to the discontinuity of the surface shape. The reverse is also true.

<偏光イメージング装置を応用した撮影装置、路面上障害物検出装置、路面状態検出装置>
次に、偏光イメージング装置を応用した撮影装置、路面上障害物検出装置及び路面状態検出装置について説明する。本撮影装置の構成は、上述する偏光イメージング装置と同じであり、画像処理部において、偏光成分の偏光方向の角度を前記偏光子ユニットごとにマッピングして、該マップにおいて所定の偏光角度が所定の範囲に亘って一様となる箇所又は連続的に変化する箇所を検出するようにしている。また、本路面上障害物検出装置の構成は、画像処理部において、更に、マップにおいて所定の偏光角度が所定の範囲に亘って一様となる箇所又は連続的に変化する箇所を路面として特定し、路面として特定された箇所に位置する物体を検出するようにしている。
<Photographing device applying polarization imaging device, obstacle detection device on road surface, road surface state detection device>
Next, an imaging device, a road surface obstacle detection device, and a road surface state detection device to which the polarization imaging device is applied will be described. The configuration of the imaging apparatus is the same as that of the polarization imaging apparatus described above. In the image processing unit, the angle of the polarization direction of the polarization component is mapped for each polarizer unit, and the predetermined polarization angle is predetermined in the map. A part that is uniform over a range or a part that continuously changes is detected. In the configuration of the obstacle detection device on the road surface, the image processing unit further specifies, as a road surface, a place where a predetermined polarization angle is uniform over a predetermined range or a place where it continuously changes in the map. The object located at the location specified as the road surface is detected.

また、本路面状態検出装置の構成は、画像処理部により、更に、マップにおいて所定の偏光角度が所定の範囲に亘って一様となる箇所又は連続的に変化する箇所を路面として特定(第1機能)した後、画像処理部により、更に、マップにおける路面として特定された箇所に相当する部分において、偏光成分に関する強度が所定値より大きい箇所または無偏光成分に関する強度が所定値より小さい箇所を液体成分が存在する箇所と判定すると共に、偏光成分に関する強度が所定値より小さい箇所または無偏光成分に関する強度が所定値より大きい箇所を固体成分が存在する箇所と判定する(第2機能)ようにしている。   In addition, the configuration of the road surface state detection apparatus is further specified by the image processing unit as a road surface where a predetermined polarization angle is uniform over a predetermined range in the map or where the predetermined polarization angle changes continuously (first). In the portion corresponding to the location specified as the road surface on the map by the image processing unit, the portion where the intensity relating to the polarization component is greater than the predetermined value or the location where the intensity relating to the non-polarization component is less than the predetermined value is liquidated. It is determined that the component is present, and a portion where the intensity related to the polarization component is smaller than the predetermined value or a position where the intensity related to the non-polarized component is larger than the predetermined value is determined as the position where the solid component exists (second function). Yes.

近年、車両には、路上に存在する障害物などを検知する装置が設置されている。この装置により、例えば車両のドライバーが視認できる障害物であっても、積極的にドライバーに知らせることができたり、よそ見などで気付かない障害物を知らせることができたりする。また、ドライバーから視角となる障害物をもドライバーに知らせることができるため、思わぬ事故を未然に防止することができる。このような緊急時に用いられる装置では、障害物の検出速度がしばしば問題となり、例えば検出に画像処理を用いている場合には、画像処理速度を高速にすることが好ましい。   In recent years, vehicles have been installed with devices that detect obstacles and the like present on the road. With this device, for example, even an obstacle that can be visually recognized by the driver of the vehicle can be positively notified to the driver, or an obstacle that is not noticed by looking away can be notified. In addition, since the driver can be notified of obstacles that become the viewing angle, unexpected accidents can be prevented in advance. In such an apparatus used in an emergency, obstacle detection speed often becomes a problem. For example, when image processing is used for detection, it is preferable to increase the image processing speed.

本路面上障害物検出装置では、撮影画像の中から、まず障害物が多く存在する路面を検出した後、該路面の部分のみを画像処理することにより路面上の物体を検出している。すなわち、撮影した画像における一部を画像処理するだけで障害物などを検出できるため、撮影画像の全てを画像処理する必要がなくなる。この結果、画像処理の負担を軽減して、障害物の検出速度を向上させることができる。   The obstacle detection device on the road surface detects an object on the road surface by first detecting a road surface where many obstacles are present from the photographed image and then image-processing only the portion of the road surface. In other words, since obstacles and the like can be detected only by performing image processing on a part of the captured image, it is not necessary to perform image processing on the entire captured image. As a result, the burden of image processing can be reduced, and the obstacle detection speed can be improved.

本装置の動作原理は、以下の通りである。路面一面は比較的平らな面であるため、路面からの光の偏光成分の偏光角度は一様となっていたり又は連続的に変化していたりする。したがって、本撮影装置で撮影される撮影画像を処理して、偏光成分の偏光角度をマッピングした場合、路面一面は所定の偏光角度が所定の範囲に亘って一様となった箇所又は連続的に変化した箇所として表される。そして、この一様となった箇所又は連続的に変化した箇所を路面として特定することができる。一方、例えば路面の端に存在する路肩などの箇所は、路面と不連続な形状の箇所であるため、路面が示す偏光角度と路肩が示す偏光角度とは不連続となる。なお、「所定の範囲」については適当な値を設定すればよい。   The operating principle of this device is as follows. Since the entire road surface is a relatively flat surface, the polarization angle of the polarization component of the light from the road surface is uniform or continuously changing. Therefore, when the captured image captured by the present imaging apparatus is processed and the polarization angle of the polarization component is mapped, the entire road surface is a portion where the predetermined polarization angle is uniform over a predetermined range or continuously. It is expressed as a changed part. And the location which became uniform or the location which changed continuously can be specified as a road surface. On the other hand, for example, a road shoulder or the like existing at the end of the road surface is a discontinuous shape with the road surface, so that the polarization angle indicated by the road surface and the polarization angle indicated by the road shoulder are discontinuous. An appropriate value may be set for the “predetermined range”.

なお、偏光成分の「偏光角度」要素は、偏光子の有する透過軸との関係で規定される要素であるため、路面に対する撮影装置の角度によって路面からの偏光成分の偏光角度が異なってしまう。しかしながら、車両に搭載される路面上障害物検出装置(更にその内部構成としての撮影装置)は、車両と路面とが所定の角度関係(例えば、路面と車両の屋根は平行になる。)にあることと関連して、路面に対して既知の角度を有する。すなわち、路面に対する撮影装置の角度が分かっているため、路面からの偏光成分の偏光角度を予測することができる。本実施形態では、路面を検出する判断材料として、上述する「所定の範囲」であるか否かに加えて、予測される偏光角度であるか否かを採用することにより、検出精度を高めることができる。なお、路面を検出した後、その路面上の障害物を検出する方法としては、公知の障害物検出手法を用いて行えばよい。   Since the “polarization angle” element of the polarization component is an element defined by the relationship with the transmission axis of the polarizer, the polarization angle of the polarization component from the road surface varies depending on the angle of the photographing apparatus with respect to the road surface. However, in a road surface obstacle detection device (and a photographing device as an internal configuration thereof) mounted on a vehicle, the vehicle and the road surface are in a predetermined angular relationship (for example, the road surface and the vehicle roof are parallel). In connection with this, it has a known angle with respect to the road surface. That is, since the angle of the photographing apparatus with respect to the road surface is known, the polarization angle of the polarization component from the road surface can be predicted. In this embodiment, as a determination material for detecting a road surface, in addition to whether or not it is the “predetermined range” described above, whether or not it is a predicted polarization angle is used to improve detection accuracy. Can do. As a method for detecting an obstacle on the road surface after detecting the road surface, a known obstacle detection method may be used.

また、本路面状態検出装置は、上述する第1機能と第2機能とにより路面状態を検出する。第1機能は、上述する路面上障害物検出装置の機能であり、これにより画像処理の負担を軽減しながら路面を特定することができる。第2機能は、後述する気象観察用撮影装置で用いられる機能(その詳細は下記説明を参照)であり、路面として特定された箇所における偏光成分又は無偏光成分に関する強度を解析することにより、該解析結果に基づいて路面上に水面や氷面が存在するかなどを判断することができる。   Moreover, this road surface state detection apparatus detects a road surface state by the 1st function mentioned above and a 2nd function. The first function is a function of the above-described obstacle detection device on the road surface, and thereby, the road surface can be specified while reducing the burden of image processing. The second function is a function used in the weather observation imaging device described later (see the following description for details), and by analyzing the intensity related to the polarization component or the non-polarization component at the location specified as the road surface, Based on the analysis result, it can be determined whether there is a water surface or an ice surface on the road surface.

例えば、アスファルトなどの路面上に水溜りと氷面が存在した場合、それらの表面の滑らかさは、アスファルトが最も粗く、水溜りがもっとも滑らかであり、氷面はこれらの中間である場合が多い。そして、これらの滑らかさの違いによって、偏光成分又は無偏光成分の強度が異なることになる。したがって、これらの強度の違いから、路面上に水面や氷面が存在するかなどを判断することができる。後述するように、液体成分と固体成分との識別精度をさらに高めるアルゴリズムなどを必要とする場合もあるが、例えば、さらに気温などの情報を用いることにより、路面状態の検出精度をさらに高めることができる。   For example, when there is a puddle and ice surface on a road surface such as asphalt, the smoothness of those surfaces is often the roughest asphalt, the smoothest puddle, and the ice surface is often between these . And the intensity | strength of a polarization component or a non-polarization component changes with the difference in these smoothness. Therefore, it is possible to determine whether there is a water surface or an ice surface on the road surface from the difference in strength. As will be described later, an algorithm or the like that further increases the accuracy of identifying the liquid component and the solid component may be required. For example, by further using information such as air temperature, the accuracy of detecting the road surface condition can be further increased. it can.

<偏光イメージング装置を応用した気象観察用撮影装置>
次に、偏光イメージング装置を応用した撮影装置及び気象観察用撮影装置について説明する。本撮影装置の構成は、上述する偏光イメージング装置と同じであり、画像処理部において、入力光を構成する偏光成分と無偏光成分とを分離すると共に、偏光成分に関する強度または無偏光成分に関する強度を偏光子ユニットごとにマッピングするようにしている。また、気象観察用撮影装置の構成は、画像処理部おいて、更に、前記マップにおいて、偏光成分に関する強度が所定値より大きい箇所または無偏光成分に関する強度が所定値より小さい箇所を液体成分が存在する箇所と判定すると共に、偏光成分に関する強度が所定値より小さい箇所または無偏光成分に関する強度が所定値より大きい箇所を固体成分が存在する箇所と判定するようにしている。
<Photographing device for weather observation using polarization imaging device>
Next, an imaging apparatus and a weather observation imaging apparatus to which the polarization imaging apparatus is applied will be described. The configuration of the imaging apparatus is the same as that of the polarization imaging apparatus described above. In the image processing unit, the polarization component and the non-polarization component constituting the input light are separated and the intensity related to the polarization component or the intensity related to the non-polarization component is set. Mapping is performed for each polarizer unit. Further, in the configuration of the imaging device for weather observation, the image processing unit further includes a liquid component in the map where the intensity relating to the polarization component is greater than the predetermined value or the intensity relating to the non-polarization component is less than the predetermined value. In addition, it is determined that a location where the intensity of the polarization component is smaller than a predetermined value or a location where the intensity of the non-polarization component is greater than a predetermined value is a location where the solid component exists.

図10は、本発明の実施形態に係る偏光イメージング装置に入力された入力光を各成分に分離、抽出して、再構成した処理画像の一例である。図10(A)は各成分を処理していない通常の撮影画像例であり、図10(B)は偏光成分のみを抽出してこの強度をマッピングした画像例である。   FIG. 10 is an example of a processed image obtained by separating and extracting the input light input to the polarization imaging apparatus according to the embodiment of the present invention into each component and reconstructing the input light. FIG. 10A is an example of a normal photographed image in which each component is not processed, and FIG. 10B is an image example in which only the polarization component is extracted and the intensity is mapped.

同図に示すように、例えば、雲を撮影した場合(図10(A))、について説明する。雲は例えば水の粒(水蒸気)、氷の粒、砂及び塵などにより構成され、例示するように液体成分もあれば固体成分をも有する。これらの成分のうち、水の粒に代表される液体成分は平滑な表面を有する被写体に該当する一方、氷の粒、砂及び塵などに代表される固体成分は凹凸のある表面を有する被写体に該当する。したがって、図10(B)に示すように、撮影画像を処理して偏光成分の強度についてマッピングした場合、雲の画像を偏光成分の強度の濃淡で表すことができ、液体成分が比較的多く存在する箇所と固体成分が比較的多く存在する箇所とを識別することができる。ただし、気象現象などは様々な要因が複雑に絡み合って生まれる現象であるため、偏光成分の強度の濃淡という1つの情報から各成分を明確に分離、識別できない場合も多い。したがって、各成分をより明確に分離、識別するためには、各成分の識別精度を高めるアルゴリズムを更に採用したり(例えば、「所定値」をより的確に設定するなど)、例えば他の情報をも考慮したりすることが好ましい。また、例えば黄砂の観測情報など他の情報を含めて分析することにより、固体成分が氷の粒なのか又は黄砂や塵なのかなどのより詳細な分析をすることができる。上述する液体成分及び固体成分を判定する「所定値」については適当な値を設定すればよい。また、液体成分を識別するための所定値と固体成分を識別するための所定値とを別に設定して、これらの所定値間の強度を有する偏光子ユニットを識別するようにしてもよい。これにより、より詳細な気象観察をすることができる。なお、偏光成分の強度についてのマッピングを説明したが、無偏光成分の強度についてのマッピングとした場合であっても同様に説明することができる。   As shown in FIG. 10, for example, a case where a cloud is photographed (FIG. 10A) will be described. The cloud is composed of, for example, water particles (water vapor), ice particles, sand and dust, and has a liquid component and a solid component as illustrated. Among these components, the liquid component typified by water grains corresponds to a subject having a smooth surface, while the solid component typified by ice grains, sand and dust is suitable for a subject having an uneven surface. Applicable. Therefore, as shown in FIG. 10B, when the captured image is processed and mapped with respect to the intensity of the polarization component, the cloud image can be represented by the intensity of the polarization component, and there are relatively many liquid components. And a place where a relatively large amount of solid components are present. However, weather phenomena and the like are phenomena in which various factors are intricately intertwined, and therefore, there are many cases where each component cannot be clearly separated and identified from one piece of information of intensity of polarization component. Therefore, in order to separate and identify each component more clearly, an algorithm that improves the identification accuracy of each component is further adopted (for example, “predetermined value” is set more accurately), or other information is used, for example. Is also preferably taken into account. Further, by analyzing other information such as observation information of yellow sand, for example, it is possible to perform a more detailed analysis such as whether the solid component is an ice grain or yellow sand or dust. An appropriate value may be set for the “predetermined value” for determining the liquid component and the solid component described above. Alternatively, a predetermined value for identifying the liquid component and a predetermined value for identifying the solid component may be set separately to identify a polarizer unit having an intensity between these predetermined values. Thereby, a more detailed weather observation can be performed. In addition, although mapping about the intensity | strength of a polarization component was demonstrated, even when it is set as the mapping about the intensity | strength of a non-polarization component, it can explain similarly.

<他の実施形態に係る偏光イメージング装置>
上述する偏光イメージング装置は、入力光の偏光成分と無偏光成分とを処理(例えば分離処理)して、各成分から得られる情報を利用するものである。これに対して、次に、入力光の偏光成分と無偏光成分とを処理しなくても、有用な情報を得られる実施形態について説明する。
<Polarization imaging apparatus according to another embodiment>
The above-described polarization imaging apparatus processes (for example, separation processing) a polarization component and a non-polarization component of input light and uses information obtained from each component. On the other hand, an embodiment in which useful information can be obtained without processing the polarization component and the non-polarization component of the input light will be described next.

すなわち、本発明の他の実施形態に係る偏光イメージング装置は、上述する偏光子アレイと上述する受光素子アレイとを有し、更に、各領域を透過した透過光の強度について、隣接する領域同士の透過光の強度差が所定値より大きい偏光子ユニットと所定値より小さい偏光子ユニットとを分離する画像処理部を有する偏光イメージング装置である。   That is, a polarization imaging apparatus according to another embodiment of the present invention includes the polarizer array described above and the light receiving element array described above, and further, the intensity of transmitted light transmitted through each region is determined between adjacent regions. The polarization imaging apparatus includes an image processing unit that separates a polarizer unit having a transmitted light intensity difference larger than a predetermined value and a polarizer unit smaller than a predetermined value.

偏光子アレイ及び受光素子アレイについては、上述する様々な形態のものを適用することができる。   As the polarizer array and the light receiving element array, the above-described various forms can be applied.

次に、本実施形態に係る偏光イメージング装置における画像処理部の動作について、図6を用いて説明する。上述するように被写体を撮影する際に得られる、被写体からの光には、無偏光成分と偏光成分とが含まれる。ここで、偏光子ユニット607に入力された光が無偏光成分を比較的多く含む光(例えば、凹凸のある表面を有する被写体又は被写部分からの光)である場合、偏光子ユニット607を構成する各領域603〜606を透過する光の強度は領域ごとでほとんど差はない。従って、対応する受光素子602-0〜602-3が受光する透過光の強度は素子ごとでほとんど差はない。これに対して、偏光子ユニット607に入力された光が偏光成分を比較的多く含む光(例えば、平滑な表面を有する被写体又は被写部分からの光)である場合、偏光子ユニット607を構成する各領域603〜606を透過する光の強度は領域ごとで大きく異なる(図7を参照。)。従って、対応する受光素子602-0〜602-3が受光する透過光の強度は素子ごとで大きく異なる。   Next, the operation of the image processing unit in the polarization imaging apparatus according to the present embodiment will be described with reference to FIG. As described above, the light from the subject obtained when the subject is photographed includes a non-polarization component and a polarization component. Here, when the light input to the polarizer unit 607 is light that contains a relatively large amount of non-polarized light components (for example, light from a subject having an uneven surface or a portion to be imaged), the polarizer unit 607 is configured. The intensity of light transmitted through each of the regions 603 to 606 is almost the same for each region. Therefore, the intensity of the transmitted light received by the corresponding light receiving elements 602-0 to 602-3 has almost no difference between the elements. On the other hand, when the light input to the polarizer unit 607 is light containing a relatively large amount of polarization components (for example, light from a subject having a smooth surface or a portion to be imaged), the polarizer unit 607 is configured. The intensity of light transmitted through each of the regions 603 to 606 varies greatly from region to region (see FIG. 7). Accordingly, the intensity of the transmitted light received by the corresponding light receiving elements 602-0 to 602-3 varies greatly from element to element.

これを利用して、各領域を透過した透過光の強度について、隣接する領域同士の透過光の強度差が所定値より大きい偏光子ユニットと所定値より小さい偏光子ユニットとを抽出してこれらを分離することにより、撮影画像における無偏光成分の部分(又は該成分を多く含む部分)と偏光成分の部分(又は該成分を多く含む部分)とを識別することができる。この「所定値」については適当な値を設定すればよい。また、強度差が大きい偏光子ユニットを識別するための所定値(上側所定値)と強度差が小さい偏光子ユニットを識別するための所定値(下側所定値)とを別に設定して、上側所定値と下側所定値との間の強度差を有する偏光子ユニットを識別するようにしてもよい。   Using this, the intensity of the transmitted light transmitted through each region is extracted by extracting a polarizer unit in which the difference in transmitted light intensity between adjacent regions is larger than a predetermined value and a polarizer unit smaller than a predetermined value. By separating, a non-polarized component part (or a part containing a large amount of the component) and a polarized light component part (or a part containing a large amount of the component) in the captured image can be distinguished. An appropriate value may be set for this “predetermined value”. In addition, a predetermined value (upper predetermined value) for identifying a polarizer unit having a large intensity difference and a predetermined value (lower predetermined value) for identifying a polarizer unit having a small intensity difference are set separately, and the upper side A polarizer unit having an intensity difference between a predetermined value and a lower predetermined value may be identified.

なお、1つの偏光子に対して2つ以上の受光素子を設置した場合には、偏光成分を多く含む光が入力されても「隣接する偏光子(領域)同士」の透過光の強度差は大きいが、「隣接する受光素子同士」は必ずしも大きな強度差とはならない。ある偏光子に対応する複数の受光素子はすべて同じ強度の透過光を受光するからである。この場合には、1つの偏光子に対応する複数の受光素子群を1単位としてとらえて、この受光素子群に隣接する受光素子群について強度差を計算すればよい。   In addition, when two or more light receiving elements are installed for one polarizer, the intensity difference of transmitted light between “adjacent polarizers (regions)” even if light containing a large amount of polarization components is input. Although large, “adjacent light receiving elements” do not necessarily have a large intensity difference. This is because a plurality of light receiving elements corresponding to a certain polarizer all receive transmitted light having the same intensity. In this case, a plurality of light receiving element groups corresponding to one polarizer may be regarded as one unit, and the intensity difference may be calculated for the light receiving element groups adjacent to the light receiving element group.

<他の実施形態に係る偏光イメージング装置を応用した移動体検出用撮影装置>
次に、他の実施形態に係る偏光イメージング装置を応用した移動体検出用撮影装置について説明する。本移動体検出用撮影装置の構成は、上述する他の実施形態に係る偏光イメージング装置と同じであり、画像処理部において、隣接する領域同士の透過光の強度差が所定値より大きい偏光子ユニットが所定の範囲に亘って隣接して連続する箇所からの情報を移動体として検出するようにする。本移動体検出用撮影装置は、例えばNシステムなどの交通監視システムなどに適用することができる。
<Moving Object Detection Imaging Device Applying Polarization Imaging Device According to Other Embodiment>
Next, a moving body detection imaging apparatus to which a polarization imaging apparatus according to another embodiment is applied will be described. The configuration of the moving body detection imaging apparatus is the same as that of the polarization imaging apparatus according to the other embodiments described above. In the image processing unit, the polarizer unit has a transmitted light intensity difference between adjacent areas larger than a predetermined value. Is detected as a moving object from a location that is adjacent and continuous over a predetermined range. The moving body detection imaging apparatus can be applied to a traffic monitoring system such as an N system.

図11(A)は、本発明の他の実施形態に係る偏光イメージング装置に入力された入力光を画像とした一例である。図11(B)は図11(A)の拡大図である。これらの図に示すように、比較的平滑な表面を有する車両などの移動体のフロントガラスからの光は偏光成分を多く含むため、隣接する偏光子(領域)同士の透過光の強度差が大きく、偏光子ごとに強度が明瞭に異なるモザイク状の画像となる。そして、このモザイク状の画像を与える偏光子ユニットは、フロントガラス一面に対応するように、所定の範囲に亘って隣接して連続する。一方、比較的凹凸のある表面を有する車両以外の部分からの光は無偏光成分を多く含むため、隣接する偏光子(領域)同士の透過光の強度差が小さく、偏光子ごとに強度がほぼ同じの画像となる。これらの画像の差を処理することにより、例えば、車両などの移動体を含む景観の中から車両(移動体)のガラスなどの偏光成分の多い箇所を識別することができる結果、車両(移動体)を検出することができる。なお、「所定の範囲」については適当な値を設定すればよい。   FIG. 11A is an example in which input light input to a polarization imaging apparatus according to another embodiment of the present invention is used as an image. FIG. 11B is an enlarged view of FIG. As shown in these figures, since the light from the windshield of a moving body such as a vehicle having a relatively smooth surface contains a large amount of polarization components, the difference in transmitted light intensity between adjacent polarizers (regions) is large. A mosaic image having clearly different intensities for each polarizer is obtained. And the polarizer unit which gives this mosaic-like image adjoins over a predetermined range so that it may correspond to the whole windshield. On the other hand, light from parts other than the vehicle having a relatively uneven surface contains a large amount of non-polarized light components, so that the difference in intensity of transmitted light between adjacent polarizers (regions) is small, and the intensity of each polarizer is almost the same. It becomes the same image. By processing the difference between these images, for example, a vehicle (moving object) can be identified from a landscape containing a moving object such as a vehicle, such as a glass (mobile object) with a large amount of polarization components. ) Can be detected. An appropriate value may be set for the “predetermined range”.

本発明により実現される偏光イメージング装置は、デジタルカメラ、ビデオカメラ、表面形状計測装置、表面性状計測装置などに利用することができる。   The polarization imaging apparatus realized by the present invention can be used for a digital camera, a video camera, a surface shape measuring device, a surface property measuring device, and the like.

図1は、本発明の実施形態に係る偏光イメージング装置の概略構成図である。FIG. 1 is a schematic configuration diagram of a polarization imaging apparatus according to an embodiment of the present invention. 図2は、フォトニック結晶からなる偏光子の概念図である。FIG. 2 is a conceptual diagram of a polarizer made of a photonic crystal. 図3は、図2に示すフォトニック結晶の伝搬特性を表すバンド図である。FIG. 3 is a band diagram showing the propagation characteristics of the photonic crystal shown in FIG. 図4は、透過軸が4種類の領域を有する偏光子ユニットを複数並べた偏光子アレイと、受光素子アレイとからなる受光モジュールの概略概観図である。FIG. 4 is a schematic overview of a light receiving module including a polarizer array in which a plurality of polarizer units having four types of transmission axes are arranged, and a light receiving element array. 図5は、不透過領域により区切られた透過軸が4種類の領域を有する偏光子ユニット及び、それと組み合わされる受光素子アレイを示す図である。FIG. 5 is a diagram showing a polarizer unit having four types of regions whose transmission axes are separated by non-transparent regions, and a light receiving element array combined therewith. 図6は、実施形態に係る画像処理方法を説明するための、偏光子アレイと受光素子アレイの概略構成図である。FIG. 6 is a schematic configuration diagram of a polarizer array and a light receiving element array for explaining the image processing method according to the embodiment. 図7は、画像処理部における数学モデルを当てはめる方法を説明する図である。FIG. 7 is a diagram for explaining a method of applying a mathematical model in the image processing unit. 図8は、偏光子ユニットにおける各領域から得られる撮影画像の一例である。FIG. 8 is an example of a captured image obtained from each region in the polarizer unit. 図9は、本発明の実施形態に係る偏光イメージング装置に入力された入力光を各成分に分離、抽出して、再構成した処理画像の一例である。図9(A)は入力光から偏光成分を分離、除去することにより、車両内部の人間を抽出した画像例であり、図9(B)は偏光成分のみを抽出した画像例であり、図9(C)は偏光子ユニットごとの偏光角度をマッピングして得られた画像例である。FIG. 9 is an example of a processed image obtained by separating and extracting the input light input to the polarization imaging apparatus according to the embodiment of the present invention and extracting the components. FIG. 9A is an example of an image in which a person inside the vehicle is extracted by separating and removing the polarization component from the input light, and FIG. 9B is an example of an image in which only the polarization component is extracted. (C) is an image example obtained by mapping the polarization angle for each polarizer unit. 図10は、本発明の実施形態に係る偏光イメージング装置に入力された入力光を各成分に分離、抽出して、再構成した処理画像の一例である。図10(A)は各成分を処理していない通常の撮影画像例であり、図10(B)は偏光成分のみを抽出してこの強度をマッピングした画像例である。FIG. 10 is an example of a processed image obtained by separating and extracting the input light input to the polarization imaging apparatus according to the embodiment of the present invention into each component and reconstructing the input light. FIG. 10A is an example of a normal photographed image in which each component is not processed, and FIG. 10B is an image example in which only the polarization component is extracted and the intensity is mapped. 図11(A)は、本発明の他の実施形態に係る偏光イメージング装置に入力された入力光を画像とした一例である。図11(B)は図11(A)の拡大図である。FIG. 11A is an example in which the input light input to the polarization imaging apparatus according to another embodiment of the present invention is an image. FIG. 11B is an enlarged view of FIG.

符号の説明Explanation of symbols

100 偏光イメージング装置
101 偏光子アレイ
102 受光素子アレイ
103 受光モジュール
104 画像処理部
105 演算部
106 メインメモリ
107 出力部
201 周期的な溝列を形成した透明材料基板
202 高屈折率の媒質
203 低屈折率の媒質
401 偏光子アレイ
402 受光素子アレイ
403〜406 偏光子領域
407 偏光子ユニット
DESCRIPTION OF SYMBOLS 100 Polarization imaging apparatus 101 Polarizer array 102 Light receiving element array 103 Light receiving module 104 Image processing part 105 Operation part 106 Main memory 107 Output part 201 The transparent material board | substrate 202 which formed the periodic groove | channel row | line | column 202 High refractive index medium 203 Low refractive index Medium 401 Polarizer array 402 Light receiving element arrays 403 to 406 Polarizer region 407 Polarizer unit

Claims (19)

それぞれ透過軸が異なる3つ以上の偏光子の領域に分かれており、入射される入力光のうち、前記各領域において当該入力光の無偏光成分を透過させると共に、前記各領域によって偏光方向が異なる前記入力光の偏光成分を透過させる偏光子ユニットを1個又は複数個含む偏光子アレイと、
前記各領域を透過した光を独立に受光する受光素子アレイと、
前記受光素子アレイからの前記偏光成分及び無偏光成分を処理する画像処理部と、
有し、
前記画像処理部は、前記各領域における透過軸の角度に対する、前記各領域を透過した透過光の強度fm(i,j)に、下記式(1)で表される数学モデルを当てはめることにより、
前記透過光の強度を、前記偏光成分に関する強度A(i,j)と、前記無偏光成分に関する強度B(i,j)とに分離する、請求項1に記載する偏光イメージング装置。
ここで、mは前記領域ごとに付けられた番号であり、i及びjは前記偏光子アレイにおける前記偏光子ユニットの座標であり、θmは前記領域のうち基準とする領域における透過軸を0°とした場合の他の各領域における透過軸の角度であり、θ(i,j)は前記偏光子ユニットに入力される前記偏光成分の偏光方向と、前記基準とする領域における透過軸との角度差である。
It is divided into three or more polarizer regions each having a different transmission axis, and transmits the non-polarized component of the input light in each region of the input light that is incident, and the polarization direction varies depending on each region. A polarizer array including one or a plurality of polarizer units that transmit the polarization component of the input light;
A light receiving element array that independently receives light transmitted through each of the regions;
An image processing unit for processing the polarization component and the non-polarization component from the light receiving element array;
Have
The image processing unit applies a mathematical model represented by the following formula (1) to the intensity fm (i, j) of transmitted light transmitted through each region with respect to the angle of the transmission axis in each region,
2. The polarization imaging apparatus according to claim 1, wherein the intensity of the transmitted light is separated into an intensity A (i, j) relating to the polarization component and an intensity B (i, j) relating to the non-polarization component.
Here, m is a number assigned to each region, i and j are coordinates of the polarizer unit in the polarizer array, and θm is 0 ° of the transmission axis in the reference region among the regions. Is the angle of the transmission axis in each other region, and θ (i, j) is the angle between the polarization direction of the polarization component input to the polarizer unit and the transmission axis in the reference region It is a difference.
それぞれ透過軸が異なる3つ以上の偏光子の領域に分かれており、入射される入力光のうち、前記各領域において当該入力光の無偏光成分を透過させると共に、前記各領域によって偏光方向が異なる前記入力光の偏光成分を透過させる偏光子ユニットを1個又は複数個含む偏光子アレイと、
前記各領域を透過した光を独立に受光する受光素子アレイと、
前記受光素子アレイからの前記偏光成分及び無偏光成分を処理する画像処理部と、
を有し、
前記画像処理部は、前記各領域を透過した透過光の強度fm(i,j)を全て加算して領域数で割ることにより平均値を算出し、前記各領域における透過軸の角度に対する、前記各領域を透過した透過光の強度fm(i,j)から前記平均値を減じて得られる強度に、下記式(2)で表される数学モデルを当てはめることにより、
前記透過光の強度から、前記偏光成分に関する強度A(i,j)を抽出する、偏光イメージング装置。
ここで、mは前記領域ごとに付けられた番号であり、i及びjは前記偏光子アレイにおける前記偏光子ユニットの座標であり、θmは前記領域のうち基準とする領域における透過軸を0°とした場合の他の各領域における透過軸の角度であり、θ(i,j)は前記偏光子ユニットに入力される前記偏光成分の偏光方向と、前記基準とする領域における透過軸との角度差である。また、強度fm(i,j)の平均値をf(i,j)に上線を付けた記号で表示する。
It is divided into three or more polarizer regions each having a different transmission axis, and transmits the non-polarized component of the input light in each region of the input light that is incident, and the polarization direction varies depending on each region. A polarizer array including one or a plurality of polarizer units that transmit the polarization component of the input light;
A light receiving element array that independently receives light transmitted through each of the regions;
An image processing unit for processing the polarization component and the non-polarization component from the light receiving element array;
Have
The image processing unit calculates an average value by adding all the intensities fm (i, j) of transmitted light transmitted through the respective regions and dividing the sum by the number of regions, and for the angle of the transmission axis in each region, By applying a mathematical model represented by the following formula (2) to the intensity obtained by subtracting the average value from the intensity fm (i, j) of the transmitted light transmitted through each region,
A polarization imaging apparatus that extracts an intensity A (i, j) related to the polarization component from the intensity of the transmitted light.
Here, m is a number assigned to each region, i and j are coordinates of the polarizer unit in the polarizer array, and θm is 0 ° of the transmission axis in the reference region among the regions. Is the angle of the transmission axis in each other region, and θ (i, j) is the angle between the polarization direction of the polarization component input to the polarizer unit and the transmission axis in the reference region It is a difference. Further, the average value of the intensity fm (i, j) is displayed with a symbol with f (i, j) overlined.
前記画像処理部は、更に、前記θ(i,j)を算出して、前記偏光成分の偏光方向を求める、請求項1又は2に記載する偏光イメージング装置。
The polarization imaging apparatus according to claim 1 , wherein the image processing unit further calculates θ (i, j) to obtain a polarization direction of the polarization component.
それぞれ透過軸が異なる3つ以上の偏光子の領域に分かれており、入射される入力光のうち、前記各領域において当該入力光の無偏光成分を透過させると共に、前記各領域によって偏光方向が異なる前記入力光の偏光成分を透過させる偏光子ユニットを1個又は複数個含む偏光子アレイと、
前記各領域を透過した光を独立に受光する受光素子アレイと、
前記各領域を透過した透過光の強度について、隣接する領域同士の透過光の強度差が所定値より大きい偏光子ユニットと所定値より小さい偏光子ユニットとを分離する画像処理部と、
を有する偏光イメージング装置。
It is divided into three or more polarizer regions each having a different transmission axis, and transmits the non-polarized component of the input light in each region of the input light that is incident, and the polarization direction varies depending on each region. A polarizer array including one or a plurality of polarizer units that transmit the polarization component of the input light;
A light receiving element array that independently receives light transmitted through each of the regions;
With respect to the intensity of transmitted light transmitted through each of the regions, an image processing unit that separates a polarizer unit having a difference in transmitted light intensity between adjacent regions larger than a predetermined value and a polarizer unit smaller than a predetermined value;
A polarization imaging apparatus.
前記偏光子ユニットにおける前記透過軸が、前記領域ごとに45°以下の角度で異なる、請求項1又は4に記載する偏光イメージング装置。
5. The polarization imaging apparatus according to claim 1 , wherein the transmission axis in the polarizer unit differs by an angle of 45 ° or less for each region.
前記偏光子ユニットは、前記領域を4つ有し、
前記領域における前記透過軸は、それぞれ前記領域のうち基準とする領域における透過軸に対して0°、45°、90°、135°の方向である、請求項1又は4に記載する偏光イメージング装置。
The polarizer unit has four regions,
5. The polarization imaging apparatus according to claim 1 , wherein the transmission axis in the region is a direction of 0 °, 45 °, 90 °, and 135 ° with respect to a transmission axis in a reference region among the regions. .
前記偏光子ユニットの各領域の境界部分に遮光部分を設けるか、または前記偏光子ユニットの各領域の境界部分に対応した前記受光素子アレイの領域を遮光し、前記境界部分における光の回折や散乱の影響を抑圧する、請求項1又は4に記載する偏光イメージング装置。
A light shielding portion is provided at a boundary portion of each region of the polarizer unit, or a region of the light receiving element array corresponding to a boundary portion of each region of the polarizer unit is shielded, and light is diffracted or scattered at the boundary portion. The polarization imaging apparatus according to claim 1 or 4 , which suppresses the influence of.
前記偏光子ユニットは、直交座標系x、y、zにおいて、xy面に平行な1つの基板の上に2種以上の透明材料をz方向に交互に積層した多層構造体であって、xy面内におい3つ以上の偏光子の領域に分かれており、各層は領域毎に定まるxy面内の一方向に繰り返される1次元周期的な凹凸形状を有し、
前記xy面に前記入力光が入射される、
請求項1ないし7のいずれかに記載する偏光イメージング装置。
The polarizer unit is a multilayer structure in which two or more transparent materials are alternately stacked in the z direction on a single substrate parallel to the xy plane in an orthogonal coordinate system x, y, z. It is divided into three or more polarizer regions, and each layer has a one-dimensional periodic uneven shape repeated in one direction in the xy plane determined for each region,
The input light is incident on the xy plane;
The polarization imaging apparatus according to claim 1 .
前記偏光子ユニットは、前記各領域がワイヤーグリッド型偏光子により構成されている、
請求項1ないし7のいずれかに記載する偏光イメージング装置。
In the polarizer unit, each region is configured by a wire grid polarizer.
The polarization imaging apparatus according to claim 1 .
前記受光素子アレイがフォトディテクタ、CCD、C−MOS又は撮像管のいずれかである、請求項1ないし9のいずれかに記載する偏光イメージング装置。
The polarization imaging apparatus according to claim 1 , wherein the light receiving element array is one of a photodetector, a CCD, a C-MOS, and an imaging tube.
請求項1に記載する偏光イメージング装置を具備し、
前記画像処理部により、前記入力光を構成する前記偏光成分と前記無偏光成分とを分離して、前記無偏光成分を得る、撮影装置。
Comprising the polarization imaging apparatus according to claim 1;
An imaging apparatus that obtains the non-polarized component by separating the polarized component and the non-polarized component constituting the input light by the image processing unit.
請求項3に記載する偏光イメージング装置を具備し、
前記画像処理部により、更に、前記偏光成分の偏光方向の角度を前記偏光子ユニットごとにマッピングして、物体の表面形状を検出する、表面形状計測装置。
Comprising the polarization imaging apparatus according to claim 3 ;
The surface shape measuring device further detects the surface shape of the object by mapping the polarization direction angle of the polarization component for each polarizer unit by the image processing unit.
請求項3に記載する偏光イメージング装置を具備し、
前記画像処理部により、更に、前記偏光成分の偏光方向の角度を前記偏光子ユニットごとにマッピングして、物体の表面を構成する物質の連続性を検出する、表面性状計測装置。
Comprising the polarization imaging apparatus according to claim 3 ;
A surface property measurement apparatus that further detects the continuity of a substance constituting the surface of an object by mapping an angle of a polarization direction of the polarization component for each polarizer unit by the image processing unit.
請求項3に記載する偏光イメージング装置を具備し、
前記画像処理部により、更に、前記偏光成分の偏光方向の角度を前記偏光子ユニットごとにマッピングして、該マップにおいて所定の偏光角度が所定の範囲に亘って一様となる箇所又は連続的に変化する箇所を検出する、撮影装置。
Comprising the polarization imaging apparatus according to claim 3 ;
The image processing unit further maps the angle of the polarization direction of the polarization component for each polarizer unit, and in the map, the predetermined polarization angle is uniform over a predetermined range or continuously. An imaging device that detects changes.
請求項14に記載する撮影装置を具備し、
前記画像処理部により、更に、前記マップにおいて所定の偏光角度が所定の範囲に亘って一様となる箇所又は連続的に変化する箇所を路面として特定し、前記路面として特定された箇所に位置する物体を検出する、路面上障害物検出装置。
A photographing apparatus according to claim 14 is provided,
The image processing unit further specifies a location where a predetermined polarization angle is uniform over a predetermined range in the map or a location where the polarization angle changes continuously as a road surface, and is located at a location specified as the road surface. An obstacle detection device for detecting an object on the road surface.
請求項14に記載する撮影装置を具備し、
前記画像処理部により、更に、前記マップにおいて所定の偏光角度が所定の範囲に亘って一様となる箇所又は連続的に変化する箇所を路面として特定し、
前記画像処理部により、更に、前記マップにおける前記路面として特定された箇所に相当する部分において、前記偏光成分に関する強度が所定値より大きい箇所または前記無偏光成分に関する強度が所定値より小さい箇所を液体成分が存在する箇所と判定すると共に、前記偏光成分に関する強度が所定値より小さい箇所または前記無偏光成分に関する強度が所定値より大きい箇所を固体成分が存在する箇所と判定する、路面状態検出装置。
A photographing apparatus according to claim 14 is provided,
The image processing unit further specifies a place where a predetermined polarization angle is uniform over a predetermined range in the map or a place where it continuously changes as a road surface,
Further, in the portion corresponding to the location specified as the road surface in the map by the image processing unit, a location where the intensity relating to the polarization component is greater than a predetermined value or a location where the intensity relating to the non-polarization component is less than a predetermined value is liquid. A road surface state detection device that determines a location where a component exists and determines a location where the intensity related to the polarized component is smaller than a predetermined value or a location where the intensity related to the non-polarized component is higher than a predetermined value as a location where a solid component exists.
請求項1に記載する偏光イメージング装置を具備し、
前記画像処理部により、前記入力光を構成する前記偏光成分と前記無偏光成分とを分離すると共に、前記偏光成分に関する強度または前記無偏光成分に関する強度を前記偏光子ユニットごとにマッピングする、撮影装置。
Comprising the polarization imaging apparatus according to claim 1 ;
The image processing unit separates the polarization component and the non-polarization component constituting the input light, and maps the intensity related to the polarization component or the intensity related to the non-polarization component for each polarizer unit. .
請求項17に記載する撮影装置を具備し、
前記画像処理部により、更に、前記マップにおいて、前記偏光成分に関する強度が所定値より大きい箇所または前記無偏光成分に関する強度が所定値より小さい箇所を液体成分が存在する箇所と判定すると共に、前記偏光成分に関する強度が所定値より小さい箇所または前記無偏光成分に関する強度が所定値より大きい箇所を固体成分が存在する箇所と判定する、気象観察用撮影装置。
A photographing apparatus according to claim 17 is provided,
The image processing unit further determines, in the map, a location where the intensity relating to the polarization component is greater than a predetermined value or a location where the intensity relating to the non-polarization component is less than a predetermined value as a location where a liquid component exists, and the polarization An imaging device for weather observation that determines a location where the intensity related to a component is smaller than a predetermined value or a location where the intensity related to the non-polarized component is higher than a predetermined value as a location where a solid component exists.
請求項4に記載する偏光イメージング装置を具備し、
前記画像処理部により、更に、前記隣接する領域同士の透過光の強度差が所定値より大きい偏光子ユニットが所定の範囲に亘って隣接して連続する箇所からの情報を移動体として検出する、移動体検出用撮影装置。
Comprising the polarization imaging apparatus according to claim 4 ;
The image processing unit further detects, as a moving body, information from a location where a polarizer unit having a transmitted light intensity difference between adjacent regions larger than a predetermined value is adjacent and continuous over a predetermined range. Moving body detection imaging device.
JP2006045257A 2005-08-23 2006-02-22 Polarization imaging device Active JP4974543B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005241270 2005-08-23
JP2005241270 2005-08-23
JP2006045257A JP4974543B2 (en) 2005-08-23 2006-02-22 Polarization imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006045257A JP4974543B2 (en) 2005-08-23 2006-02-22 Polarization imaging device

Publications (2)

Publication Number Publication Date
JP2007086720A JP2007086720A (en) 2007-04-05
JP4974543B2 true JP4974543B2 (en) 2012-07-11

Family

ID=37973716

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006045257A Active JP4974543B2 (en) 2005-08-23 2006-02-22 Polarization imaging device

Country Status (1)

Country Link
JP (1) JP4974543B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9506806B2 (en) 2014-03-10 2016-11-29 Canon Kabushiki Kaisha Polarization information acquisition unit, image pickup apparatus including the same, polarization information acquisition method, and non-transitory computer-readable storage medium
WO2018234925A1 (en) * 2017-06-23 2018-12-27 株式会社半導体エネルギー研究所 Image pickup device
CN109923855A (en) * 2016-11-15 2019-06-21 索尼公司 Image processing apparatus, image processing method and program
WO2019235019A1 (en) 2018-06-05 2019-12-12 ソニー株式会社 Information generation device, information generation method, and program
US10523873B2 (en) 2015-11-19 2019-12-31 Sony Corporation Image processing device and image processing method

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008286518A (en) 2007-05-15 2008-11-27 Hitachi Ltd Method and device for measuring displacement thereof
WO2008149489A1 (en) 2007-05-31 2008-12-11 Panasonic Corporation Image processing device
EP3217660B1 (en) 2007-06-15 2018-10-31 Panasonic Intellectual Property Management Co., Ltd. Image processing device
JP2009031212A (en) * 2007-07-30 2009-02-12 Nikon Corp Surface inspection device and method
JP4317583B2 (en) 2007-08-07 2009-08-19 パナソニック株式会社 Normal information generating apparatus and normal information generating method
US7710564B1 (en) * 2007-09-03 2010-05-04 Kla-Tencor Corporation Polarized broadband wafer inspection
JP2009192520A (en) * 2007-11-15 2009-08-27 Nikon Corp Surface inspection device
CN101868979B (en) * 2007-12-07 2013-03-27 松下电器产业株式会社 Image processing device, image processing method, and imaging device
US7821647B2 (en) * 2008-02-21 2010-10-26 Corning Incorporated Apparatus and method for measuring surface topography of an object
JP5045504B2 (en) * 2008-03-11 2012-10-10 コニカミノルタアドバンストレイヤー株式会社 Optical system
CN101981915B (en) * 2008-03-26 2014-03-05 柯尼卡美能达精密光学株式会社 Imaging device
DE102008016294A1 (en) * 2008-03-28 2009-10-01 Dritte Patentportfolio Beteiligungsgesellschaft Mbh & Co.Kg Manufacturing method for a surface sensor, system and use of a surface sensor
JP5582515B2 (en) * 2008-05-12 2014-09-03 AvanStrate株式会社 Glass plate manufacturing method and glass plate strain measuring apparatus
JP5466377B2 (en) * 2008-05-16 2014-04-09 株式会社日立ハイテクノロジーズ Defect inspection equipment
JP5152655B2 (en) * 2008-06-18 2013-02-27 株式会社リコー Imaging device
JP5610254B2 (en) * 2008-06-18 2014-10-22 株式会社リコー Imaging apparatus and road surface state determination method
JP5076244B2 (en) * 2008-10-30 2012-11-21 富士フイルム株式会社 Calculation device, imaging device, calculation method, method, and program
JP5181403B2 (en) * 2008-12-01 2013-04-10 株式会社高岳製作所 Interferometer
JP5067811B2 (en) * 2008-12-01 2012-11-07 富士フイルム株式会社 Imaging device
US8879151B2 (en) 2008-12-22 2014-11-04 3M Innovative Properties Company Internally patterned multilayer optical films using spatially selective birefringence reduction
JP4563513B2 (en) 2008-12-25 2010-10-13 パナソニック株式会社 Image processing apparatus and pseudo-stereoscopic image generation apparatus
US8390696B2 (en) 2009-01-06 2013-03-05 Panasonic Corporation Apparatus for detecting direction of image pickup device and moving body comprising same
WO2010081229A1 (en) * 2009-01-19 2010-07-22 The University Of British Columbia Multiplexed imaging
JP5572954B2 (en) 2009-01-26 2014-08-20 株式会社リコー Image pickup device and image pickup apparatus including the image pickup device
JP5429622B2 (en) * 2009-02-16 2014-02-26 株式会社リコー Droplet recognition device, raindrop recognition device and automatic wiper device
JP5488958B2 (en) * 2009-04-23 2014-05-14 株式会社リコー Front monitor camera device and vehicle left and right side confirmation device
JP5428509B2 (en) 2009-05-11 2014-02-26 ソニー株式会社 Two-dimensional solid-state imaging device and polarized light data processing method in two-dimensional solid-state imaging device
JP5440907B2 (en) * 2009-05-29 2014-03-12 株式会社リコー Image recognition device and vehicle exterior monitoring device
JP5446521B2 (en) 2009-07-06 2014-03-19 株式会社リコー Imaging device
CN102356628B (en) 2009-12-08 2015-03-11 松下电器产业株式会社 Image processing apparatus and image processing method
JP5837283B2 (en) * 2010-03-18 2015-12-24 株式会社ブリヂストン Tire appearance inspection method and appearance inspection apparatus
JP2011237646A (en) * 2010-05-11 2011-11-24 Panasonic Corp Three-dimensional imaging apparatus
JP2011239241A (en) * 2010-05-11 2011-11-24 Panasonic Corp Three-dimensional imaging device
WO2012002207A1 (en) 2010-06-29 2012-01-05 国立大学法人京都工芸繊維大学 Method and apparatus for polarization imaging
JP4971531B2 (en) 2010-07-21 2012-07-11 パナソニック株式会社 Image processing device
JP5779965B2 (en) * 2010-08-30 2015-09-16 日産自動車株式会社 Object detection apparatus and object detection method
JP5450826B2 (en) 2010-09-24 2014-03-26 パナソニック株式会社 Image processing device
JP2012113280A (en) * 2010-11-05 2012-06-14 Asahi Kasei E-Materials Corp Wire grid polarizer and optical sensor
JP5631168B2 (en) 2010-11-17 2014-11-26 キヤノン株式会社 Solid-state image sensor
JP2012122768A (en) * 2010-12-06 2012-06-28 National Central Univ Method for measuring thin film element using optical multi-wavelength interferometry
JP5867807B2 (en) * 2010-12-08 2016-02-24 株式会社リコー Vehicle identification device
JP5674130B2 (en) * 2011-01-06 2015-02-25 株式会社リコー Imaging device
JP5637448B2 (en) * 2011-01-27 2014-12-10 株式会社リコー Polarized imaging device
JP5786381B2 (en) * 2011-03-10 2015-09-30 株式会社リコー Apparatus for acquiring polarization image of light incident from road surface, method for acquiring polarization image of light incident from road surface, program, and computer-readable recording medium
JP5681555B2 (en) * 2011-04-27 2015-03-11 パナソニックIpマネジメント株式会社 Glossy appearance inspection device, program
JP2013031054A (en) 2011-07-29 2013-02-07 Ricoh Co Ltd Image pickup device and object detection device incorporating the same and optical filter and manufacturing method thereof
JP2013074400A (en) * 2011-09-27 2013-04-22 Toshiba Corp Solid-state image pickup device
EP2574511B1 (en) * 2011-09-30 2016-03-16 Honda Research Institute Europe GmbH Analyzing road surfaces
JP5895448B2 (en) * 2011-10-27 2016-03-30 株式会社リコー Vehicle recognition device, vehicle recognition method, and program
WO2013105270A1 (en) * 2012-01-13 2013-07-18 株式会社日立製作所 Light-receiving device unit, polarization imaging device, and apparatus
JP5899957B2 (en) * 2012-01-20 2016-04-06 株式会社リコー Image processing system and vehicle equipped with the same
JP5699105B2 (en) * 2012-04-11 2015-04-08 株式会社日立製作所 Surface measurement method and apparatus
JP5820794B2 (en) 2012-10-05 2015-11-24 オリンパス株式会社 Imaging device
JP6254775B2 (en) * 2013-06-11 2017-12-27 浜松ホトニクス株式会社 Encoder
JPWO2015045501A1 (en) * 2013-09-27 2017-03-09 日立オートモティブシステムズ株式会社 External recognition device
JP6456156B2 (en) 2015-01-20 2019-01-23 キヤノン株式会社 Normal line information generating apparatus, imaging apparatus, normal line information generating method, and normal line information generating program
WO2017013913A1 (en) * 2015-07-17 2017-01-26 ソニー株式会社 Gaze detection device, eyewear terminal, gaze detection method, and program
JP6818444B2 (en) 2016-06-22 2021-01-20 キヤノン株式会社 Image processing device, imaging device, image processing program and image processing method
CN107192373B (en) * 2017-04-01 2020-05-15 交通运输部公路科学研究所 Polarized flash laser light system and imaging method
EP3618419A4 (en) 2017-04-25 2021-01-13 FUJIFILM Corporation Image processing device, image capturing device, image processing method, and program
JP2019070886A (en) 2017-10-06 2019-05-09 キヤノン株式会社 Image processing device, imaging device, and image processing method
JPWO2020054152A1 (en) * 2018-09-12 2021-08-30 ソニーグループ株式会社 Image processing equipment and image processing methods and programs

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5890095A (en) * 1997-01-21 1999-03-30 Nichols Research Corporation System for receiving and enhancing electromagnetic radiation input signals
EP1560044A4 (en) * 2002-07-13 2008-03-19 Autocloning Technology Ltd Polarization analyzer

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9506806B2 (en) 2014-03-10 2016-11-29 Canon Kabushiki Kaisha Polarization information acquisition unit, image pickup apparatus including the same, polarization information acquisition method, and non-transitory computer-readable storage medium
US10523873B2 (en) 2015-11-19 2019-12-31 Sony Corporation Image processing device and image processing method
CN109923855A (en) * 2016-11-15 2019-06-21 索尼公司 Image processing apparatus, image processing method and program
WO2018234925A1 (en) * 2017-06-23 2018-12-27 株式会社半導体エネルギー研究所 Image pickup device
WO2019235019A1 (en) 2018-06-05 2019-12-12 ソニー株式会社 Information generation device, information generation method, and program

Also Published As

Publication number Publication date
JP2007086720A (en) 2007-04-05

Similar Documents

Publication Publication Date Title
JP4974543B2 (en) Polarization imaging device
JP5428509B2 (en) Two-dimensional solid-state imaging device and polarized light data processing method in two-dimensional solid-state imaging device
EP2216999B1 (en) Image processing device, image processing method, and imaging device
EP2491340B1 (en) Ranging camera apparatus
JP5152655B2 (en) Imaging device
JP5637425B2 (en) Droplet detection device and in-vehicle monitoring device
US20200321378A1 (en) Lens-free compound eye cameras based on angle-sensitive meta-surfaces
JP2007263593A (en) Measuring instrument for phase difference and optical axis direction
CN107976733A (en) A kind of all dielectric polarizes unrelated angular filter
JP6836321B2 (en) Acquisition of spectral information from moving objects
CN106019451A (en) Full-stokes vector polarizer based on surface plasmon and preparation method thereof
CN106154388A (en) All dielectric pixel type full Stokes imaging polarization device and preparation method thereof
JPWO2008105156A1 (en) Polarization imaging apparatus and differential interference microscope
JP5347722B2 (en) Optical filter and image photographing apparatus
CN108168704A (en) Infrared polarization inteference imaging spectrometer based on binary cycle stepped phase speculum
JP5488958B2 (en) Front monitor camera device and vehicle left and right side confirmation device
CN206057627U (en) Double-layer nanometer grating linear polarizer is orientated pixel type based on plasma primitive more
JP6534114B2 (en) Optical device manufacturing method and optical device
US20070247623A1 (en) Polarization measuring devices, ellipsometers and polarization measuring methods
CN111025629A (en) Super surface combining polarization regulation and space-frequency multiplexing and design method and application thereof
JP3908726B2 (en) Three-dimensional shape measuring device for transparent thin film using acousto-optic modulation filter
CN206161889U (en) Full stokes formation of image polarization device of all -dielectric pixel formula
JP2015115329A (en) Imaging element and imaging apparatus comprising the same
KR100451881B1 (en) 3 Dimensional Shape Measuring Device Using Acoustic-Optic Tunable Filter
JP2007155480A (en) Surface measurement apparatus

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070206

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120410

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4974543

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250