JP5440907B2 - Image recognition device and vehicle exterior monitoring device - Google Patents

Image recognition device and vehicle exterior monitoring device Download PDF

Info

Publication number
JP5440907B2
JP5440907B2 JP2009130111A JP2009130111A JP5440907B2 JP 5440907 B2 JP5440907 B2 JP 5440907B2 JP 2009130111 A JP2009130111 A JP 2009130111A JP 2009130111 A JP2009130111 A JP 2009130111A JP 5440907 B2 JP5440907 B2 JP 5440907B2
Authority
JP
Japan
Prior art keywords
image
light
imaging
unit
polarization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009130111A
Other languages
Japanese (ja)
Other versions
JP2010276507A (en
Inventor
俊 三宮
秀明 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2009130111A priority Critical patent/JP5440907B2/en
Publication of JP2010276507A publication Critical patent/JP2010276507A/en
Application granted granted Critical
Publication of JP5440907B2 publication Critical patent/JP5440907B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、単純な構成で被写体の三次元画像を撮像し、撮像した画像から距離情報を求める画像認識装置とそれを使用した車外監視装置に関するものである。 The present invention relates to an image recognition device that captures a three-dimensional image of a subject with a simple configuration and obtains distance information from the captured image, and an out-of-vehicle monitoring device that uses the image recognition device.

被写体の三次元位置を測定する技術として、従来からステレオカメラが知られている。ステレオカメラは、視点の異なる二つのカメラの撮影画像を解析することにより、被写体の三次元位置情報を演算するものである。ステレオカメラでは、二つのカメラ間の距離(光軸間の距離)を基線長として、被写体の三次元位置情報を、二つのカメラの視点の相違による画像座標の差分である二つのカメラの撮影画像の視差と基線長から容易に演算することができる。このステレオカメラにおいては、二つのカメラに共通して写っている被写体に限って、その三次元位置を演算することができる。   Conventionally, a stereo camera is known as a technique for measuring the three-dimensional position of a subject. The stereo camera calculates the three-dimensional position information of the subject by analyzing the captured images of two cameras with different viewpoints. In a stereo camera, the distance between two cameras (the distance between the optical axes) is the baseline length, and the three-dimensional position information of the subject is taken by the two cameras, which is the difference in image coordinates due to the difference in the viewpoints of the two cameras. Can be easily calculated from the parallax and the baseline length. In this stereo camera, the three-dimensional position can be calculated only for a subject that is shown in common in the two cameras.

このステレオカメラで視差検出を精度良く行うためには、特許文献1に示すように、2台のカメラの位置がずれないように、ステーの両端部にカメラを設置するための実質的に同一の平面に含まれる設置面を設け、この2つの設置面にカメラを設置して2つのカメラの取付精度を向上させている。   In order to perform parallax detection with this stereo camera with high accuracy, as shown in Patent Document 1, it is substantially the same for installing the cameras at both ends of the stay so that the positions of the two cameras are not displaced. An installation surface included in the plane is provided, and a camera is installed on these two installation surfaces to improve the mounting accuracy of the two cameras.

また、2つのカメラを使用して路面の状況を判別する路面状態判別装置が例えば特許文献2に開示されている。特許文献2に示された路面状態判別装置は、垂直方向の偏光を透過する位置に偏光フィルタを配置し水平偏光画像を撮影するカメラと、水平方向の偏光を透過する位置に偏光フィルタを配置し垂直偏光画像を撮影するカメラとを備え、同一シーンを同時に撮影して得られた水平偏光画像と垂直偏光画像の視差による位置ずれを補正し、補正した水平偏光画像と垂直偏光画像の偏光比から路面の状況を判別している。   Further, for example, Patent Document 2 discloses a road surface state determination device that determines the road surface condition using two cameras. The road surface state discrimination device disclosed in Patent Document 2 includes a camera that shoots a horizontally polarized image by arranging a polarization filter at a position that transmits vertically polarized light, and a polarization filter that is disposed at a position that transmits horizontally polarized light. A camera that captures vertically polarized images, and corrects misalignment caused by parallax between the horizontally polarized image and the vertically polarized image obtained by simultaneously capturing the same scene. The road condition is determined.

しかしながら2台のカメラを使用すると装置が大型化するとともにコスト高になってしまう。また、特許文献2に示すように2つのカメラで撮像した水平偏光画像と垂直偏光画像の視差による位置ずれを補正していると、処理が複雑になってしまう。   However, if two cameras are used, the apparatus becomes large and the cost increases. Further, as shown in Patent Document 2, if the positional deviation due to the parallax between the horizontally polarized image and the vertically polarized image captured by the two cameras is corrected, the processing becomes complicated.

これに対して2台のカメラを使用しないで路面の状況を判別する路面状態判別装置が例えば特許文献3に開示されている。特許文献3に示された路面湿潤状況検出装置は、路面に向けて水のブリュータス角となるように配置した撮像装置の前面に直線偏光子を設け、路面を撮影するとき直線偏光子をモータにより回転して偏光面を垂直方向と水平方向に切り替えて撮影した垂直偏光画像と水平偏光画像の偏光比を演算し、演算した偏光比の大小から路面状態を判別している。   On the other hand, for example, Patent Document 3 discloses a road surface state determination device that determines the road surface state without using two cameras. The road surface wetness state detection apparatus disclosed in Patent Document 3 is provided with a linear polarizer on the front surface of an imaging device arranged so as to have a brute angle of water toward the road surface, and when photographing a road surface, the linear polarizer is moved by a motor. The polarization ratio between the vertically polarized image and the horizontally polarized image captured by rotating and switching the polarization plane between the vertical direction and the horizontal direction is calculated, and the road surface state is determined based on the calculated polarization ratio.

特許文献3に開示された路面湿潤状況検出装置は、路面を撮影するにあたって偏光子を回転して偏光面を垂直方向と水平方向に回転しているため、撮像装置を固定した場所に設置するのではなく自動車等の車両に搭載して路面を走行しながら路面状態を判別しようとした場合には、偏光子を回転させる時間のズレによって垂直偏光画像と水平偏光画像が全く異なった場所を撮影することになり、走行しながら路面状態を判別することができないという短所がある。   The road surface wetness state detection device disclosed in Patent Document 3 rotates the polarizer and rotates the polarization surface in the vertical and horizontal directions when photographing the road surface, so that the imaging device is installed in a fixed place. If you are trying to determine the road surface condition while driving on the road instead of being mounted on a vehicle such as an automobile, take a place where the vertical polarization image and the horizontal polarization image are completely different depending on the time difference of rotating the polarizer. In other words, there is a disadvantage that the road surface state cannot be determined while traveling.

また、偏光子を回転するためのモータや駆動伝達機構が必要であるため、路面湿潤状況検出装置そのものが大型化してしまう。この路面湿潤状況検出装置を例えば自動車に搭載する場合は、ルームミラーに内蔵するかルームミラーの裏面に装着することが望ましいが、路面湿潤状況検出装置が大型化すると、このような装着できないという短所がある。さらにモータや駆動伝達機構の保守点検を定期的に行う必要がある。   In addition, since a motor and a drive transmission mechanism for rotating the polarizer are necessary, the road surface wetness state detection device itself is increased in size. When this road surface wetness detection device is mounted on, for example, an automobile, it is desirable that the road surface wetness detection device is built in the rearview mirror or attached to the rear surface of the rearview mirror. There is. Furthermore, it is necessary to periodically perform maintenance and inspection of the motor and the drive transmission mechanism.

この発明は、このような短所を改善し、単純な構成で被写体の三次元画像を撮像し、撮像した画像から距離情報を求める画像認識装置とそれを使用した車外監視装置を提供することを目的とするものである。 An object of the present invention is to provide an image recognition apparatus that improves such disadvantages, captures a three-dimensional image of a subject with a simple configuration, obtains distance information from the captured image, and an out-of-vehicle monitoring apparatus using the image recognition apparatus. It is what.

この発明の画像認識装置は、前方の画像を撮像する画像認識装置であって、撮像装置と画像信号処理装置を有し、前記撮像装置は、入射した光を水平偏光成分と垂直偏光成分の光に分離する偏光分離手段と、前記偏光分離手段で分離した水平偏光成分と垂直偏光成分の光を入射して水平偏光画像と垂直偏光画像を撮像する撮像手段とを有し、前記画像信号処理装置は、前記撮像手段で撮像した水平偏光画像と垂直偏光画像を処理して偏光比画像を生成し、生成した偏光比画像から三次元の距離情報を求めることを特徴とする。 The image recognition apparatus according to the present invention is an image recognition apparatus that captures a front image, and includes an imaging apparatus and an image signal processing apparatus. The imaging apparatus converts incident light into light having a horizontal polarization component and a vertical polarization component. The image signal processing apparatus includes: a polarization separating unit that separates the light into a light beam; and an image capturing unit that picks up a horizontally polarized image and a vertically polarized image by entering the light of the horizontally and vertically polarized components separated by the polarization separating unit. , the generate Henhikarihiga image by processing horizontal polarization image and the vertical polarization image captured by the imaging means, from the generated Henhikarihiga image wherein the distance information of the three-dimensional Mel determined.

この発明の第2の画像認識装置は、前方の画像を撮像する画像認識装置であって、撮像装置と画像信号処理装置を有し、前記撮像装置は、第1の撮像ユニットと、第1の撮像ユニットに近接して配置した第2の撮像ユニットを有し、前記第1の撮像ユニットは、入射した光のなかから水平偏光成分の光を分離する偏光分離手段と、前記偏光分離手段で分離した水平偏光成分の光を入射して水平偏光画像を撮像する撮像手段とを有し、前記第2の撮像ユニットは、入射した光のなかから垂直偏光成分の光を分離する偏光分離手段と、前記偏光分離手段で分離した垂直偏光成分の光を入射して垂直偏光画像を撮像する撮像手段とを有し、前記画像信号処理装置は、前記第1の撮像ユニットと第2の撮像ユニットとで撮像した水平偏光画像と垂直偏光画像を処理して偏光比画像を生成し、生成した偏光比画像から三次元の距離情報を求めることを特徴とする。 A second image recognition apparatus according to the present invention is an image recognition apparatus that captures a front image, and includes an imaging apparatus and an image signal processing apparatus. The imaging apparatus includes a first imaging unit, a first imaging unit, and a first imaging unit. A second image pickup unit arranged close to the image pickup unit, wherein the first image pickup unit separates the light of the horizontal polarization component from the incident light by the polarization separation means; Image pickup means for picking up the horizontally polarized component light and picking up a horizontally polarized image, and the second image pickup unit is a polarization separation means for separating the vertically polarized light component from the incident light, Image pickup means for picking up a vertically polarized image by entering light of a vertically polarized component separated by the polarization separation means, and the image signal processing device includes the first image pickup unit and the second image pickup unit. Captured horizontal polarization image and vertical polarization Processing the image to generate a Henhikarihiga image, the generated Henhikarihiga distance information of the three-dimensional from image and wherein the mel determined.

この発明の第3の画像認識装置は、前方の画像を撮像する画像認識装置であって、撮像装置と画像信号処理装置を有し、前記撮像装置は、光分岐手段と第1の撮像ユニットと第2の撮像ユニットを有し、前記光分岐手段は、入射した光を2方向に分岐し、前記第1の撮像ユニットは、前記光分岐手段で分岐した一方の光のなかから水平偏光成分の光を分離する偏光分離手段と、前記偏光分離手段で分離した水平偏光成分の光を入射して水平偏光画像を撮像する撮像手段とを有し、前記第2の撮像ユニットは、前記光分岐手段で分岐した他方の光のなかから垂直偏光成分の光を分離する偏光分離手段と、前記偏光分離手段で分離した垂直偏光成分の光を入射して垂直偏光画像を撮像する撮像手段とを有し、前記画像信号処理装置は、前記第1の撮像ユニットと第2の撮像ユニットとで撮像した水平偏光画像と垂直偏光画像を処理して偏光比画像を生成し、生成した偏光比画像から三次元の距離情報を求めることを特徴とする。 A third image recognition apparatus according to the present invention is an image recognition apparatus that captures a front image, and includes an imaging apparatus and an image signal processing apparatus. The imaging apparatus includes an optical branching unit, a first imaging unit, and the like. A second imaging unit, and the light branching unit branches incident light in two directions, and the first imaging unit is configured to generate a horizontal polarization component from one of the lights branched by the light branching unit. A polarization separation unit that separates light; and an imaging unit that captures a horizontally polarized image by entering light of a horizontal polarization component separated by the polarization separation unit, and the second imaging unit includes the light branching unit. Polarization separation means for separating the light of the vertical polarization component from the other light branched in step (b), and imaging means for picking up the vertical polarization image by entering the light of the vertical polarization component separated by the polarization separation means. , The image signal processing device includes: Processing the horizontally polarized image and the vertical polarization image captured by the image unit and the second imaging unit generates Henhikarihiga image, and wherein the distance information of the three-dimensional Mel determined from the generated Henhikarihiga image .

この発明の第4の画像認識装置は、前方の画像を撮像する画像認識装置であって、撮像装置と画像信号処理装置を有し、前記撮像装置は、領域分割フィルタと第1の撮像ユニットと第2の撮像ユニットを有し、前記領域分割フィルタは、入射した光を水平偏光成分の光と垂直偏光成分の光に分離し、2方向に分岐し、前記第1の撮像ユニットは、前記領域分割フィルタで分離した水平偏光成分の光を入射して水平偏光画像を撮像する撮像手段とを有し、前記第2の撮像ユニットは、前記領域分割フィルタで分離した垂直偏光成分の光を入射して垂直偏光画像を撮像する撮像手段とを有し、前記画像信号処理装置は、前記第1の撮像ユニットと第2の撮像ユニットとで撮像した水平偏光画像と垂直偏光画像を処理して偏光比画像を生成し、生成した偏光比画像から三次元の距離情報を求めることを特徴とする。 A fourth image recognition apparatus according to the present invention is an image recognition apparatus that captures a front image, and includes an imaging apparatus and an image signal processing apparatus. The imaging apparatus includes an area division filter, a first imaging unit, and the like. A second image pickup unit, wherein the region dividing filter separates the incident light into light of a horizontal polarization component and light of a vertical polarization component, and branches in two directions; Imaging means for capturing a horizontally polarized image by entering the light of the horizontally polarized component separated by the division filter, and the second imaging unit receives the light of the vertically polarized component separated by the region dividing filter. Imaging means for capturing a vertically polarized image, and the image signal processing device processes a horizontally polarized image and a vertically polarized image captured by the first imaging unit and the second imaging unit to obtain a polarization ratio image. to generate the image, generation Distance information of the three-dimensional from Henhikarihiga image was characterized by Mel determined.

前記光分岐手段の前段や領域分割フィルタの前段に撮像光学系を設けると良い。   It is preferable to provide an imaging optical system in the previous stage of the light branching means and the previous stage of the area dividing filter.

この発明の車外監視装置は、前記画像認識装置と中央処理装置及び表示装置を有し、車両に搭載され、前記中央処理装置は前記画像認識装置で撮像した画像や距離情報から道路形状や複数の立体物の三次元位置を高速で検出して前記表示装置に表示することを特徴とする。   A vehicle exterior monitoring device according to the present invention includes the image recognition device, a central processing device, and a display device, and is mounted on a vehicle. The central processing device is configured to detect a road shape and a plurality of information from images and distance information captured by the image recognition device. A three-dimensional position of a three-dimensional object is detected at high speed and displayed on the display device.

この発明の画像認識装置は、1つの撮像装置で入射した光を水平偏光成分の光と垂直偏光成分の光に分離して水平偏光画像と垂直偏光画像を撮像するから、水平偏光画像と垂直偏光画像の視差を非常に小さくすることができる。   The image recognition apparatus according to the present invention separates the light incident by one image pickup device into light of a horizontal polarization component and light of a vertical polarization component, and picks up a horizontal polarization image and a vertical polarization image. The parallax of the image can be made very small.

この撮像した水平偏光画像と垂直偏光画像を処理して偏光比画像又は偏光差分画像を生成し、生成した偏光比画像又は偏光差分画像から三次元の距離情報を有する距離画像を求めるから視差ずれ補正などの処理を不要にして処理の簡略化して三次元の距離情報を得ることができる。   The captured horizontal polarization image and vertical polarization image are processed to generate a polarization ratio image or a polarization difference image, and a distance image having three-dimensional distance information is obtained from the generated polarization ratio image or polarization difference image, so that parallax deviation correction is performed. It is possible to obtain three-dimensional distance information by simplifying the processing without the need for such processing.

また、この発明が画像認識装置を使用した車外監視装置は、三次元の距離情報を認識することにより、自動車や歩行者が接近するかを確認することができ、安全性を向上することができる。   In addition, the vehicle outside monitoring device using the image recognition device according to the present invention can confirm whether a vehicle or a pedestrian approaches by recognizing three-dimensional distance information, and can improve safety. .

この発明の画像認識装置の構成図である。It is a block diagram of the image recognition apparatus of this invention. 車外監視装置の構成図である。It is a block diagram of a monitoring apparatus outside a vehicle. 水平偏光画像と垂直偏光画像を示す図である。It is a figure which shows a horizontal polarization image and a vertical polarization image. 偏光比画像を示す図である。It is a figure which shows a polarization ratio image. 距離に対する偏光比の変化特性図である。It is a change characteristic figure of the polarization ratio with respect to distance. 偏光差分画像を示す図である。It is a figure which shows a polarization difference image. 第2の撮像装置の構成図である。It is a block diagram of a 2nd imaging device. 第3の撮像装置の構成図である。It is a block diagram of a 3rd imaging device. 第4の撮像装置の構成図である。It is a block diagram of a 4th imaging device. 領域分割フィルタの偏光子領域の構成を示す斜視図である。It is a perspective view which shows the structure of the polarizer area | region of an area | region division filter. 領域分割フィルタの偏光子領域の配置を示す斜視図である。It is a perspective view which shows arrangement | positioning of the polarizer area | region of an area division filter.

図1は、この発明の画像認識装置の構成図である。図に示すように、画像認識装置1は、撮像装置2と画像信号処理装置3を有する。撮像装置2は、第1の撮像ユニット4と、第1の撮像ユニット4に近接して平行に配置した第2の撮像ユニット5を有する。第1の撮像ユニット4は、撮像光学系411と固体撮像ユニット412を有する第1の撮像手段41と、第1の撮像手段41の前段に設けられた直線偏光子42を有する。第2の撮像ユニット5は、撮像光学系511と固体撮像ユニット512を有する第2の撮像手段51と、第2の撮像手段51の前段に設けられた直線偏光子52を有する。第1の撮像ユニット4の直線偏光子42は撮像装置2の前方から入射した光のうち水平偏光成分を透過して第1の撮像手段41に入射する。第1の撮像手段41は入射した水平偏光成分により水平偏光画像を撮像する。第2の撮像ユニット5の直線偏光子52は撮像装置2の前方から入射した光のうち垂直偏光成分を透過して第2の撮像手段51に入射する。第2の撮像手段51は入射した垂直偏光成分により垂直偏光画像を撮像する。   FIG. 1 is a block diagram of an image recognition apparatus according to the present invention. As shown in the figure, the image recognition device 1 includes an imaging device 2 and an image signal processing device 3. The imaging device 2 includes a first imaging unit 4 and a second imaging unit 5 that is arranged close to and parallel to the first imaging unit 4. The first imaging unit 4 includes a first imaging unit 41 having an imaging optical system 411 and a solid-state imaging unit 412, and a linear polarizer 42 provided in the front stage of the first imaging unit 41. The second imaging unit 5 includes a second imaging unit 51 having an imaging optical system 511 and a solid-state imaging unit 512, and a linear polarizer 52 provided in the previous stage of the second imaging unit 51. The linear polarizer 42 of the first imaging unit 4 transmits the horizontal polarization component of the light incident from the front of the imaging device 2 and enters the first imaging means 41. The first imaging means 41 captures a horizontally polarized image with the incident horizontally polarized component. The linear polarizer 52 of the second imaging unit 5 transmits the vertically polarized component of the light incident from the front of the imaging device 2 and enters the second imaging unit 51. The second imaging means 51 captures a vertically polarized image with the incident vertically polarized component.

画像信号処理装置3は、画像処理部6と演算処理部7を有する。画像処理部6は、第1の撮像手段41で撮像した水平偏光画像と第2の撮像手段51で撮像した垂直偏光画像を処理して偏光比画像を生成する。演算処理部7は画像処理部4で生成した偏光比画像から被写体までの三次元の距離を算出する。   The image signal processing device 3 includes an image processing unit 6 and an arithmetic processing unit 7. The image processing unit 6 processes the horizontally polarized image captured by the first imaging unit 41 and the vertically polarized image captured by the second imaging unit 51 to generate a polarization ratio image. The arithmetic processing unit 7 calculates a three-dimensional distance from the polarization ratio image generated by the image processing unit 4 to the subject.

この画像認識装置1は、図2に示すように、自動車等の車両8に搭載された車外監視装置9に使用する。車外監視装置9は車両8の進行方向の前方や左右の情報の画像を撮影し、撮影した画像から進行方向に対して左右両側の自動車や歩行者等を認識して確認するものであり、画像認識装置1と中央処理装置10及び表示装置11を有する。画像認識装置1は車両8のルームミラーの後段など運転者の視野を遮らない位置に配置されている。中央処理装置10は画像認識装置1で撮像した画像や距離情報から道路形状や複数の立体物の三次元位置を高速で検出し、その検出結果に基づいて先行車や障害物を特定して衝突警報の判断処理等を行い、認識された物体が自車両8の障害物となる場合、運転者の前方に設置された表示装置11に表示して運転者に対する警告を行うほかに、図示しないアクチュエータ類を制御する外部装置を接続することにより車体の自動衝突回避制御等が可能となっている。   As shown in FIG. 2, the image recognition device 1 is used for a vehicle outside monitoring device 9 mounted on a vehicle 8 such as an automobile. The vehicle outside monitoring device 9 captures images of information on the front and left and right in the traveling direction of the vehicle 8 and recognizes and confirms cars and pedestrians on both the left and right with respect to the traveling direction from the captured images. It has a recognition device 1, a central processing device 10 and a display device 11. The image recognition device 1 is disposed at a position that does not block the driver's field of view, such as the rear stage of the rear mirror of the vehicle 8. The central processing unit 10 detects the road shape and the three-dimensional positions of a plurality of three-dimensional objects at high speed from the images captured by the image recognition device 1 and distance information, and identifies a preceding vehicle and an obstacle based on the detection result, thereby causing a collision. When an alarm judgment process or the like is performed and the recognized object is an obstacle of the host vehicle 8, an actuator (not shown) is displayed in addition to displaying the warning on the display device 11 installed in front of the driver. Automatic collision avoidance control of the vehicle body and the like are possible by connecting an external device for controlling the vehicle.

この画像認識装置1を有する車外監視装置9で車両8の進行方向の前方の情報の画像を撮影して自動車や歩行者等を認識して確認するときの処理を説明する。   A process when the vehicle outside monitoring device 9 having the image recognition device 1 captures an image of information ahead of the traveling direction of the vehicle 8 to recognize and confirm an automobile, a pedestrian, or the like will be described.

画像認識装置1の撮像装置2で車両8の進行方向の前方の撮影を開始すると、第1の撮像ユニット4の直線偏光子42は入射した光のなかで水平偏光成分の光を透過して第1の撮像手段41に入射する。第1の撮像手段41は入射した水平偏光成分により、例えば図3(a)に示すような水平偏光画像43を撮像し、撮像した水平偏光画像43を画像信号処理部3の画像処理部6に出力する。また、第2の撮像ユニット5の直線偏光子52は入射した光のなかで垂直偏光成分の光を透過して第2の撮像手段51に入射する。第2の撮像手段51は入射した垂直偏光成分により、図3(b)に示すような垂直偏光画像53を撮像し、撮像した垂直偏光画像53を画像信号処理部3の画像処理部6に出力する。この第1の撮像手段41と第2の撮像手段51を1つの撮像装置1に近接して配置しているから、第1の撮像手段41と第2の撮像手段51の間隔を近接することができ、水平偏光画像43と垂直偏光画像53の視差を非常に小さくすることができ、視差ずれ補正などの処理を不要にして処理の簡略化を図ることができる。なお、図3は650nmの波長のバンドパスフィルタを通して撮影した画像である。   When the imaging device 2 of the image recognition device 1 starts photographing in front of the vehicle 8 in the traveling direction, the linear polarizer 42 of the first imaging unit 4 transmits the light of the horizontal polarization component in the incident light and transmits the first light. 1 is incident on the image pickup means 41. The first imaging means 41 captures a horizontally polarized image 43 as shown in FIG. 3A, for example, by the incident horizontal polarization component, and the captured horizontal polarized image 43 is input to the image processing unit 6 of the image signal processing unit 3. Output. Further, the linear polarizer 52 of the second image pickup unit 5 transmits the light of the vertical polarization component in the incident light and enters the second image pickup means 51. The second imaging means 51 captures a vertical polarization image 53 as shown in FIG. 3B by the incident vertical polarization component, and outputs the captured vertical polarization image 53 to the image processing unit 6 of the image signal processing unit 3. To do. Since the first image pickup means 41 and the second image pickup means 51 are arranged close to one image pickup apparatus 1, the distance between the first image pickup means 41 and the second image pickup means 51 can be close. In addition, the parallax between the horizontally polarized image 43 and the vertically polarized image 53 can be made extremely small, and the process can be simplified by eliminating the need for a process such as a parallax shift correction. FIG. 3 is an image taken through a bandpass filter having a wavelength of 650 nm.

画像処理部6は、入力した水平偏光画像43と垂直偏光画像53を処理して、図4に示す偏光比画像63を生成して演算処理部7に出力する。演算処理部7は入力した偏光比画像63から被写体までの三次元の距離を算出する。   The image processing unit 6 processes the input horizontal polarization image 43 and vertical polarization image 53 to generate a polarization ratio image 63 shown in FIG. 4 and outputs it to the arithmetic processing unit 7. The arithmetic processing unit 7 calculates a three-dimensional distance from the input polarization ratio image 63 to the subject.

この偏光比画像63から距離を算出するとき、水平偏光の輝度をIa(x,y)、垂直偏光の輝度をIb(x,y)とすると、水平偏光画像43と垂直偏光画像53の偏光比P(x,y)は、
P(x,y)=Ib(x,y)/Ia(x,y)
で表せる。
そこで図4に示す偏光比画像63の破線で示した路面領域の距離に対する偏光比P(x,y)の変化を図5に示す。図5に示すように、偏光比P(x,y)は路面領域の三次元の距離と線形な関係にあり、偏光比画像63から三次元の距離を算出することができる。
When calculating the distance from the polarization ratio image 63, assuming that the luminance of the horizontal polarization is Ia (x, y) and the luminance of the vertical polarization is Ib (x, y), the polarization ratio of the horizontal polarization image 43 and the vertical polarization image 53 P (x, y) is
P (x, y) = Ib (x, y) / Ia (x, y)
It can be expressed as
Therefore, FIG. 5 shows a change in the polarization ratio P (x, y) with respect to the distance of the road surface region indicated by the broken line in the polarization ratio image 63 shown in FIG. As shown in FIG. 5, the polarization ratio P (x, y) has a linear relationship with the three-dimensional distance of the road surface region, and the three-dimensional distance can be calculated from the polarization ratio image 63.

この偏光比画像63と算出した三次元の距離情報を中央処理装置10は表示装置11に表示する。車両8の運転者は表示装置11に表示された偏光比画像63と三次元の距離情報を認識することにより、自動車や歩行者が接近するかを確認することができ、安全性を向上することができる。   The central processing unit 10 displays the polarization ratio image 63 and the calculated three-dimensional distance information on the display unit 11. The driver of the vehicle 8 can confirm whether a car or a pedestrian approaches by recognizing the polarization ratio image 63 displayed on the display device 11 and the three-dimensional distance information, thereby improving safety. Can do.

前記説明では、撮像した水平偏光画像43と垂直偏光画像53から偏光比画像63を生成して車両8の前方の情報の三次元の距離情報を算出する場合について説明したが、図6に示すように、水平偏光画像43と垂直偏光画像53から、図6に示すような偏光差分画像73を生成し、生成した偏光度画像73の下記式に示す偏光比P1(x,y)から三次元の距離を算出しても良い。
P1(x,y)={Ib(x,y)−Ia(x,y)}/{Ib(x,y)+Ia(x,y)}
In the above description, the case where the polarization ratio image 63 is generated from the captured horizontal polarization image 43 and vertical polarization image 53 and the three-dimensional distance information of the information ahead of the vehicle 8 is calculated has been described, but as shown in FIG. Then, a polarization difference image 73 as shown in FIG. 6 is generated from the horizontal polarization image 43 and the vertical polarization image 53, and the three-dimensional polarization ratio P1 (x, y) shown in the following equation of the generated polarization degree image 73 is generated. The distance may be calculated.
P1 (x, y) = {Ib (x, y) -Ia (x, y)} / {Ib (x, y) + Ia (x, y)}

また、前記説明では、撮像装置2の第1の撮像ユニット4の第1の撮像手段41に撮像光学系411を設け、第2の撮像ユニット5の第2の撮像手段51に撮像光学系511を設けた場合について説明したが、図7に示すように、撮像装置2aに1又は複数の単レンズを有する撮像光学系12とハーフミラー13を設け、撮像光学系12を第1の撮像ユニット4と第2の撮像ユニット5で共用し、撮像光学系12を透過した前方の情報を示す光をハーフミラー13で直交する2方向の光に分離し、ハーフミラー13を透過した光を第1の撮像ユニット4に入射し、ハーフミラー13で反射した光を第2の撮像ユニット5に入射するようにしても良い。   In the above description, the imaging optical system 411 is provided in the first imaging means 41 of the first imaging unit 4 of the imaging apparatus 2, and the imaging optical system 511 is provided in the second imaging means 51 of the second imaging unit 5. As shown in FIG. 7, the imaging device 2 a is provided with the imaging optical system 12 having one or a plurality of single lenses and the half mirror 13, and the imaging optical system 12 is connected to the first imaging unit 4. The light that is shared by the second imaging unit 5 and that indicates the forward information transmitted through the imaging optical system 12 is separated into light in two directions orthogonal to each other by the half mirror 13, and the light that has passed through the half mirror 13 is separated into the first imaging. The light incident on the unit 4 and reflected by the half mirror 13 may be incident on the second imaging unit 5.

この撮像装置2aは、撮像光学系12で集光した光の一部はハーフミラー13を透過して第1の撮像ユニット4に入射して第1の撮像ユニット4で水平偏光画像43を撮像する。また、撮像光学系12で集光した光の一部はハーフミラー13で反射して第2の撮像ユニット5に入射して第2の撮像ユニット5で垂直偏光画像53を撮像する。この撮像した水平偏光画像43と垂直偏光画像53から偏光比画像63や偏光度画像73を生成する。   In this imaging device 2 a, a part of the light collected by the imaging optical system 12 passes through the half mirror 13 and enters the first imaging unit 4, and the first imaging unit 4 captures the horizontally polarized image 43. . Further, part of the light collected by the imaging optical system 12 is reflected by the half mirror 13 and incident on the second imaging unit 5, and the vertically polarized image 53 is captured by the second imaging unit 5. A polarization ratio image 63 and a polarization degree image 73 are generated from the captured horizontal polarization image 43 and vertical polarization image 53.

このように1つの撮像光学系12に入射した光により水平偏光画像43と垂直偏光画像53を撮像することができ、撮像した水平偏光画像43と垂直偏光画像53に視差が生じないため、第1の撮像ユニット4と第2の撮像ユニット5の検出領域が小さくて済み、撮像装置2aの小型化を図るとともに視差ずれ補正などの処理を不要にして処理の簡略化を図ることができる。   As described above, the horizontally polarized image 43 and the vertically polarized image 53 can be captured by the light incident on one imaging optical system 12, and no parallax occurs between the captured horizontally polarized image 43 and the vertically polarized image 53. The detection areas of the image pickup unit 4 and the second image pickup unit 5 can be small, so that the image pickup apparatus 2a can be reduced in size, and processing such as parallax deviation correction can be omitted, thereby simplifying the processing.

また、ハーフミラー13の代わりに、図8の構成図に示すように、水平偏光成分を透過し、垂直偏光成分を反射する偏光ビームスプリッタ14を設けても良い。このように偏光ビームスプリッタ14を設けた撮像装置2bは直線偏光子43と直線偏光子53を使用しないで済み、光学系を簡素化できるとともに光の利用率を向上することができる。   Further, instead of the half mirror 13, as shown in the configuration diagram of FIG. 8, a polarization beam splitter 14 that transmits a horizontal polarization component and reflects a vertical polarization component may be provided. Thus, the imaging device 2b provided with the polarization beam splitter 14 does not need to use the linear polarizer 43 and the linear polarizer 53, so that the optical system can be simplified and the light utilization rate can be improved.

前記説明では、撮像装置2,2a,2bに2つ固体撮像ユニット412,512を設けた場合について説明したが、次に1つの固体撮像ユニットで水平偏光画像43と垂直偏光画像53を撮像する撮像装置2cについて説明する。   In the above description, the case where the imaging devices 2, 2 a, 2 b are provided with two solid-state imaging units 412, 512 has been described. Next, imaging with which one solid-state imaging unit captures the horizontally polarized image 43 and the vertically polarized image 53. The device 2c will be described.

撮像装置2cは、図9の分解斜視図に示すように、レンズアレイ21と遮光スペーサ22と偏光フィルタ23とスペーサ24及び固体撮像ユニット25が積層されて形成されている。   As shown in the exploded perspective view of FIG. 9, the imaging device 2 c is formed by laminating a lens array 21, a light shielding spacer 22, a polarizing filter 23, a spacer 24, and a solid-state imaging unit 25.

レンズアレイ21は、2つのレンズ211a,211bを有する。この2つのレンズ211a,211bは互いに独立した同一形状の例えば非球面レンズ等からなる単レンズで形成され、光軸26a,26bを平行にして同一平面上に配置している。ここでレンズ211a,211bの光軸26a,26bと平行な方向をZ軸、Z軸に垂直な一方向をX軸、Z軸とX軸に垂直な方向をY軸とすると、レンズ211a,211bは、同一のXY平面上に配置されている。遮光スペーサ22は、2つの開口部221a,221bを有し、レンズアレイ21対して被写体側とは反対側に設けられている。2つの開口部221a,221bは光軸26a,26bをそれぞれ中心として所定の大きさで貫通され、内壁面には黒塗りや粗面やつや消しなどにより光の反射防止処理がされている。   The lens array 21 has two lenses 211a and 211b. The two lenses 211a and 211b are formed of a single lens made of, for example, an aspheric lens having the same shape independent from each other, and are arranged on the same plane with the optical axes 26a and 26b being parallel to each other. Here, assuming that the direction parallel to the optical axes 26a and 26b of the lenses 211a and 211b is the Z axis, the direction perpendicular to the Z axis is the X axis, and the direction perpendicular to the Z axis and the X axis is the Y axis, the lenses 211a and 211b. Are arranged on the same XY plane. The light shielding spacer 22 has two openings 221a and 221b, and is provided on the side opposite to the subject side with respect to the lens array 21. The two openings 221a and 221b are penetrated with a predetermined size centered on the optical axes 26a and 26b, respectively, and the inner wall surface is subjected to light reflection prevention processing by blackening, roughening or matting.

偏光フィルタ23は、偏光面が90度異なる2つの偏光子領域231a,231bを有し、遮光スペーサ22に対してレンズアレイ21とは反対側に設けられている。2つの偏光子領域231a,231bはそれぞれ光軸26a,26bを中心としてXY平面と平行に設けられている。この偏光子領域231a,231bは、不特定の方向に電磁界が振動する無偏光を、偏光面に沿った方向の振動成分だけを透過させて直線偏光にする。スペーサ24は、偏光フィルタ23の偏光子領域231a,231bに対応する領域が貫通した開口部241を有する矩形枠状に形成され、偏光フィルタ23に対して遮光スペース22とは反対側に設けられている。固体撮像ユニット25は、画像信号処理装置3を有する基板251上に搭載された2つの固体撮像素子領域252a,252bを有し、スペーサ24に対して偏光フィルタ23とは反対側に設けられている。2つの固体撮像素子領域252a,252bはそれぞれ光軸26a,26bを中心としてXY平面と平行な同一平面上に設けられている。   The polarizing filter 23 includes two polarizer regions 231a and 231b having different polarization planes by 90 degrees, and is provided on the side opposite to the lens array 21 with respect to the light shielding spacer 22. The two polarizer regions 231a and 231b are provided in parallel with the XY plane around the optical axes 26a and 26b, respectively. The polarizer regions 231a and 231b convert non-polarized light whose electromagnetic field vibrates in an unspecified direction into linearly polarized light by transmitting only vibration components in the direction along the polarization plane. The spacer 24 is formed in a rectangular frame shape having an opening 241 through which regions corresponding to the polarizer regions 231a and 231b of the polarizing filter 23 pass, and is provided on the opposite side to the light shielding space 22 with respect to the polarizing filter 23. Yes. The solid-state imaging unit 25 has two solid-state imaging element regions 252 a and 252 b mounted on a substrate 251 having the image signal processing device 3, and is provided on the side opposite to the polarizing filter 23 with respect to the spacer 24. . The two solid-state image sensor regions 252a and 252b are provided on the same plane parallel to the XY plane with the optical axes 26a and 26b as the centers.

このように撮像装置2cの偏光フィルタ23の偏光子領域231a,231bについて図10の斜視図を参照して説明する。偏光子領域231a,231bは、例えばフォトニック結晶からなる偏光子からなり、図10に示すように、周期的な溝列を形成した透明基板232上に、透明で高屈折率の媒質層233と低屈折率の媒質層234とを界面の形状を保存しながら交互に積層して形成されている。この高屈折率の媒質層233と低屈折率の媒質層234の各層は、透明基板232の溝列と直交するX方向に周期性を持つが、溝列と平行なY方向には一様であっても良いし、X方向より大きい長さの周期的または非周期的な構造を有していても良い。このような微細な周期構造(フォトニック結晶)は、特開平10−335758号公報などに記載されてなる自己クローニング技術と呼ばれる方式を用いることにより、再現性良く且つ高い均一性で作製することができる。   The polarizer regions 231a and 231b of the polarization filter 23 of the imaging device 2c will be described with reference to the perspective view of FIG. The polarizer regions 231a and 231b are made of, for example, a polarizer made of a photonic crystal, and, as shown in FIG. 10, a transparent high refractive index medium layer 233 and a transparent substrate 232 on which periodic groove arrays are formed. The medium layers 234 having a low refractive index are alternately stacked while preserving the shape of the interface. The high refractive index medium layer 233 and the low refractive index medium layer 234 have periodicity in the X direction perpendicular to the groove rows of the transparent substrate 232, but are uniform in the Y direction parallel to the groove rows. There may be a periodic or aperiodic structure having a length larger than the X direction. Such a fine periodic structure (photonic crystal) can be produced with high reproducibility and high uniformity by using a method called a self-cloning technique described in JP-A-10-335758. it can.

このフォトニック結晶からなる偏光子領域231a,231bは、図11(a)の斜視図に示すように、光軸26a,26bと平行なZ軸と、Z軸と直交するXY軸を有する直交座標系において、XY面に平行な1つの基板232の上に2種以上の透明材料をZ軸方向に交互に積層した多層構造体、例えばTaとSiOの交互多層膜からなり、偏光子領域231a,231bは各膜が凹凸形状を有しており、この凹凸形状はXY面内の一つの方向に周期的に繰り返されて形成されている。そして偏光子領域231aは、図11(b)に示すように、溝の方向がY軸方向に対して平行であり、偏光子領域231bは溝の方向がX軸方向に対して平行であり、偏光子領域231aと偏光子領域231bで溝の方向が90度異なって形成されている。すなわちXY面に入射される入力光から、偏光子領域231aと偏光子領域231bによって偏光方向が異なる偏光成分を透過させるとともに、偏光子領域231aと偏光子領域231bでそれぞれ等量の無偏光成分を透過させるようになっている。 As shown in the perspective view of FIG. 11A, the polarizer regions 231a and 231b made of photonic crystals are orthogonal coordinates having a Z axis parallel to the optical axes 26a and 26b and an XY axis orthogonal to the Z axis. The system comprises a multilayer structure in which two or more transparent materials are alternately laminated in the Z-axis direction on a single substrate 232 parallel to the XY plane, for example, an alternating multilayer film of Ta 2 O 5 and SiO 2 , In the child regions 231a and 231b, each film has a concavo-convex shape, and this concavo-convex shape is formed by being periodically repeated in one direction in the XY plane. As shown in FIG. 11B, the polarizer region 231a has a groove direction parallel to the Y-axis direction, and the polarizer region 231b has a groove direction parallel to the X-axis direction. The direction of the grooves is different by 90 degrees between the polarizer region 231a and the polarizer region 231b. That is, from the input light incident on the XY plane, polarized components having different polarization directions are transmitted by the polarizer region 231a and the polarizer region 231b, and equal amounts of unpolarized components are respectively transmitted by the polarizer region 231a and the polarizer region 231b. It is designed to be transparent.

この偏光子領域231a,231bの開口面積や透過軸は、はじめに透明基板232に加工する溝パターンの大きさや方向で自由に設計することができる。この溝パターンのパターン形成は、電子ビームリソグラフィやフォトリソグラフィ、干渉露光法、ナノプリンティングなど様々な方法で行うことができる。いずれの場合でも、微小領域ごとに溝の方向を高精度に定めることができる。そのため、透過軸の異なる微小偏光子を組み合わせた偏光子領域と、更にそれを複数並べた偏光子を形成することが可能となる。また、凹凸パターンを持つ特定の領域のみが偏光子の動作をするため、その周辺の領域を平坦あるいは、面内で等方的な凹凸パターンにしておけば偏波依存性のない媒質として光は透過する。したがって、特定の領域にのみ偏光子を作りこむことができる。   The opening areas and transmission axes of the polarizer regions 231a and 231b can be freely designed according to the size and direction of the groove pattern to be processed on the transparent substrate 232 first. The groove pattern can be formed by various methods such as electron beam lithography, photolithography, interference exposure, and nanoprinting. In any case, the direction of the groove can be determined with high accuracy for each minute region. Therefore, it is possible to form a polarizer region in which micropolarizers having different transmission axes are combined, and a polarizer in which a plurality of polarizer regions are arranged. In addition, since only a specific region having a concavo-convex pattern operates as a polarizer, if the peripheral region is flat or isotropic concavo-convex pattern in the plane, light can be used as a medium having no polarization dependency. To Penetrate. Therefore, a polarizer can be formed only in a specific region.

偏光フィルタ23の偏光子領域231a,231bによりレンズアレイ21のレンズ211a,211bに入射した光を水平偏光成分と垂直偏光成分に分離し、固体撮像ユニット25の2つの固体撮像素子領域252a,252bに入射して固体撮像ユニット25で水平偏光画像と垂直偏光画像を撮像する。   The light incident on the lenses 211a and 211b of the lens array 21 is separated into horizontal polarization components and vertical polarization components by the polarizer regions 231a and 231b of the polarization filter 23, and is separated into two solid-state imaging device regions 252a and 252b of the solid-state imaging unit 25. Incident light is picked up by the solid-state imaging unit 25 to pick up a horizontally polarized image and a vertically polarized image.

このように入射した光を偏光フィルタ23で水平偏光成分と垂直偏光成分に分離し、固体撮像ユニット25で水平偏光画像と垂直偏光画像を撮像するから、撮像装置1cの小型化を図ることができるとともに視差ずれ補正などの処理を不要にして処理の簡略化を図ることができる。   Since the incident light is separated into the horizontal polarization component and the vertical polarization component by the polarization filter 23 and the horizontal polarization image and the vertical polarization image are captured by the solid-state imaging unit 25, the imaging device 1c can be reduced in size. At the same time, it is possible to simplify processing by eliminating processing such as parallax deviation correction.

前記説明では偏光フィルタ23の偏光子領域231a,231bを例えばフォトニック結晶で形成した場合について説明したが、偏光子領域231a,231bとしてワイヤグリッド型の偏光子を使用しても良い。このワイヤグリッド型の偏光子とは、細い金属ワイヤを周期的に配列することにより形成された偏光子であり、従来、電磁波のミリ波領域において多く用いられてきた偏光子である。ワイヤグリッド型偏光子の構造は、入力光の波長に比べて十分細い金属細線が波長に比べて十分に短い間隔で並んだ構造を有する。このような構造に光を入射した場合、金属細線に平行な偏光は反射され、それに直交する偏光は透過されることはすでに知られている。金属細線の方向については、1枚の基板内において領域ごとに独立に変化させて作製することができるため、ワイヤグリッド偏光子の特性を領域毎に変えることができる。これを利用すれば、偏光子領域231a,231b毎に透過軸の方向を変化させた構造とすることができる。   In the above description, the case where the polarizer regions 231a and 231b of the polarizing filter 23 are formed of, for example, a photonic crystal has been described. However, wire grid polarizers may be used as the polarizer regions 231a and 231b. This wire grid type polarizer is a polarizer formed by periodically arranging thin metal wires, and has been conventionally used in the millimeter wave region of electromagnetic waves. The structure of the wire grid polarizer has a structure in which fine metal wires that are sufficiently thin compared to the wavelength of the input light are arranged at intervals that are sufficiently short compared to the wavelength. It is already known that when light is incident on such a structure, polarized light parallel to the metal thin wire is reflected and polarized light orthogonal thereto is transmitted. With respect to the direction of the fine metal wire, since it can be produced by changing each region independently in one substrate, the characteristics of the wire grid polarizer can be changed for each region. If this is utilized, it can be set as the structure which changed the direction of the transmission axis for every polarizer area | region 231a, 231b.

このワイヤグリッドの作製方法としては、基板上に金属膜を形成し、リソグラフィによりパターニングを行うことで、細線状の金属を残すことができる。また、他の作製方法としては、リソグラフィにより基板に溝を形成し、この溝の方向とは直角で基板の法線から傾いた方向(基板面に斜めの方向)から真空蒸着により金属を成膜することで作製することができる。真空蒸着では蒸着源から飛来する粒子はその途中で他の分子もしくは原子にほとんど衝突することはなく、粒子は蒸着源から基板にむかって直線的に進むため、溝を構成する凸部にのみ成膜される一方、溝の底部(凹部)では、凸部に遮蔽されほとんど成膜されない。したがって、成膜量を制御することで、基板上に形成された溝の凸部にのみ金属膜を成膜することができ、金属細線を作製することができる。このワイヤグリッド型偏光子に用いられるワイヤ金属としては、アルミニウムもしくは銀が望ましいが、例えばタングステンなど、そのほかの金属であっても同様の現象を実現できる。また、リソグラフィとしては、光リソグラフィ、電子ビームリソグラフィ又はX線リソグラフィなどが挙げられるが、可視光での動作を想定すると細線の間隔が100nm程度になるため、電子ビームリソグラフィもしくはX線リソグラフィがより望ましい。また、金属の成膜では真空蒸着が望ましいが、主として基板に入射する粒子の方向性が重要であるので、高真空度の雰囲気におけるスパッタリング、もしくはコリメーターを用いたコリメーションスパッタでも可能である。   As a method for manufacturing this wire grid, a thin metal can be left by forming a metal film on a substrate and performing patterning by lithography. As another manufacturing method, a groove is formed on the substrate by lithography, and a metal is formed by vacuum deposition from a direction perpendicular to the direction of the groove and inclined from the normal line of the substrate (a direction oblique to the substrate surface). It can produce by doing. In vacuum deposition, particles flying from the deposition source hardly collide with other molecules or atoms in the middle of the deposition, and the particles travel linearly from the deposition source to the substrate. On the other hand, at the bottom part (concave part) of the groove, the film is shielded by the convex part and hardly formed. Therefore, by controlling the amount of film formation, a metal film can be formed only on the convex portion of the groove formed on the substrate, and a thin metal wire can be produced. The wire metal used in the wire grid polarizer is preferably aluminum or silver, but the same phenomenon can be realized even with other metals such as tungsten. In addition, as lithography, optical lithography, electron beam lithography, X-ray lithography, and the like can be given. However, when an operation with visible light is assumed, the interval between thin lines is about 100 nm, and thus electron beam lithography or X-ray lithography is more preferable. . Also, vacuum deposition is desirable for metal film formation. However, since the directionality of particles incident on the substrate is important, sputtering in a high vacuum atmosphere or collimation sputtering using a collimator is also possible.

1;画像認識装置、2;撮像装置、3;画像信号処理装置、
4;第1の撮像ユニット、5;第2の撮像ユニット、6;画像処理部、
7;演算処理部、8;車両、9;車外監視装置、10;中央処理装置、
11;表示装置、12;撮像光学系、13;ハーフミラー、
14;偏光ビームスプリッタ、23;偏光フィルタ、41;第1の撮像手段、
42;直線偏光子、51;第2の撮像手段、52;直線偏光子、
411,511;撮像光学系、412,512;固体撮像ユニット。
DESCRIPTION OF SYMBOLS 1; Image recognition apparatus, 2; Imaging apparatus, 3; Image signal processing apparatus,
4; first imaging unit, 5; second imaging unit, 6; image processing unit,
7; arithmetic processing unit, 8; vehicle, 9; outside monitoring device, 10; central processing unit,
11: Display device, 12: Imaging optical system, 13: Half mirror,
14; polarizing beam splitter, 23; polarizing filter, 41; first imaging means,
42; linear polarizer; 51; second imaging means; 52; linear polarizer;
411, 511; imaging optical system, 412, 512; solid-state imaging unit.

国際公開WO2006/052024号公報International Publication WO2006 / 052024 特開2006−58122号公報JP 2006-58122 A 特開平10−332576号公報JP-A-10-332576

Claims (7)

前方の画像を撮像する画像認識装置であって、
撮像装置と画像信号処理装置を有し、
前記撮像装置は、入射した光を水平偏光成分と垂直偏光成分の光に分離する偏光分離手段と、前記偏光分離手段で分離した水平偏光成分と垂直偏光成分の光を入射して水平偏光画像と垂直偏光画像を撮像する撮像手段とを有し、
前記画像信号処理装置は、前記撮像手段で撮像した水平偏光画像と垂直偏光画像を処理して偏光比画像を生成し、生成した偏光比画像から三次元の距離情報を求めることを特徴とする画像認識装置。
An image recognition device that captures a front image,
Having an imaging device and an image signal processing device;
The imaging apparatus includes: a polarization separation unit that separates incident light into horizontal polarization component light and vertical polarization component light; and a horizontal polarization image obtained by entering the horizontal polarization component light and the vertical polarization component light separated by the polarization separation unit. Imaging means for capturing a vertically polarized image,
The image signal processing apparatus, a feature of the horizontal polarization image and the vertical polarization image processes to generate a Henhikarihiga image, it from the generated Henhikarihiga image mel calculated distance information of the three-dimensional imaged by the imaging unit Image recognition device.
前方の画像を撮像する画像認識装置であって、
撮像装置と画像信号処理装置を有し、
前記撮像装置は、第1の撮像ユニットと、第1の撮像ユニットに近接して配置した第2の撮像ユニットを有し、
前記第1の撮像ユニットは、入射した光のなかから水平偏光成分の光を分離する偏光分離手段と、前記偏光分離手段で分離した水平偏光成分の光を入射して水平偏光画像を撮像する撮像手段とを有し、
前記第2の撮像ユニットは、入射した光のなかから垂直偏光成分の光を分離する偏光分離手段と、前記偏光分離手段で分離した垂直偏光成分の光を入射して垂直偏光画像を撮像する撮像手段とを有し、
前記画像信号処理装置は、前記第1の撮像ユニットと第2の撮像ユニットとで撮像した水平偏光画像と垂直偏光画像を処理して偏光比画像を生成し、生成した偏光比画像から三次元の距離情報を求めることを特徴とする画像認識装置。
An image recognition device that captures a front image,
Having an imaging device and an image signal processing device;
The imaging apparatus includes a first imaging unit and a second imaging unit arranged in proximity to the first imaging unit,
The first imaging unit captures a horizontally polarized image by injecting a horizontally polarized light separated by the polarization separating means and a polarization separating means for separating horizontally polarized light from the incident light. Means,
The second image pickup unit picks up a vertically polarized image by applying a polarization separating unit that separates light of a vertical polarization component from incident light and light of a vertical polarization component separated by the polarization separation unit. Means,
The image signal processing apparatus processes the first image pickup unit and the horizontal polarization image and the vertical polarization image captured by the second imaging unit generates Henhikarihiga image, resulting from Henhikarihiga image of a three-dimensional it distance information Mel determined image recognition apparatus according to claim.
前方の画像を撮像する画像認識装置であって、
撮像装置と画像信号処理装置を有し、
前記撮像装置は、光分岐手段と第1の撮像ユニットと第2の撮像ユニットを有し、
前記光分岐手段は、入射した光を2方向に分岐し、
前記第1の撮像ユニットは、前記光分岐手段で分岐した一方の光のなかから水平偏光成分の光を分離する偏光分離手段と、前記偏光分離手段で分離した水平偏光成分の光を入射して水平偏光画像を撮像する撮像手段とを有し、
前記第2の撮像ユニットは、前記光分岐手段で分岐した他方の光のなかから垂直偏光成分の光を分離する偏光分離手段と、前記偏光分離手段で分離した垂直偏光成分の光を入射して垂直偏光画像を撮像する撮像手段とを有し、
前記画像信号処理装置は、前記第1の撮像ユニットと第2の撮像ユニットとで撮像した水平偏光画像と垂直偏光画像を処理して偏光比画像を生成し、生成した偏光比画像から三次元の距離情報を求めることを特徴とする画像認識装置。
An image recognition device that captures a front image,
Having an imaging device and an image signal processing device;
The imaging apparatus includes a light branching unit, a first imaging unit, and a second imaging unit,
The light branching means branches incident light in two directions,
The first imaging unit is configured to receive a polarization separation unit that separates light of a horizontal polarization component from one of the lights branched by the light branching unit, and light of a horizontal polarization component separated by the polarization separation unit. Imaging means for capturing a horizontally polarized image,
The second imaging unit is configured to receive a polarization separation unit that separates light of a vertical polarization component from the other light branched by the light branching unit, and light of a vertical polarization component separated by the polarization separation unit. Imaging means for capturing a vertically polarized image,
The image signal processing apparatus processes the first image pickup unit and the horizontal polarization image and the vertical polarization image captured by the second imaging unit generates Henhikarihiga image, resulting from Henhikarihiga image of a three-dimensional it distance information Mel determined image recognition apparatus according to claim.
前記光分岐手段の前段に撮像光学系を有することを特徴とする請求項3記載の画像認識装置。   4. The image recognition apparatus according to claim 3, further comprising an imaging optical system in front of the light branching unit. 前方の画像を撮像して距離画像を求める画像認識装置であって、
撮像装置と画像信号処理装置を有し、
前記撮像装置は、領域分割フィルタと第1の撮像ユニットと第2の撮像ユニットを有し、
前記領域分割フィルタは、入射した光を水平偏光成分の光と垂直偏光成分の光に分離し、2方向に分岐し、
前記第1の撮像ユニットは、前記領域分割フィルタで分離した水平偏光成分の光を入射して水平偏光画像を撮像する撮像手段とを有し、
前記第2の撮像ユニットは、前記領域分割フィルタで分離した垂直偏光成分の光を入射して垂直偏光画像を撮像する撮像手段とを有し、
前記画像信号処理装置は、前記第1の撮像ユニットと第2の撮像ユニットとで撮像した水平偏光画像と垂直偏光画像を処理して偏光比画像を生成し、生成した偏光比画像から三次元の距離情報を求めることを特徴とする画像認識装置。
An image recognition apparatus that obtains a distance image by capturing a front image,
Having an imaging device and an image signal processing device;
The imaging apparatus includes a region dividing filter, a first imaging unit, and a second imaging unit,
The region dividing filter separates incident light into light of a horizontal polarization component and light of a vertical polarization component and branches in two directions,
The first imaging unit includes imaging means for capturing a horizontally polarized image by entering light of a horizontally polarized component separated by the region dividing filter,
The second imaging unit includes an imaging unit that captures a vertically polarized image by entering light of a vertically polarized component separated by the region dividing filter,
The image signal processing apparatus processes the first image pickup unit and the horizontal polarization image and the vertical polarization image captured by the second imaging unit generates Henhikarihiga image, resulting from Henhikarihiga image of a three-dimensional it distance information Mel determined image recognition apparatus according to claim.
前記領域分割フィルタの前段に撮像光学系を有することを特徴とする請求項5記載の画像認識装置。   6. The image recognition apparatus according to claim 5, further comprising an imaging optical system in front of the area dividing filter. 請求項1乃至6のいずれかに記載の画像認識装置と中央処理装置及び表示装置を有し、車両に搭載され、前記中央処理装置は前記画像認識装置で撮像した画像や距離情報から道路形状や複数の立体物の三次元位置を高速で検出して前記表示装置に表示することを特徴とする車外監視装置。   An image recognition device according to any one of claims 1 to 6, a central processing unit, and a display device, wherein the central processing unit is mounted on a vehicle. A vehicle exterior monitoring device characterized in that a three-dimensional position of a plurality of three-dimensional objects is detected at high speed and displayed on the display device.
JP2009130111A 2009-05-29 2009-05-29 Image recognition device and vehicle exterior monitoring device Expired - Fee Related JP5440907B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009130111A JP5440907B2 (en) 2009-05-29 2009-05-29 Image recognition device and vehicle exterior monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009130111A JP5440907B2 (en) 2009-05-29 2009-05-29 Image recognition device and vehicle exterior monitoring device

Publications (2)

Publication Number Publication Date
JP2010276507A JP2010276507A (en) 2010-12-09
JP5440907B2 true JP5440907B2 (en) 2014-03-12

Family

ID=43423602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009130111A Expired - Fee Related JP5440907B2 (en) 2009-05-29 2009-05-29 Image recognition device and vehicle exterior monitoring device

Country Status (1)

Country Link
JP (1) JP5440907B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5440927B2 (en) * 2009-10-19 2014-03-12 株式会社リコー Distance camera device
US9739864B2 (en) 2012-01-03 2017-08-22 Ascentia Imaging, Inc. Optical guidance systems and methods using mutually distinct signal-modifying
EP2941772B1 (en) * 2013-01-07 2020-07-01 Ascentia Imaging, Inc. Optical guidance system using mutually distinct signal-modifying sensors

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3259475B2 (en) * 1993-10-27 2002-02-25 ミノルタ株式会社 Distance measuring device
JP2002213931A (en) * 2001-01-17 2002-07-31 Fuji Xerox Co Ltd Instrument and method for measuring three-dimensional shape
JP2002310896A (en) * 2001-04-19 2002-10-23 Mitsubishi Heavy Ind Ltd Road surface condition discriminating device and road surface condition discriminating method
JP2006058122A (en) * 2004-08-19 2006-03-02 Nagoya Electric Works Co Ltd Road surface condition deciding method and its device
JP4974543B2 (en) * 2005-08-23 2012-07-11 株式会社フォトニックラティス Polarization imaging device

Also Published As

Publication number Publication date
JP2010276507A (en) 2010-12-09

Similar Documents

Publication Publication Date Title
JP5278819B2 (en) Stereo camera device and vehicle exterior monitoring device using the same
JP5440927B2 (en) Distance camera device
JP5610254B2 (en) Imaging apparatus and road surface state determination method
JP5637425B2 (en) Droplet detection device and in-vehicle monitoring device
US8466960B2 (en) Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus
JP5278814B2 (en) Stereo camera device and vehicle exterior monitoring device
JP5429622B2 (en) Droplet recognition device, raindrop recognition device and automatic wiper device
JP2010004090A (en) Imaging apparatus
JP5273356B2 (en) Compound eye image input device and distance measuring device using the same
WO2009119370A1 (en) Imaging device
US9456198B2 (en) Depth estimating image capture device and image sensor
JP2007086720A (en) Polarization imaging device
EP2531884A1 (en) Three-dimensional imaging system using a single lens system
JP5488958B2 (en) Front monitor camera device and vehicle left and right side confirmation device
JP5440907B2 (en) Image recognition device and vehicle exterior monitoring device
JP2007295113A (en) Imaging apparatus
JP2014036298A (en) Imaging apparatus
JP2016127512A (en) Imaging apparatus
JP2010271143A (en) Imaging device, distance measuring device, exterior monitoring device, and imaging method
JP2008180808A (en) Stereoscopic imaging apparatus
JP2014003433A (en) Imaging apparatus
JP2013044893A (en) Compound-eye imaging device, and distance image acquisition device
WO2022064605A1 (en) Positional information acquisition system, positional information acquisition method, and positional information acquisition device
WO2022064576A1 (en) Position information acquisition device, head-mounted display, and position information acquisition method
KR20130024631A (en) Camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130426

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131205

R151 Written notification of patent or utility model registration

Ref document number: 5440907

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees