JP5368369B2 - 車載用撮像装置及び車載用画像処理装置 - Google Patents

車載用撮像装置及び車載用画像処理装置 Download PDF

Info

Publication number
JP5368369B2
JP5368369B2 JP2010103822A JP2010103822A JP5368369B2 JP 5368369 B2 JP5368369 B2 JP 5368369B2 JP 2010103822 A JP2010103822 A JP 2010103822A JP 2010103822 A JP2010103822 A JP 2010103822A JP 5368369 B2 JP5368369 B2 JP 5368369B2
Authority
JP
Japan
Prior art keywords
filter
vehicle
imaging device
light
divided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010103822A
Other languages
English (en)
Other versions
JP2011233763A (ja
Inventor
貴之 木村
武和 照井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2010103822A priority Critical patent/JP5368369B2/ja
Priority to US13/066,865 priority patent/US20110267467A1/en
Priority to CN201110113721.XA priority patent/CN102238336B/zh
Priority to DE102011017699.3A priority patent/DE102011017699B4/de
Publication of JP2011233763A publication Critical patent/JP2011233763A/ja
Application granted granted Critical
Publication of JP5368369B2 publication Critical patent/JP5368369B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B1/00Optical elements characterised by the material of which they are made; Optical coatings for optical elements
    • G02B1/10Optical coatings produced by application to, or surface treatment of, optical elements
    • G02B1/11Anti-reflection coatings
    • G02B1/113Anti-reflection coatings using inorganic layer materials only
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00Colour photography, other than mere exposure or projection of a colour film
    • G03B33/04Colour photography, other than mere exposure or projection of a colour film by four or more separation records
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/41Indexing codes relating to other road users or special conditions preceding vehicle
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/208Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation

Description

本発明は、車両に搭載され、遠方にある他車両の赤色光源とオレンジ色光源とを正確に識別できる車載用撮像装置及びそれを用いた車載用画像処理装置に関する。
従来、車両にはヘッドライトのハイビーム/ロービームを自動的に切り替えるHi−Lo制御するシステム(AHBシステム)を備えたものがある。このAHBシステムでは、前方の他車両のヘッドライトやテールライトの状態を検出するための撮像装置が用いられている。
この撮像装置は、ヘッドライトのオレンジ光とテールライトの赤色とを識別するために、赤色と赤色以外の2種類の光源を含む画像を撮像できる光学系を備え、また、近距離にあるテールライトを検知できるようにRGBベイヤを有するイメージセンサを備えている(例えば、特許文献1参照)。
特開2004−189229号公報
ところが、上記イメージセンサを用いた撮像装置では、近距離にあるテールライトとヘッドライトを識別することができるが、遠距離にあるテールライトとヘッドライトを識別することができない。
つまり、遠距離にあるリフレクタのオレンジ光をレンズなどの光学系を通してイメージセンサに結像させると、結像画像がイメージセンサのRGBの各画素の1ピクセルより小さくなる。この際、結像画像が赤色画素(R画素)に入ってしまうことがあり、この場合には、オレンジ色が赤色と検出されてしまう、いわゆる偽色が発生するという問題があった。
これを回避するために、光学系の結像面をイメージセンサの検出面からずらすことにより、結像画像を1ピクセルよりも大きくするという方法がある。ところが、この方法では、偽色は解消するものの、画像がぼけてしまうという問題が発生する。
本発明は、こうした問題に鑑みなされたもので、遠距離にある赤色光源とオレンジ色光源とを正確に識別できる車載用撮像装置及び車載用画像処理装置を提供することを目的とする。
この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための形態」欄において用いた符号を付すが、この符号によって請求の範囲を限定することを意味するものではない。
上記「発明が解決しようとする課題」において述べた問題を解決するためになされた車載用撮像装置(5)は、イメージセンサ(10)、レンズ装置(20)、赤外線カットフィルタ(30)及び光学ローパスフィルタ(40)を備えている。
イメージセンサ(10)は、入射光のRGB成分をそれぞれ検出するRGBの各画素(12,14,16)が配置されたRGBベイヤ(18)を有するセンサであり、レンズ装置(20)は、入射光をイメージセンサ(10)のRGBベイヤ(18)表面に結像させるものである。また、赤外線カットフィルタ(30)は、イメージセンサ(10)の前面に配置され、レンズ装置(20)に対する入射光の近赤外線を遮断するフィルタである。
光学ローパスフィルタ(40)は、イメージセンサ(10)及びレンズ装置(20)の間に配置され、レンズ装置(20)に対する入射光を、その偏光方向に基づいて分割し、イメージセンサ(10)のRGBベイヤ(18)の各画素(12,14,16)に入力するフィルタである。
また、レンズ装置(20)は、複数のレンズ(21,22,23,24)を組み合わせて構成され、入射光のRGB成分のうち、R成分に対する反射を抑制するコーティング(26)が施されている。
また、請求項2に記載の車載用撮像装置(5)は、光学ローパスフィルタ(40)は、偏光方向に基づいて分割する入射光の分割幅が、RGBの各画素(12,14,16)の大きさと略同じになるように入射光を分割することを特徴としている。
このような車載用撮像装置(5)によれば、遠距離にある他車両のテールライトとリフレクタを識別する車載用撮像装置(5)とすることができる。以下その理由を説明する。
従来の撮像装置では、入射光が、レンズ装置(20)によって、イメージセンサ(10)のRGBベイヤ(18)表面に結像される。このとき、入射光の光源が遠方にあると、結像する光源画像が非常に小さくなり、RGBベイヤ(18)を構成するRGB画素全体に対して結像せず、RGB画素のいずれかに結像してしまう。
その結果、例えば、オレンジ色の他車両のリフレクタ画像が、イメージセンサ(10)のR画素に結像してしまい、赤色として検出されてしまうという、偽色現象が発生する。
この偽色現象を回避するために、イメージセンサ(10)の位置をレンズ装置(20)の結像位置から遠方にずらすことによって、結像画像がRGBベイヤ(18)全体に広がるようにするという方法がある。
ところが、この方法では、偽色現象の発生は回避できるものの、画像がぼけるため、光源のS/Nが劣化し、結局遠方のテールライトを正確に識別ができないことになる。
これに対し、請求項1に記載の車載用撮像装置(5)では、レンズ装置(20)を通過した光が、光学ローパスフィルタ(40)により、その偏光方向に基づいて分割されて、イメージセンサ(10)のRGBベイヤ(18)の各画素(12,14,16)に均等に入力される。
つまり、入射光を正確にイメージセンサ(10)のRGBベイヤ(18)に入力できるので偽色の発生がなく、かつ、ぼけのない画像を得ることができる。したがって、遠距離にある赤色光源とオレンジ色光源とを正確に識別できる車載用撮像装置(5)とすることができる。
また、レンズ装置(20)には、入射光のRGB成分のうち、R成分に対する反射を抑制するコーティング(26)を施してある。したがって、レンズ装置(20)において赤色のゴーストが発生することがないので、赤色光を発するテールライトの誤検出を防止することができる。
ところで、テールライトやリフレクタからの光は、円偏光光である。したがって、その光を偏光方向に基づいて分割するには、請求項に記載のように、光学ローパスフィルタ(70)を、円偏光光を垂直方向に90°分割することによって、直線偏光の常光線及び異常光線に分割する第1フィルタ(41)と、第1フィルタ(41)によって分割された直線偏光の常光線及び異常光線をそれぞれ水平方向に90°分割することによって、その2つの光線をそれぞれ直線偏光の常光線及び異常光線に分割する第2フィルタ(42)と、を備えるように構成するとよい。
このようにすると、入射された光は垂直方向に90°分割され、常光線は第1フィルタ(41)を直進し、異常光線は第1フィルタ(41)で垂直方向に偏向される。
そして、第2フィルタ(42)では、第1フィルタ(41)で分割された常光線と異常光線の2つの光線が水平方向に90°分割され、2つの光線がそれぞれ常光線と異常光線とに分割される。
そうすると、光学ローパスフィルタ(70)に入力された円偏光光は、水平方向に対して斜め45°に常光線と異常光線と有する一対の光点が各2つ、計4つの光点が得られることになる。
したがって、この4つの光点がイメージセンサ(60)のRGBベイヤ(18)の領域内に入るようにすれば、入射光のうち異常光線と常光線とがそれぞれRGB画素12、14,16に入射されることになるので、偽色が発生することがなくなる。
また、この場合、イメージセンサ(60)のRGBベイヤ(18)におけるRGB素子(12,14,16)を水平方向に対して傾けて配列させる必要はあるが、第1フィルタ(41)及び第2フィルタ(42)の2枚のフィルタのみにより光学ローパスフィルタ(70)を構成することができるので、車載用撮像装置(5)を小型化することができる。
ここで、イメージセンサ(10)のRGB素子(12,14,16)を傾けて配列させず、水平方向と垂直方向に配列すると、イメージセンサ(10)を簡易に構成することができる。
そこで、請求項に記載のように、光学ローパスフィルタ(40)において、第1フィルタ(41)と第2フィルタ(42)との間に配置され、第1フィルタ(41)により分割された常光線及び異常光線の位相を1/4波長ずらすことによって、各光線を円偏光光に変換する第3フィルタ(43)を備えるようにするとよい。
このようにすると、第3フィルタ(43)では、第1フィルタ(41)で分割された常光線と異常光線の位相が1/4波長ずらされ、各光線が辺偏光光に変換されて、第2フィルタ(42)に入力される。
第2フィルタ(42)では、第3フィルタ(43)において位相が1/4波長ずらされた常光線と異常光線とが水平方向に90°分割される。
そうすると、光学ローパスフィルタ(40)に入力された円偏光光は、水平方向に異常光線と常光線とを有する一対の光点が垂直方向に2対並んだ、計4つの光点が得られることになる。
したがって、この4つの光点が検出できるようにイメージセンサ(10)のRGBベイヤ(18)において、RGB画素(12,14,16)を水平方向と垂直方向に配列すればよいので、イメージセンサ(10)の構成を簡易にすることができる。
また、光学ローパスフィルタ(40)を3枚で構成する場合、請求項に記載のように、第1フィルタ(41)と第2フィルタ(42)との間に配置され、第1フィルタ(41)により分割された常光線及び異常光線をそれぞれ垂直方向に90°分割することによって、直線偏光の常光線及び異常光線に分割する第4フィルタを備えるようにしても、4つの光点が検出できるようにイメージセンサ(10)のRGBベイヤ(18)において、RGB画素(12,14,16)を水平方向と垂直方向に配列すればよいので、イメージセンサ(10)の構成を簡易にすることができる。
ところで、他車両のリフレクタからの反射光はオレンジ色であり、テールライトが発光する光は赤色である。したがって、それらの光を精度よく検出するには、RGB成分のうちB成分の重要度は低い。
そこで、請求項に記載のように、レンズ装置(20)を、入射光のRGB成分のうち、G成分に対する色収差がR成分に対する色収差と同じになるように構成すると、R成分とG成分との色収差が少なくなるので、R成分とG成分とを精度よく検出できる。
つまり、他車両のリフレクタから反射されるオレンジ色の光やテールライトが発光する赤色をぼけや偽色を発生させることなく検出することができる。
また、請求項に記載のように、赤外線カットフィルタ(30)が、光学ローパスフィルタ(40)の表面に蒸着された薄膜であると、単にローパスフィルタ(40)の表面薄膜を蒸着させるだけで容易に赤外線カットフィルタ(30)を形成することができる。
請求項に記載の車載用画像処理装置(1)は、請求項1〜請求項のいずれか1項に記載の車載用撮像装置(5,7)と、車載用撮像装置(5,7)から取得した画像から他車両の光源を抽出し、抽出した光源の色情報を用いて、他車両が自車両に対して所定の距離以上にあるか否かを判定する画像処理手段(80)と、を備えたことを特徴としている。
このような車載用画像処理装置(1)は、画像処理手段(80)において、車載用撮像装置(5,7)から取得された画像から他車両の光源を抽出し、抽出した光源の色情報を用いて、他車両が所定の距離以上にあるか否かを判定している。
ここで、車載用撮像装置(5,7)は、請求項1〜請求項の何れか1項に記載の車載用撮像装置(5,7)であるので、その画像から抽出される光源は、偽色がなく、かつ、ぼけのないものである。
したがって、その光源の色情報を用いれば、遠距離にある赤色光源とオレンジ色光源とを正確に識別できる。つまり、車載用撮像装置(5,7)から得られる光源の色情報を用いて、所定の距離以上にある他車両のテールライトを識別できるので、その光源の色情報を用いることにより他車両が所定の距離以上にあるか否かを正確に判定することができる。
第1実施形態における車載用撮像装置5の概略の構成を示す図である。 第1実施形態における光学ローパスフィルタ40の概略の構造を示す図である。 光学ローパスフィルタ40における、入射光の分割の様子を示す図である。 従来の撮像装置と本第1実施形態における車載用撮像装置5とを比較した図である。 第2実施形態における光学ローパスフィルタ70の概略の構造を示す図である。 第2実施形態における車載用撮像装置7の概略の構成を示す図である。 第3実施形態における車載用画像処理装置1の概略の構成を示すブロック図である。 第3実施形態における画像処理部80で実行される画像処理の内容を示すフローチャートである。 光学ローパスフィルタにおいてRGBベイヤ18に入力される光線の様子を示す図である。
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
[第1実施形態]
図1は、本発明が適用された車載用撮像装置5の概略の構成を示す図である。車載用撮像装置5は、図1に示すように、イメージセンサ10、レンズ装置20、赤外線カットフィルタ30及び光学ローパスフィルタ40を備えている。
イメージセンサ10は、光画像を取得するためのCMOSセンサやCCDセンサなどの、光センサ画素がアレイ状に配置されたアレイ型イメージセンサであり、光センサ素子として、入射光のRGB成分をそれぞれ検出するRGBの各画素12,14,16が配置されたRGBベイヤ18を有する。
レンズ装置20は、入射光をイメージセンサ10のRGBベイヤ18表面に結像させるレンズであり、色収差やコマ収差などの収差を抑制するため、図1に示すように、光が入る側(図1中左側)から、平凸レンズ21、両凹レンズ22、平凸レンズ23、凸メニスカスレンズ24の4枚のレンズを配置した構造となっている。
このように、複数のレンズ21,22,23,24を組み合わせることで、特に、入射光のRGB成分のうち、G成分に対する色収差がR成分に対する色収差と同じになるようになっている。
また、両凹レンズ22の平凸レンズ21側の面(図1中左側の面)には、入射光のRGB成分のうち、R成分に対する反射を抑制するため、フッ化マグネシウム(MgF2)や水晶などのコーティング材料が真空蒸着或いはスパッタリングによってコーティング26されている。
赤外線カットフィルタ30は、イメージセンサ10の前面に配置され、レンズ装置20に対する入射光の近赤外線を遮断するフィルタである。本第1実施形態では、光学ローパスフィルタ40のレンズ装置20側の表面に蒸着されたSiO2、TiO2のような反射型赤外線カット用の薄膜層あるいはAlO2やCuなどの添加剤入りガラスのような吸収型赤外線カット用の薄膜層である。
光学ローパスフィルタ40は、イメージセンサ10及びレンズ装置20の間に配置され、レンズ装置20に対する入射光を、その偏光方向に基づいて分割し、イメージセンサ10のRGBベイヤ18に入力する。
ここで、光学ローパスフィルタ40の構造を図2に基づき説明する。図2は、光学ローパスフィルタ40の概略の構造を示す図である。光学ローパスフィルタ40は、図2に示すように、第1フィルタ41、第3フィルタ43及び第2フィルタ42から構成されている。
第1フィルタ41は、水晶板であり、水晶板の厚さt方向に対して44.83°の結晶光軸を有している。第1フィルタ41は、他車両のテールライトやリフレクタからの円偏光光を垂直方向に90°分割する。
これにより、入射した円偏光光が、第1フィルタ41の厚さt方向に対して直進する直線偏光の常光線と、厚さt方向に対して垂直方向に、図2中にdで示される分離幅分ずれる直線偏光の異常光線とに分割される。
この分離幅dが、イメージセンサ10のRGBベイヤ18のRGB画素12,14,16の1画素の大きさとほぼ同じになるように、水晶板の厚さtが決定される。
第3フィルタ43は、水晶板であり、入射光の1/4波長の厚さを有している。そして、第1フィルタ41で分割された常光線及び異常光線が通過すると、それらの光線の位相を1/4波長ずらすことによって、それぞれの光線を円偏光光に変換する。
第2フィルタ42は、水晶板であり、結晶光軸が第1フィルタ41の結晶光軸に対して90°回転している。
この第2フィルタ42により、第3フィルタ43により円偏光光に変換されて2つの光線が、第1フィルタ41と同様にして、水平方向に分離幅dで分割される。その結果、第1フィルタ41に対する入射光が4つの光線に分割される。
この入射光の分割の様子を図3に示す。入射光は、図3に示すように、第1フィルタ41により常光線と異常光線とに垂直方向に分割される。分割された常光線と異常光線の2つの光は、第3フィルタ43により、1/4波長分位相がずらされ円偏光光に変換される。
円偏光された2つの光は、それぞれ第2フィルタ42により水平方向に常光線と異常光線との4つの光に分割され、分割された4つの光がイメージセンサ10に入力される。
このようにして、入射光が1対の水平方向に分割された常光線と異常光線とが垂直方向に2対並んだ、計4この光点としてイメージセンサ10のRGBベイヤ18に入力される。
RGBベイヤ18に入力される光点の大きさ(直径)は、前述のように、RGBベイヤ18を構成するRGB画素12,14,16の大きさよりも小さくなるように、レンズ装置20及び光学ローパスフィルタ40で結像される。
つまり、RGBベイヤ18には、入射光の常光線及び異常光線がそれぞれRGB画素12、14,16に正確に入射される。したがって、イメージセンサ10からは、入射光のR成分とG成分とが正確に出力される。換言すれば、イメージセンサ10からは、偽色のない正確な色画像信号が出力されるのである。
(車載用撮像装置5の特徴)
次に車載用撮像装置5の特徴について、図4に基づき説明する。図4は、従来の撮像装置と本第1実施形態における車載用撮像装置5とを比較した図である。
従来の撮像装置では、入射光が、レンズ装置20によって、イメージセンサ10のRGBベイヤ18表面に結像される。このとき、入射光の光源が遠方にあると、図4(a)に示すように、結像する光源画像が非常に小さくなり、RGBベイヤ18を構成するRGB画素全体に対して結像しないことになる。
その結果、例えば、オレンジ色の他車両のリフレクタ画像が、イメージセンサ10のR画素に結像してしまい、赤色として検出されてしまうという、偽色現象が発生する。
この偽色現象を回避するために、図4(b)に示すように、イメージセンサ10をレンズ装置20の結像位置から遠方にずらすことによって、結像画像がRGBベイヤ18全体に広がるようにするという方法がある。
ところが、この方法では、偽色現象の発生は回避できるものの、画像がぼけるため、結局遠方のテールライトとリフレクタとの識別ができないことになる。
これに対し、本第1実施形態の車載用撮像装置5では、図4(c)に示すように、レンズ装置20を通過した光が、光学ローパスフィルタ40により、垂直方向及び水平方向に分割されて、水平方向に常光線と異常光線の一対の光点が垂直方向に2対並んだ、計4つの光点が得られ、得られた4つの光点がイメージセンサ10のRGBベイヤ18に入力される。
このとき、この4つの光点がRGBベイヤ18のRGB画素12、14,16に入射されように第1フィルタ41及び第3フィルタ42の厚さtを設定しているので、偽色が発生することがなくなる。
また、レンズ装置20を、入射光のRGB成分のうち、G成分に対する色収差がR成分に対する色収差と同じになるように、4つのレンズ21,22,23,24を組み合わせているので、R成分とG成分との色収差が少なくなる。
したがって、R成分とG成分とを精度よく検出できる。つまり、他車両のリフレクタから反射されるオレンジ色の光やテールライトが発光する赤色を、ぼけや偽色を発生させることなく検出することができる。
さらに、レンズ装置20には、入射光のRGB成分のうち、R成分に対する反射を抑制するコーティング26を施してあるので、レンズ装置20において赤色のゴーストが発生することがない。したがって、赤色光を発するテールライトの誤検出を防止することができる。
また、赤外線カットフィルタ30が、光学ローパスフィルタ40の表面に蒸着されたフッ化マグネシウムの薄膜層であるので、容易に赤外線カットフィルタ30を形成することができる。
[第2実施形態]
次に、図5及び図6に基づき、第1実施形態における車載用撮像装置5の光学ローパスフィルタ40及びイメージセンサ60の構成を変更した第2実施形態について説明する。図5は、第2実施形態における光学ローパスフィルタ70の概略の構造を示す図であり、図6は、第2実施形態における車載用撮像装置7の概略の構成を示す図である。
また、第2実施形態における車載用撮像装置7では、光学ローパスフィルタ70及びイメージセンサ10以外の構成は第1実施形態におけるものと同じであるので、その説明を省略する
第2実施形態における光学ローパスフィルタ70は、図5に示すように、第1実施形態の光学ローパスフィルタ40から第3フィルタ43を削除した構成となっている。
また、イメージセンサ60は、RGBベイヤ18を水平方向に対して45°傾けて配置している。
このような車載用撮像装置7では、図5に示すように、入射された光は垂直方向に90°分割され、入射光の常光線は、第1フィルタ41を直進し、異常光線は、第1フィルタ41で垂直方向に偏向される。
第2フィルタ42では、第1フィルタ41で分割された常光線と異常光線の2つの光線が水平方向に90°分割され、2つの光線がそれぞれ常光線と異常光線とに分割される。
そうすると、光学ローパスフィルタ70に入力された円偏光光は、図5に示すように、水平方向に対して斜め45°に常光線と異常光線と有する一対の光点が各2つ、計4つの光点が得られることになる。
この4つの光点がイメージセンサ60のRGBベイヤ18の領域内に入るようになっているので、入射光のうち常光線と異常光線とがそれぞれRGB画素12,14,16に入射されることになる。したがって、偽色が発生することがなくなる。
また、この場合、イメージセンサ60のRGBベイヤ18におけるRGB画素12,14,16を水平方向に対して傾けて配列させる必要はあるが、第1フィルタ41及び第2フィルタ42の2枚のフィルタのみにより光学ローパスフィルタ40を構成することができるので、車載用撮像装置7を小型化することができる。
[第3実施形態]
次に、図7に基づき、第1実施形態で説明した車載用撮像装置5を用いたヘッドライト制御装置100について説明する。図7は、ヘッドライト制御装置100の概略の構成を示すブロック図である。
ヘッドライト制御装置100は、図7に示すように、車載用画像処理装置1及びヘッドライト切替部90を備えている。
車載用画像処理装置1は、車載用撮像装置5及び画像処理部80を備えている。
車載用撮像装置5は、第1実施形態又は第2実施形態において説明した車載用撮像装置であり、画像処理部80は、図示しないCPU、ROM、RAM及びI/Oを備えており、ROMに内蔵したプログラムにより以下の(ア)〜(エ)に示す処理を実行する。
(ア)車載用撮像装置5から画像を取得する。
(イ)(ア)において取得した画像から他車両のテールライトを抽出する。
(ウ)抽出したテールライトの色情報に基づいて他車両が自車両から所定の距離以上であるか否かを判定する。
(エ)(ウ)における判定結果をヘッドライト切替部90へ出力する。
ヘッドライト切替部90は、車載用画像処理装置1から出力される判定結果に基づいて、自車両のヘッドライトをハイビーム又はロービームに切り替える。
(画像処理部80における処理)
次に、車載用画像処理装置1の画像処理部80における画像処理について図8に基づき説明する。図8は、画像処理部80で実行される画像処理の内容を示すフローチャートである。
画像処理では、S100において、車載用撮像装置5から画像が取得され、続くS105では、S100において取得された画像から、処理画像が生成される。具体的には、二値化処理などで他車両の輪郭の抽出や、光源部分の切り出しが行われる。
続くS110では、S105において生成された処理画像から他車両のテールライトが抽出される。具体的には、処理画像から切り出された光源部分の色情報から他車両のテールライト(赤色光源)が抽出されるとともに、テールライトが処理画像のどの位置であるかが抽出される。
続くS115では、S110において抽出されたテールライト及びその処理画像における位置から他車両が所定の距離以上か否かが判定される。
つまり、赤色のテールライトが処理画像のどの位置にあるかによって所定の距離以上であるか否かが判定できる。例えば、処理画像中の車両毎に補正された無限遠点光源の位置とから距離が判定される。
続くS120では、S115において判定した結果がヘッドライト切替部90へ出力された後、処理がS100へ戻され、画像処理が繰り返される。
このようなヘッドライト制御装置100では、車載用撮像装置5から取得された画像から他車両の光源を抽出し、抽出した光源の色情報を用いて、他車両が所定の距離以上にあるか否かを判定している。
車載用撮像装置5から取得された画像において抽出される光源は、偽色がなく、かつ、ぼけがなく、遠距離にある赤色光源とオレンジ色光源とを正確に識別できるものである。
したがって、その光源の色情報を用いているので、遠距離にある赤色光源とオレンジ色光源とを正確に識別できる。つまり、車載用撮像装置5から得られる光源の色情報を用いて、所定の距離以上にある他車両のテールライトを識別できるので、その光源の色情報を用いることにより他車両が所定の距離以上にあるか否かを正確に判定することができる。
[その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、以下に示すように種々の態様を採ることができる。
(1)第1実施形態では、光学ローパスフィルタ40として、円偏光光を垂直方向に分離する第1フィルタ41、光線の位相を1/4波長ずらす第3フィルタ43及び円偏光光を水平方向に分割する第2フィルタ42の3枚のフィルタによって構成されているが、第1フィルタ41の次に第2フィルタ42を並べ、さらに第1フィルタ41と同じフィルタ(第4フィルタ)を並べた3枚構成としてもよい。
光学ローパスフィルタをこのように構成した場合にRGBベイヤ18に入力される光線の様子を図9に示す。本第3実施形態における光学ローパスフィルタを用いた場合には、図9(b)に示すように、入射光が斜めから水平方向に正方4点に分離されRGB画素12,14,16に入力される。
なお、図9において、図9(a)は、第1実施形態における入射光のRGBベイヤ18への分離状態(正方4点分離)を示し、図9(c)は、第2実施形態における入射光のRGBベイヤ18への分離状態(斜め4点分離)を示している。
(2)第3実施形態では、車載用撮像装置として第1実施形態における車載用撮像装置5を用いたが第2実施形態における車載用撮像装置7を用いてもよい。
1…車載用画像処理装置、5,7…車載用撮像装置、10,60…イメージセンサ、12…R画素、14…G画素、16…B画素、18…RGBベイヤ、20…レンズ装置、21…平凸レンズ、22…両凹レンズ、23…平凸レンズ、24…凸メニスカスレンズ、26…コーティング、30…赤外線カットフィルタ、40…光学ローパスフィルタ、41…第1フィルタ、42…第2フィルタ、43…第3フィルタ、70…光学ローパスフィルタ、80…画像処理部、90…ヘッドライト切替部、100…ヘッドライト制御装置。

Claims (8)

  1. 入射光のRGB成分をそれぞれ検出するRGBの各画素が配置されたRGBベイヤを有するイメージセンサと、
    入射光を前記イメージセンサの前記RGBベイヤ表面に結像させるレンズ装置と、
    前記イメージセンサの前面に配置され、前記レンズ装置に対する入射光の近赤外線を遮断する赤外線カットフィルタと、
    前記イメージセンサ及び前記レンズ装置の間に配置され、前記レンズ装置に対する入射光を、その偏光方向に基づいて分割し、前記イメージセンサの前記RGBベイヤの前記各画素に入力する光学ローパスフィルタと、
    を備え
    前記レンズ装置は、複数のレンズを組み合わせて構成され、入射光のRGB成分のうち、R成分に対する反射を抑制するコーティングが施されていることを特徴とする車載用撮像装置。
  2. 請求項1に記載の車載用撮像装置において、
    前記光学ローパスフィルタは、
    前記偏光方向に基づいて分割する前記入射光の分割幅が、前記RGBの各画素の大きさと略同じになるように前記入射光を分割することを特徴とする車載用撮像装置。
  3. 請求項1又は請求項2に記載の車載用撮像装置において、
    前記光学ローパスフィルタは、
    円偏光光を垂直方向に90°分割することによって、直線偏光の常光線及び異常光線に分割する第1フィルタと、
    前記第1フィルタによって分割された前記直線偏光の常光線及び異常光線をそれぞれ水平方向に90°分割することによって、前記2つの光線をそれぞれ直線偏光の常光線及び異常光線に分割する第2フィルタと、
    を備えたことを特徴とする車載用撮像装置。
  4. 請求項3に記載の車載用撮像装置において、
    前記光学ローパスフィルタは、
    前記第1フィルタと前記第2フィルタとの間に配置され、前記第1フィルタにより分割された常光線及び異常光線の位相を1/4波長ずらすことによって、各光線を円偏光光に変換する第3フィルタを備えたことを特徴とする車載用撮像装置。
  5. 請求項3に記載の車載用撮像装置において、
    前記光学ローパスフィルタは、
    前記第1フィルタと前記第2フィルタとの間に配置され、前記第1フィルタにより分割された常光線及び異常光線をそれぞれ垂直方向に90°分割することによって、直線偏光の常光線及び異常光線に分割する第4フィルタを備えたことを特徴とする車載用撮像装置。
  6. 請求項1〜請求項5のいずれか1項に記載の車載用撮像装置において、
    前記レンズ装置は、
    入射光のRGB成分のうち、G成分に対する色収差がR成分に対する色収差と同じになるように構成されていることを特徴とする車載用撮像装置。
  7. 請求項1〜請求項6のいずれか1項に記載の車載用撮像装置において、
    前記赤外線カットフィルタは、
    前記光学ローパスフィルタの表面に蒸着されたフッ化マグネシウム又は水晶の薄膜であることを特徴とする車載用撮像装置。
  8. 請求項1〜請求項7のいずれか1項に記載の車載用撮像装置と、
    前記車載用撮像装置から取得した画像から他車両の光源を抽出し、該抽出した光源の色情報を用いて、前記他車両が前記自車両に対して所定の距離以上にあるか否かを判定する画像処理手段と、
    を備えたことを特徴とする車載用画像処理装置。
JP2010103822A 2010-04-28 2010-04-28 車載用撮像装置及び車載用画像処理装置 Active JP5368369B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010103822A JP5368369B2 (ja) 2010-04-28 2010-04-28 車載用撮像装置及び車載用画像処理装置
US13/066,865 US20110267467A1 (en) 2010-04-28 2011-04-27 In-vehicle camera apparatus enabling recognition of tail lamp of distant preceding vehicle
CN201110113721.XA CN102238336B (zh) 2010-04-28 2011-04-28 能够对远处前方车辆的尾灯进行识别的车载照相机装置
DE102011017699.3A DE102011017699B4 (de) 2010-04-28 2011-04-28 Fahrzeug-Kameravorrichtung und Fahrzeug-Bildverarbeitungsvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010103822A JP5368369B2 (ja) 2010-04-28 2010-04-28 車載用撮像装置及び車載用画像処理装置

Publications (2)

Publication Number Publication Date
JP2011233763A JP2011233763A (ja) 2011-11-17
JP5368369B2 true JP5368369B2 (ja) 2013-12-18

Family

ID=44857956

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010103822A Active JP5368369B2 (ja) 2010-04-28 2010-04-28 車載用撮像装置及び車載用画像処理装置

Country Status (4)

Country Link
US (1) US20110267467A1 (ja)
JP (1) JP5368369B2 (ja)
CN (1) CN102238336B (ja)
DE (1) DE102011017699B4 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10046716B2 (en) 2011-02-10 2018-08-14 Denso Corporation In-vehicle camera and vehicle control system
US9690997B2 (en) 2011-06-06 2017-06-27 Denso Corporation Recognition object detecting apparatus
JP6176028B2 (ja) 2013-09-26 2017-08-09 株式会社デンソー 車両制御システム、画像センサ
JP5846872B2 (ja) * 2011-11-21 2016-01-20 日立オートモティブシステムズ株式会社 画像処理装置
JP6112862B2 (ja) 2012-12-28 2017-04-12 キヤノン株式会社 撮像装置
JP6484228B2 (ja) * 2013-06-13 2019-03-13 モービルアイ ビジョン テクノロジーズ リミテッド 視覚強化ナビゲーション
KR101723401B1 (ko) 2013-08-12 2017-04-18 주식회사 만도 야간 카메라 영상 저장 장치 및 그 영상 저장 방법
CN104184943B (zh) * 2014-07-29 2016-03-30 小米科技有限责任公司 图像拍摄方法与装置
WO2016084385A1 (ja) * 2014-11-27 2016-06-02 京セラ株式会社 撮像装置および車両
KR102623680B1 (ko) * 2015-02-10 2024-01-12 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
KR101759138B1 (ko) * 2015-12-10 2017-07-18 현대자동차주식회사 차량의 후방 카메라를 이용한 테일 게이트 제어 장치 및 방법
KR101795218B1 (ko) * 2016-03-07 2017-11-08 현대자동차주식회사 차량용 조명 장치
WO2018125850A1 (en) * 2016-12-27 2018-07-05 Gerard Dirk Smits Systems and methods for machine perception
KR102403015B1 (ko) * 2017-09-29 2022-05-27 삼성전자주식회사 지문 인식 센서를 포함하는 전자 장치
CN109341859A (zh) * 2018-09-27 2019-02-15 临沂市科学技术合作与应用研究院 一种颜色识别语音播报仪
US11092480B2 (en) * 2018-09-27 2021-08-17 International Business Machines Corporation Light obstruction sensor
US11740071B2 (en) 2018-12-21 2023-08-29 Apple Inc. Optical interferometry proximity sensor with temperature variation compensation
US20200211210A1 (en) * 2019-01-02 2020-07-02 GM Global Technology Operations LLC Intersection of point cloud and image to determine range to colored light sources in vehicle applications
DE102019101710A1 (de) * 2019-01-24 2020-07-30 HELLA GmbH & Co. KGaA Verfahren zum Betrieb einer Beleuchtungsvorrichtung für ein Kraftfahrzeug sowie Beleuchtungsvorrichtung für ein Kraftfahrzeug
US11243068B1 (en) 2019-02-28 2022-02-08 Apple Inc. Configuration and operation of array of self-mixing interferometry sensors
US11156456B2 (en) 2019-05-21 2021-10-26 Apple Inc. Optical proximity sensor integrated into a camera module for an electronic device
US11473898B2 (en) 2019-05-24 2022-10-18 Apple Inc. Wearable voice-induced vibration or silent gesture sensor
US20210109267A1 (en) * 2019-10-09 2021-04-15 Viavi Solutions Inc. Optical filter and device
CN111200724B (zh) * 2020-01-13 2022-02-25 Oppo广东移动通信有限公司 一种偏振式cis、图像处理方法及存储介质和终端设备
US11150332B1 (en) 2020-06-30 2021-10-19 Apple Inc. Self-calibrating optical transceiver system with reduced crosstalk sensitivity for through-display proximity sensing
US11874110B2 (en) 2020-09-25 2024-01-16 Apple Inc. Self-mixing interferometry device configured for non-reciprocal sensing
US11460293B2 (en) 2020-09-25 2022-10-04 Apple Inc. Surface quality sensing using self-mixing interferometry
US11629948B2 (en) 2021-02-04 2023-04-18 Apple Inc. Optical interferometry proximity sensor with optical path extender
CN113516607B (zh) * 2021-04-23 2024-02-13 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及存储介质
CN117132629A (zh) * 2023-02-17 2023-11-28 荣耀终端有限公司 图像处理方法和电子设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63220103A (ja) * 1987-03-09 1988-09-13 Mitsubishi Electric Corp 赤外線反射電波透過ミラ−
US5837994C1 (en) 1997-04-02 2001-10-16 Gentex Corp Control system to automatically dim vehicle head lamps
KR100266223B1 (ko) * 1998-01-16 2000-09-15 구자홍 광픽업 장치
JP4545859B2 (ja) * 1999-11-19 2010-09-15 キヤノン株式会社 撮像装置
JP2003101832A (ja) * 2001-09-21 2003-04-04 Sony Corp 撮像光学系及び撮像装置
JP3960146B2 (ja) * 2002-06-27 2007-08-15 日産自動車株式会社 画像認識装置
JP2004139035A (ja) * 2002-09-25 2004-05-13 Seiko Epson Corp 赤外カットフィルタ付レンズ及びその製造方法並びに小型カメラ
JP2005043755A (ja) * 2003-07-24 2005-02-17 Seiko Epson Corp 光学多層膜フィルタ、光学多層膜フィルタの製造方法、光学ローパスフィルタ、及び電子機器装置
JP2005062524A (ja) * 2003-08-13 2005-03-10 Canon Inc 光学フィルタおよび光学機器
TWI275830B (en) * 2004-02-25 2007-03-11 Synge Technology Corpation Lens for chromatic aberration compensating
KR100800705B1 (ko) * 2004-03-26 2008-02-01 삼성전자주식회사 입사파에 의해 발생되는 반사파를 억제하는 카메라 렌즈장치
JP4533088B2 (ja) * 2004-11-01 2010-08-25 キヤノン株式会社 光学フィルタ及びそれを有する撮像装置
US20060210425A1 (en) * 2005-03-21 2006-09-21 Laura Mirkarimi Inorganic coatings for optical and other applications
JP2006311321A (ja) * 2005-04-28 2006-11-09 Matsushita Electric Ind Co Ltd 撮像装置及びそれを用いた携帯端末装置
JP4836625B2 (ja) * 2006-03-24 2011-12-14 パナソニック株式会社 固体撮像素子
JP4958279B2 (ja) * 2006-05-17 2012-06-20 株式会社デンソーアイティーラボラトリ 物体検出装置
US20080067330A1 (en) * 2006-09-19 2008-03-20 Denso Corporation Color sensor for vehicle and method for manufacturing the same
JP4876812B2 (ja) * 2006-09-19 2012-02-15 株式会社デンソー 車載用カラーセンサおよびその製造方法
US7463342B2 (en) * 2007-05-02 2008-12-09 Angstrom, Inc. Optical tracking device using micromirror array lenses
DE102007040114B4 (de) * 2007-08-24 2010-10-28 Robert Bosch Gmbh Farbmaske für einen Bildsensor einer Fahrzeugkamera
JP4466701B2 (ja) * 2007-09-10 2010-05-26 株式会社デンソー ライト制御装置
JP4784635B2 (ja) 2008-10-24 2011-10-05 富士ゼロックス株式会社 画像処理装置、画像形成装置およびプログラム

Also Published As

Publication number Publication date
DE102011017699A1 (de) 2012-08-30
CN102238336B (zh) 2015-04-22
US20110267467A1 (en) 2011-11-03
CN102238336A (zh) 2011-11-09
DE102011017699B4 (de) 2020-10-15
JP2011233763A (ja) 2011-11-17

Similar Documents

Publication Publication Date Title
JP5368369B2 (ja) 車載用撮像装置及び車載用画像処理装置
JP6380843B2 (ja) 物体検出装置及びこれを備えた移動体機器制御システム並びに物体検出用プログラム
JP5610254B2 (ja) 撮像装置及び路面状態判別方法
JP5278819B2 (ja) ステレオカメラ装置及びそれを用いた車外監視装置
US8466960B2 (en) Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus
JP5761143B2 (ja) 撮像ユニット、撮像ユニットを搭載した車両
US9525808B2 (en) Camera arrangement for a motor vehicle
JP2010204059A (ja) 雨滴検出装置及び車載用監視装置
JP5995140B2 (ja) 撮像装置及びこれを備えた車両システム並びに画像処理方法
JP5899957B2 (ja) 画像処理システム及びそれを備えた車両
JPWO2009119370A1 (ja) 撮像装置
JP5278814B2 (ja) ステレオカメラ装置及び車外監視装置
JP5990953B2 (ja) 撮像装置、物体検出装置、車両走行支援画像処理システム、及び車両
JP7098790B2 (ja) 撮像制御装置及び移動体
JP2019216376A (ja) 画像処理装置、撮像装置、および画像処理方法
JP2010210607A (ja) 液滴認識装置と雨滴認識装置と自動ワイパー装置及び液滴認識方法
JP2007187942A (ja) プリズム光学系および撮像装置
JP4664883B2 (ja) ヘッドライト制御装置
CN104618665B (zh) 多个成像器的车辆光学传感器系统
US10900770B2 (en) Distance measuring device, imaging apparatus, moving device, robot device, and recording medium
JP2016127512A (ja) 撮像装置
US20220404579A1 (en) Imaging apparatus
US10440249B2 (en) Vehicle vision system camera with semi-reflective and semi-transmissive element
US20210112211A1 (en) Photoelectric conversion device and imaging system
JP2013097223A (ja) 撮像方法及び撮像ユニット

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120625

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121114

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20121121

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20130125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130912

R150 Certificate of patent or registration of utility model

Ref document number: 5368369

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250