JP4974897B2 - 車載撮像装置 - Google Patents

車載撮像装置 Download PDF

Info

Publication number
JP4974897B2
JP4974897B2 JP2007538744A JP2007538744A JP4974897B2 JP 4974897 B2 JP4974897 B2 JP 4974897B2 JP 2007538744 A JP2007538744 A JP 2007538744A JP 2007538744 A JP2007538744 A JP 2007538744A JP 4974897 B2 JP4974897 B2 JP 4974897B2
Authority
JP
Japan
Prior art keywords
imaging device
color
vehicle imaging
color signal
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007538744A
Other languages
English (en)
Other versions
JPWO2007040170A1 (ja
Inventor
隆一 宮腰
一行 猪熊
俊哉 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2007538744A priority Critical patent/JP4974897B2/ja
Publication of JPWO2007040170A1 publication Critical patent/JPWO2007040170A1/ja
Application granted granted Critical
Publication of JP4974897B2 publication Critical patent/JP4974897B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/0875Registering performance data using magnetic data carriers
    • G07C5/0891Video recorder in combination with video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Processing Of Color Television Signals (AREA)

Description

本発明は、自動車に搭載して車両周辺の映像を監視するための車載撮像装置に関するものである。
従来より、自動車の走行安全性を高めるために、車両にビデオカメラ等の撮像手段を搭載して車両周辺の映像を監視し、その映像に含まれる各種情報を取出して利用する装置が多数提案されている。
この中には、取込んだ映像信号から周辺の自動車の動きを光学的相関システムにより検出し、その距離、速度により運転者に警告を与えるシステムや、認識した映像の「道路領域」に対する所定の位置を探索して標識を認識するシステム、ドアミラーあるいはサイドミラーに内蔵したカメラの出力を車内の運転席付近に設けられた映像表示装置で表示し、対向車の状況や隣車線の状況を容易に確認できるシステム、左右方向の死角映像と車両下方映像を同時に撮影し表示できる車載カメラなどがある。
このような車載カメラは、気象条件に左右されないことが要求される。例えば、特許文献1には、気象条件に左右されない撮像装置とするために、車両のドアミラーのミラー部をハーフミラーとし、内部に光学フィルタ付のビデオレンズとCCD等の撮像装置を配置し、車室内に配置したカメラ信号処理回路により処理した映像信号を映像表示装置に出力するようにしたものが開示されている。
また、前記特許文献1には、(1)カメラを車室内に配置すると、美観上、居住性の劣化を招いたり、運転者の視野を狭めたりする、(2)エンジンルーム内では周囲の環境が非常に悪く、故障の原因となる、(3)車両の周辺、例えばドア側面やエンジンルームの上に配置すると、安全上、デザイン上、空力抵抗といった性能上などの悪影響があるという、カメラの搭載位置に関する課題が解決される、と記載されている。
特開平5−294183号公報(図1)
このような従来の技術では、車両の性能を劣化させることのないカメラの搭載位置を提供しているが、車載カメラの性能が限定されるという別の課題がある。すなわち、(1)ハーフミラーを介して外界の映像を撮影するので感度が低下する、(2)カメラの搭載位置がドアミラー内なので、カメラの方向あるいは視野角を工夫しても撮影できる視野が限定される、(3)将来的にはデザイン上の観点からドアミラーをなくすことも検討されておりこれに対応できない等がある。
さらに、ドアミラーの内部は、車両の外側部又はエンジンルーム内に比べれば良好な使用環境にあると言えるが、真夏の炎天下に駐車された車両内の気温は、車室内又はドアミラーの内部を含めて非常に高くなることは周知の事実である。また、エンジンルーム内は、走行時には車室内に比べてはるかに高温になるし、車両の外側部に搭載したカメラは直射日光に晒されるという使用環境上の問題がある。
また、従来の固体撮像装置内のカラーフィルタは、有機材料よりなる顔料によって構成されており、長時間高温状態におかれた場合、あるいは強い入射光が長時間当たった場合、顔料に化学変化が生じて波長選択特性が変化する。このため、顔料フィルタを用いた従来の固体撮像装置では、高温又は高照射による退色(色分離特性の劣化)という課題があった。この課題が、車載撮像装置に対してより顕著な問題となることは、上述した通りである。
また、車載撮像装置としてはカラーフィルタを有しないモノクロタイプのものもあるが、上述した標識を認識するシステムや映像表示装置を目視するシステムでは、カラーの撮像装置が望ましいことは言うまでもない。
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、車両の外側部、車室内、エンジンルーム内など、どのような場所にカメラを搭載した場合にも、周囲温度又は直射日光の影響で劣化することなく、高精度な色再現、色信号のS/Nを確保することにある。
すなわち、本発明では、複数の単位画素がチップ上に配列された車載撮像装置であって、
前記単位画素毎に入射光を光電変換する光電変換素子と、
前記光電変換素子の上方に配置され前記入射光の一部の波長のみを選択的に透過させて色成分を分離する多層膜フィルタと、
前記多層膜フィルタを通過して光電変換された色信号に対して画像処理を行う画像処理部とを備え、
前記画像処理部は、前記色信号に対応する複数の領域に分割した色マトリクス上で各領域毎に該色信号をそれぞれ補正するように構成されていることを特徴とするものである。
以上のように、本発明に係る車載撮像装置は、多層膜フィルタを通過した入射光を光電変換した色信号のR(赤)、G(緑)、B(青)成分に対して、複数の領域に分割した色マトリクス上で各領域毎に補正を行うから、高精度な色再現性を確保する上で有利な効果が得られる。
また、前記多層膜フィルタの変調度が低く、色信号の補正によりノイズが発生する場合には、ノイズリダクションを行うようにしたから、色信号のS/Nを確保する上で有利な効果が得られる。
以下、本発明の実施形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものでは全くない。
図1は、本発明に係る車載撮像装置における3つの画素部分を示す断面図である。図1に示すように、車載撮像装置におけるイメージセンサ101は、N型層102にP型層103が積層されたシリコン半導体基板を備え、さらにその上に層間絶縁膜104が形成されている。
前記P型層103には、N型不純物のイオン注入により複数のフォトダイオード(光電変換素子)105が形成されており、入射光106を光電変換するようになっている。そして、各フォトダイオード105間は素子分離領域107により分離されている。
さらに、前記素子分離領域107の上方には、光の入射を抑制する遮光膜108が形成されている。そして、この遮光膜108の上には、誘電体からなり、波長選択機能を実現する多層膜フィルタ109が形成されている。さらに、この多層膜フィルタ109の上方には、入射光106を効率良く集光するための集光レンズ110が形成されている。
図2は、本実施形態に係る車載撮像装置を自動車車両に取付けた状態を示す図である。図2に示すように、自動車201には、デザイン上の観点からフェンダーミラーやドアミラーが取り付けられておらず、代わりにサイドカメラ202が車両側部に設置されている。このサイドカメラ202からの映像信号は、コンソール内に設置された映像制御装置203に入力され、映像制御装置203からの出力信号が車内の運転席付近に設けられた映像表示装置204に表示される。
また、前記映像制御装置203には、車両前部に設置されたフロントカメラ205、車両後部に設置されたリアカメラ206、車室内カメラ207、及びエンジンルーム内カメラ208からの出力信号がさらに入力されており、前記映像表示装置204に対して、サイドカメラ202、フロントカメラ205、及びリアカメラ206からの映像信号を切り替えて、あるいは同時に表示することができるようになっている。さらに、映像信号を処理することで前方車、後続車、又は隣接車との車間距離測定、障害物の検知等を行い、運転者に警告を与えることができるようになっている。
また、車室内カメラ207の映像信号は、運転者の動作を分析して居眠り、酒酔い運転を検知するのに用いられる他、駐車時に動作させて、車上荒しに対する警報発令や映像記録をするために用いられる。
また、エンジンルーム内カメラ208は、エンジン、トランスミッション、サスペンション、タイヤ等を監視するために用いられる。
なお、車室内及びエンジンルーム内は、車両外部に比べて衝突等の事故の際にカメラが保護されやすいという特徴があるので、車室内カメラ207又はエンジンルーム内カメラ208を車外監視用途に用いてもよい。これは特に、交通事故時の映像を衝突の前後で記録する車載ブラックボックスとして用いると効果的である。
また、図2には示していないが、サイドカメラ202、フロントカメラ205、リアカメラ206、車室内カメラ207、及びエンジンルーム内カメラ208の中には、図1に示した車載撮像装置が組み込まれているものとする。
以下、本実施形態に係る多層膜フィルタの透過率特性について、従来の多層膜フィルタの透過率特性と比較しながら説明する。
図3(a)は、従来の高反射ミラーに用いる多層膜反射鏡である多層膜フィルタの層構造を示す図であり、図3(b)は、従来の多層膜フィルタの透過率特性を示す図である。
図3(a)に示すように、多層膜フィルタの層構造は、屈折率の異なる材料である、窒化シリコン301(SiN)と、酸化シリコン302,303(SiO)とを単純に積層させた構成となっている。
また、図3(b)において、縦軸は入射に対して多層膜を通過した後の光透過率、横軸は多層膜に入射させる光の波長を示している。なお、計算にはフレネル係数を用いたマトリクス法を用いており、ペア数は10、設定中心波長は550nmで、垂直入射光のみを計算している。
ここで、多層膜を構成する各誘電体の光学膜厚nd(n:材料の屈折率、d:材料の膜厚)については、設定中心波長λに対して4分の1波長(λ/4)となるように設定してあり、その結果、設定中心波長を中心とする反射帯域特性となる。また、反射帯域幅は用いる材料の屈折率差で決定され、屈折率差が大きいほど帯域幅が大きくなる。
しかしながら、このような層構造では、広い反射阻止帯域は得られるものの、R、G、Bの色分離機能のために波長を選択的に透過させることは難しいと言える。
図4(a)は、本実施形態の高反射ミラーに用いる色分離フィルタである多層膜フィルタの層構造を示す図であり、図4(b)は、本実施形態の多層膜フィルタの透過率特性を示す図である。
図4(a)に示すように、本発明の実施形態に係る多層膜フィルタは、スペーサ層304を中心にして、λ/4多層膜構造(λ:設定中心波長)の上部反射器305及び下部反射器306が対称となるように配置した構成となっている。このような層構造により、反射帯域中に透過帯域領域が選択的に形成され、さらにスペーサ層304の膜厚を変化させることによって、その透過ピーク波長を変化させることが可能となる。
さらに、本発明の誘電体多層膜フィルタは、無機材料のみを用いて構成可能であり、高温、高照射下で使用しても退色現象を生じないことから、車載用途として車両の外部、エンジンルーム内、車室内など、どのような場所にでも搭載することができる。
図5は、本実施形態に係る車載撮像装置の全体構成を示す図である。図5において、101はイメージセンサ、109は無機材料を積層してなる多層膜フィルタ、401はイメージセンサ101の出力信号をアナログ処理するAFE(Analog Front End)及びデジタル信号に変換するADC(AD Converter)である。
402は、デジタル信号となったイメージセンサ101の出力信号を処理して所望の画像データを生成する画像処理LSIである。
403は輝度信号処理部であり、イメージセンサ101の出力信号から輝度信号Yを生成して出力処理するものである。
404は色信号処理部であり、色信号に対して色マトリクス上での補正を行う多軸色査MTX部405と、ノイズを低減するデジタルノイズリダクション部406とを備えている。
この色信号処理部404では、R(赤)、G(緑)、B(青)成分から色差信号R−Y、B−Yが算出される。ここで、Yは輝度信号を表し、Y=0.59R+0.3G+0.11Bに相当する。そして、色信号処理部404で得られた色差信号R−Y、B−Yと輝度信号Yを用いて出力画像が作成される。
このように、前記色信号処理部404において色補正及びノイズリダクションを行うことによって、高精度な色再現性と色信号のS/Nの確保が可能となる。
図6は、誘電体多層膜フィルタの理想的な分光特性を示す図であり、図7は、本実施形態に係る車載撮像装置における誘電体多層膜フィルタの分光特性を示す図である。
図7に示すように、本実施形態の誘電体多層膜フィルタでは、分光特性が悪く変調度も低いため、図6に示すような理想的な色再現や色信号のS/Nを確保するには至っていないことが分かる。従って、多層膜フィルタからの出力信号に対しては、前記画像処理LSI402において画像処理を施す必要がある。
以下、色信号に対する従来の補正手順と本発明の補正手順とを比較しながら説明する。まず、色信号に対する従来の補正手順について説明する。
図8は、従来の色マトリクス上における補正前の色信号の座標を示す模式図であり、R−Y軸とB−Y軸とからなる色マトリクス上における理想的な赤色の座標701、黄色の座標702、及び赤色、黄色の被写体を誘電体多層膜フィルタにより色分離し、光電変換して得られる色信号の座標(赤色の座標703、黄色の座標704)を示している。
ここで、図8における赤色の座標703、黄色の座標704に対して、式(1)、(2)を用いて補正を行う。図9は、式(1)、(2)を用いた補正後の座標を示す模式図である。
R−Y=(R−G)−n(B−G) (nは任意の整数)・・・(1)
B−Y=(B−G)−m(R−G) (mは任意の整数)・・・(2)
このように、式(1)では、色差信号(R−Y)を算出する際に、B成分とG成分の差(B−G)に定数nを乗算することにより、色差信号(R−Y)の補正を行っている。同様に、式(2)では、色差信号(B−Y)を算出する際に、R成分とG成分の差(B−G)に定数mを乗算することにより、色差信号(B−Y)の補正を行っている。
次に、図9における赤色の座標801、黄色の座標802に対して、式(3)、(4)を用いて補正を行う。図10は、式(3)、(4)を用いた補正後の座標を示す模式図である。
(R−Y)’=s(R−Y) (sは任意の整数)・・・(3)
(B−Y)’=t(B−Y) (tは任意の整数)・・・(4)
このように、式(3)では、式(1)で得られる色差信号(R−Y)に定数sを乗算することにより、色差信号(R−Y)の補正を行っている。同様に、式(4)では、式(2)で得られる色差信号(B−Y)に定数tを乗算することにより、色差信号(B−Y)の補正を行っている。
以上のように、色信号に対する従来の補正手順では、赤色の座標703、黄色の座標704をそれぞれ理想的な赤色の座標701、黄色の座標702に重なるように補正を行う。しかしながら、例えば、図11に示すように補正前の色信号の座標(赤色の座標1001、黄色の座標1002)が位置していた場合には、上述の式(1)〜(4)を用いて色信号の補正を行うと、図12に示すように黄色の座標1002が理想的な座標702と大幅にずれてしまい、良好な色再現ができないことが分かる。
次に、色信号に対する本発明の補正手順について説明する。図13は、R−G軸とB−G軸とからなる色マトリクス上の4つに分割した領域を示す模式図である。
ここで、先ほど従来の補正手順では補正し切れなかった図10における赤色の座標1001、黄色の座標1002に対して、式(5)〜(8)を用いて補正を行う。
R−Y=(R−G)−n(B−G) (nは任意の整数、B−G>0)・・・(5)
R−Y=(R−G)−n(B−G) (nは任意の整数、B−G<0)・・・(6)
B−Y=(B−G)−m(R−G) (mは任意の整数、R−G>0)・・・(7)
B−Y=(B−G)−m(R−G) (mは任意の整数、R−G<0)・・・(8)
ここで、式(5)〜(8)は、領域1201〜1204毎に補正を行うことを意味している。
図14は、R−Y軸とB−Y軸とからなる色マトリクス上の4つに分割した領域を示す模式図である。
次に、先ほど同様に、図10における赤色の座標1001、黄色の座標1002に対して、式(9)〜(12)を用いて補正を行う。
(R−Y)’=s(R−Y) (sは任意の整数、R−Y>0)・・・(9)
(R−Y)’=s(R−Y) (sは任意の整数、R−Y<0)・・・(10)
(B−Y)’=t(B−Y) (tは任意の整数、B−Y>0)・・・(11)
(B−Y)’=t(B−Y) (tは任意の整数、B−Y<0)・・・(12)
ここで、式(9)〜(12)は、領域毎1301〜1304に補正を行うことを意味している。
以上のような補正を行うことで、図15に示すように、赤色の座標1001、黄色の座標1002が理想的な赤色の座標701、黄色の座標702に重なり、高精度な色再現が可能となる。
なお、式(5)〜(12)では、R−G軸とB−G軸とからなる色マトリクス上で領域を4つに分割し、R−Y軸とB−Y軸とからなる色マトリクス上で領域を4つに分割したが、この形態に限定するものではなく、分割する領域数を増やすことでより高精度な色再現が可能となる。
なお、n、m、s、t等の係数は、理想的な色信号の座標と多層膜フィルタにより色分離した後で光電変換して得られる色信号の座標の位置関係を考慮して設定するのが好ましい。
ここで、誘電体多層膜フィルタは変調度が低いため、色マトリクス上での補正度合いが大きくなり、色信号のS/N劣化が著しいという問題がある。
そこで、本発明の実施形態に係る車載撮像装置では、S/N劣化が著しい色信号に対して強力なノイズリダクションを行うようにしている。このようなノイズリダクションは、図16に示す画素1501に対して周辺の8つの画素1502〜1509の色信号の差分の絶対値と、図17に示す補正閾値1601と補正関数値1602(ただし、0≦補正閾値≦補正関数値)を用いることで行われる。
具体的には、図16に示す画素1501〜1509の色信号(R−Y)’の値がそれぞれ15、25、26、40、24、45、23、27、50である場合、画素1501とその周辺の8つの画素1502〜1509との色信号(R−Y)’の差分の絶対値1510〜1507は、それぞれ10、11、25、9、30、8、12、35となる。
また、図17に示す補正閾値1601を“8”、補正関数値1602を“12”とした場合、色信号(R−Y)’の差分の絶対値が補正関数値1602以下となるのは、色信号(R−Y)’の差分の絶対値1510、1511、1513、1505、1506の5つであり、その平均値は“10”である。
図18に示すように、差分の絶対値1510、1511、1513、1505、1506の平均値“10”は補正関数値1602以下となり、その補正値1702は“4”となる。すなわち、画素1501の色信号(R−Y)’は、15+4=19と補正される。同様に色信号(B−Y)’に対しても補正が行われる。
なお、本実施形態では、補正閾値1601を“8”、補正関数値1602を“12”とした場合について説明したが、この形態に限定するものではなく、例えば、誘電体多層膜フィルタの変調度が低いため色マトリクス上での補正度合いが大きくなり、色信号のS/N劣化が著しい場合には、補正閾値1601を“12”、補正関数値1602を“16”のように大きい値に設定することで、強力なノイズリダクションを行い、色信号のS/N劣化を防止するようにしても構わない。
また、図19及び図20に示すように、色信号のレベル毎に補正閾値1601と補正関数値1602とを設定することで、色信号のレベル毎ノイズリダクションの強弱を変えることが可能となり、色マトリクス上における色信号の補正の強弱に沿ったノイズリダクションが可能となる。
なお、図16に示す画素部の例では、周辺画素8つに関してそれぞれ色信号の差分の絶対値を求めてノイズリダクションを行っているが、この形態に限定するものではなく、色信号の差分の絶対値の算出に用いる周辺画素数を増やすことで、広範囲にわたる画素の色信号を考慮に入れてノイズリダクションを行うことが可能となり、より色信号のS/N劣化を防止する上で有利となる。
以上説明したように、本発明は、周囲温度又は直射日光の影響で劣化することなく、高精度な色再現、色信号のS/Nを確保することができるという実用性の高い効果が得られることから、きわめて有用で産業上の利用可能性は高い。特に、自動車に搭載して車両周辺の映像を監視するための車載撮像装置として利用可能である。
本発明の実施形態に係る車載撮像装置の画素部分を示す断面図である。 本実施形態に係る車載撮像装置を自動車車両に取付けた状態を示す図である。 (a)は、従来の多層膜フィルタの層構造を示す図である。(b)は、従来の多層膜フィルタの透過率特性を示す図である。 (a)は、本実施形態の多層膜フィルタの層構造を示す図である。(b)は、本実施形態の多層膜フィルタの透過率特性を示す図である。 本実施形態に係る車載撮像装置の全体構成を示す図である。 誘電体多層膜フィルタの理想的な分光特性を示す図である。 本実施形態に係る車載撮像装置における誘電体多層膜フィルタの分光特性を示す図である。 従来の色マトリクス上における補正前の座標を示す模式図である。 従来の色マトリクス上における補正後の座標を示す模式図である。 従来の色マトリクス上における最終的な補正後の座標を示す模式図である。 従来の色マトリクス上における補正前の座標を示す別の模式図である。 従来の色マトリクス上における最終的な補正後の座標を示す別の模式図である。 本実施形態のR−G軸とB−G軸とからなる色マトリクス上の4つの領域を示す模式図である。 本実施形態のR−Y軸とB−Y軸とからなる色マトリクス上の4つの領域を示す模式図である。 本実施形態の色マトリクス上における補正後の座標を示す模式図である。 本実施形態に係る車載撮像装置の画素部を示す模式図である。 本実施形態のノイズリダクションにおける補正閾値と補正関数値とを示す模式図である。 本実施形態のノイズリダクションにおける補正値を示す模式図である。 本実施形態のノイズリダクションにおける色信号(R−Y)’のレベル毎の補正閾値の設定を示す模式図である。 本実施形態のノイズリダクションにおける色信号(R−Y)’のレベル毎の補正関数値の設定を示す模式図である。
符号の説明
101 イメージセンサ
105 フォトダイオード
106 入射光
109 多層膜フィルタ
201 自動車
402 画像処理LSI
404 色信号処理部
405 多軸色差MTX部
406 ノイズリダクション部

Claims (7)

  1. 複数の単位画素がチップ上に配列された車載撮像装置であって、
    前記単位画素毎に入射光を光電変換する光電変換素子と、
    前記光電変換素子の上方に配置され前記入射光の一部の波長のみを選択的に透過させて色成分を分離する多層膜フィルタと、
    前記多層膜フィルタを通過して光電変換された色信号に対して画像処理を行う画像処理部とを備え、
    前記画像処理部は、前記色信号に対応する複数の領域に分割した色マトリクス上で各領域毎に該色信号をそれぞれ補正するように構成されていることを特徴とする車載撮像装置。
  2. 請求項1に記載された車載撮像装置において、
    前記画像処理部は、前記複数の領域における色信号毎にそれぞれ異なる定数を乗算することで該色信号の補正を行うように構成されていることを特徴とする車載撮像装置。
  3. 請求項1に記載された車載撮像装置において、
    前記色信号に対応する領域は、少なくとも4つの領域に分割されていることを特徴とする車載撮像装置。
  4. 請求項1に記載された車載撮像装置において、
    前記画像処理部は、特定の単位画素の色信号と該単位画素の周辺画素の色信号との差分を算出し、該算出結果を予め設定された閾値と比較し、該比較結果に基づいてノイズリダクションを行うように構成されていることを特徴とする車載撮像装置。
  5. 請求項4に記載された車載撮像装置において、
    前記画像処理部は、前記閾値の設定変更によりノイズリダクションの強弱が調整されるように構成されていることを特徴とする車載撮像装置。
  6. 請求項4に記載された車載撮像装置において、
    前記色信号のレベル毎にそれぞれ異なる閾値が設定されていることを特徴とする車載撮像装置。
  7. 請求項4に記載された車載撮像装置において、
    前記画像処理部は、前記特定の単位画素の色信号に対して少なくとも8つの周辺画素の色信号の差分を算出するように構成されていることを特徴とする車載撮像装置。
JP2007538744A 2005-10-04 2006-09-29 車載撮像装置 Active JP4974897B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007538744A JP4974897B2 (ja) 2005-10-04 2006-09-29 車載撮像装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005290782 2005-10-04
JP2005290782 2005-10-04
PCT/JP2006/319436 WO2007040170A1 (ja) 2005-10-04 2006-09-29 車載撮像装置
JP2007538744A JP4974897B2 (ja) 2005-10-04 2006-09-29 車載撮像装置

Publications (2)

Publication Number Publication Date
JPWO2007040170A1 JPWO2007040170A1 (ja) 2009-04-16
JP4974897B2 true JP4974897B2 (ja) 2012-07-11

Family

ID=37906212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007538744A Active JP4974897B2 (ja) 2005-10-04 2006-09-29 車載撮像装置

Country Status (4)

Country Link
US (1) US8022985B2 (ja)
JP (1) JP4974897B2 (ja)
CN (1) CN101263720B (ja)
WO (1) WO2007040170A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007043452A1 (ja) * 2005-10-12 2007-04-19 Pioneer Corporation 車載撮影装置及び車載カメラの撮影可動範囲測定方法
JP5117003B2 (ja) * 2006-07-11 2013-01-09 本田技研工業株式会社 運転支援装置
US20080204556A1 (en) * 2007-02-23 2008-08-28 De Miranda Federico Thoth Jorg Vehicle camera security system
US8837677B2 (en) * 2007-04-11 2014-09-16 The Invention Science Fund I Llc Method and system for compton scattered X-ray depth visualization, imaging, or information provider
US7658431B2 (en) 2007-08-24 2010-02-09 Ford Global Technologies, Llc Stowable child seat for automotive vehicles
US10170509B2 (en) * 2016-02-12 2019-01-01 Viavi Solutions Inc. Optical filter array
JP6802035B2 (ja) * 2016-10-24 2020-12-16 株式会社日立製作所 画像処理装置、警告装置、画像処理システム、画像処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57100404A (en) * 1980-12-16 1982-06-22 Toshiba Corp Stripe filter
JPH0591527A (ja) * 1991-09-25 1993-04-09 Sony Corp 色信号処理回路
JP2000299875A (ja) * 1999-04-14 2000-10-24 Matsushita Electric Ind Co Ltd 映像信号処理装置およびそれを備えた撮像装置
WO2005069376A1 (ja) * 2004-01-15 2005-07-28 Matsushita Electric Industrial Co.,Ltd. 固体撮像装置、固体撮像装置の製造方法及びこれを用いたカメラ

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5523811A (en) 1992-04-17 1996-06-04 Canon Kabushiki Kaisha Camera device for moving body
US5710872A (en) * 1995-03-23 1998-01-20 Nikon Corporation Color image recording device, system, and method
DE69900872D1 (de) * 1998-04-03 2002-03-21 Da Vinci Systems Inc Primär- und Sekundärfarbverarbeitung unter Verwendung von Farbe, Sättigung, Luminanz und Flächenisolierung
CA2385173A1 (en) * 1999-09-17 2001-03-29 Nature Technology Co., Ltd. Image capturing system, image processing system, and camera
JP4042736B2 (ja) * 2004-02-19 2008-02-06 ソニー株式会社 画像処理装置及び画像処理方法
JP2005260675A (ja) 2004-03-12 2005-09-22 Olympus Corp 画像処理装置およびプログラム
US7663668B2 (en) * 2004-04-05 2010-02-16 Mitsubishi Electric Corporation Imaging device
JP2007317750A (ja) * 2006-05-23 2007-12-06 Matsushita Electric Ind Co Ltd 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57100404A (en) * 1980-12-16 1982-06-22 Toshiba Corp Stripe filter
JPH0591527A (ja) * 1991-09-25 1993-04-09 Sony Corp 色信号処理回路
JP2000299875A (ja) * 1999-04-14 2000-10-24 Matsushita Electric Ind Co Ltd 映像信号処理装置およびそれを備えた撮像装置
WO2005069376A1 (ja) * 2004-01-15 2005-07-28 Matsushita Electric Industrial Co.,Ltd. 固体撮像装置、固体撮像装置の製造方法及びこれを用いたカメラ

Also Published As

Publication number Publication date
CN101263720A (zh) 2008-09-10
US20090128626A1 (en) 2009-05-21
WO2007040170A1 (ja) 2007-04-12
JPWO2007040170A1 (ja) 2009-04-16
CN101263720B (zh) 2010-05-19
US8022985B2 (en) 2011-09-20

Similar Documents

Publication Publication Date Title
US7852388B2 (en) Imaging device
US11743604B2 (en) Imaging device and image processing system
US7952624B2 (en) Image pickup device having a color filter for dividing incident light into multiple color components and image processing system using the same
JP4974897B2 (ja) 車載撮像装置
JP7310869B2 (ja) 固体撮像装置、および電子機器
US7903157B2 (en) Imaging system and image sensor with filter selectively transmitting combination of plural narrow wavelength bands of incident light in low color rendering illumination
JPWO2006100903A1 (ja) 車載撮像装置
TWI822909B (zh) 固態攝像裝置及電子機器
KR102661039B1 (ko) 촬상 소자 및 촬상 장치
CN110959194A (zh) 固态摄像器件及电子设备
WO2019078291A1 (ja) 撮像装置
WO2019207927A1 (ja) アレイアンテナ、固体撮像装置および電子機器
CN116802812A (zh) 摄像装置
WO2020075357A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023100640A1 (ja) 半導体装置および信号処理方法、並びにプログラム
US20240186352A1 (en) Imaging device
WO2023248827A1 (en) Solid-state imaging device and electronic device
WO2022209327A1 (ja) 撮像装置
US20240145507A1 (en) Imaging device
WO2022201898A1 (ja) 撮像素子および撮像装置
TW202416721A (zh) 固態成像裝置及電子裝置
WO2011162155A1 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090928

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120410

R150 Certificate of patent or registration of utility model

Ref document number: 4974897

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250