JP5595606B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP5595606B2 JP5595606B2 JP2013554195A JP2013554195A JP5595606B2 JP 5595606 B2 JP5595606 B2 JP 5595606B2 JP 2013554195 A JP2013554195 A JP 2013554195A JP 2013554195 A JP2013554195 A JP 2013554195A JP 5595606 B2 JP5595606 B2 JP 5595606B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- value
- color
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 42
- 238000001514 detection method Methods 0.000 claims description 34
- 229920006395 saturated elastomer Polymers 0.000 claims description 12
- 239000003086 colorant Substances 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 5
- 230000035945 sensitivity Effects 0.000 description 40
- 238000000034 method Methods 0.000 description 19
- 238000003384 imaging method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000009825 accumulation Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Mechanical Engineering (AREA)
- Exposure Control For Cameras (AREA)
Description
本発明は、カラーフィルタを介して受光する画素とカラーフィルタを介さずに受光する画素を配置した撮像素子による撮像データを処理する画像処理装置に関する。
従来より、カラーフィルタを介して受光する画素(カラー受光画素)と、カラーフィルタを介さずに受光する画素(透明受光画素)とを配置した撮像素子を用いることにより、カラー画像の感度を改善する方法が提案されている(例えば、特許文献1参照)。
カラーフィルタを介して受光する画素(カラー受光画素)と、カラーフィルタを介さずに受光する画素(透明受光画素)とでは、透明受光画素の方がカラー受光画素よりも感度が高くなる。そのため、輝度が高い対象物を撮像したときに、透明受光画素の方が先に飽和してしまう(フォトダイオードの飽和電荷量を超えてしまう)。
そして、透明受光画素が一旦飽和してしまうと、カメラの露出レベルを、透明受光画素の飽和が生じない程度の適切なレベルに設定することは難しい。そこで、特許文献1では、透明受光画素の受光による電荷蓄積時間をカラー受光画素よりも短い時間に設定することによって、透明受光画素の飽和を防止する方法が提案されている。
しかし、この方法では、撮像素子の画素回路と読み出し回路が複雑になるという不都合があり、また、透明受光画素とカラー受光画素の電荷蓄積時間が異なることに起因して、撮像画像の画質が著しく悪化するという不都合があった。
本発明はかかる背景に鑑みてなされたものであり、カラーフィルタを介して受光する画素と、カラーフィルタを介さずに受光する画素とを配置した撮像素子を用いたカメラの露出レベルを、回路構成の複雑化及び撮像画像の画質悪化を抑制して、適切に設定することができる画像処理装置を提供することを目的とする。
本発明は上記目的を達成するためになされたものであり、本発明の画像処理装置は、
カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを、配置した撮像素子により、撮像するカメラと、
所定の制御サイクル毎に、所定の露出レベルによって前記カメラにより撮像するカメラ制御部と、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像に対して、所定の注目領域を少なくとも一つ設定する注目領域設定部と、
所定時点の制御サイクルにおいて第1露出レベルにより前記カメラによって撮像された原画像の前記注目領域について、前記注目領域内の透明画素のうちで階調値が飽和している透明画素の割合である透明画素飽和率を算出し、該第1露出レベルを該透明画素飽和率に応じて変更することによって、次の制御サイクルの露出レベルである第2露出レベルを決定する露出レベル決定部とを備える(第1発明)。
カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを、配置した撮像素子により、撮像するカメラと、
所定の制御サイクル毎に、所定の露出レベルによって前記カメラにより撮像するカメラ制御部と、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像に対して、所定の注目領域を少なくとも一つ設定する注目領域設定部と、
所定時点の制御サイクルにおいて第1露出レベルにより前記カメラによって撮像された原画像の前記注目領域について、前記注目領域内の透明画素のうちで階調値が飽和している透明画素の割合である透明画素飽和率を算出し、該第1露出レベルを該透明画素飽和率に応じて変更することによって、次の制御サイクルの露出レベルである第2露出レベルを決定する露出レベル決定部とを備える(第1発明)。
第1発明によれば、前記露出レベル決定部により算出される前記透明画素飽和率が高いほど、前記カメラの露出レベルの過剰の程度が大きくなる。そのため、前記第1露出レベルで撮像した原画像から算出した前記透明画素飽和率に応じて、前記第1露出レベルを変更して前記第2露出レベルを決定することにより、次の制御サイクルでの前記カメラの露出レベルを適切なものとすることができる。そして、この場合には、前記透明受光画素と前記カラー受光画素の受光による電荷蓄積時間を異なる時間に設定する必要がないため、前記撮像素子の画素回路と読み出し回路は複雑なものとはならず、また、電荷蓄積時間の相違による撮像画像の画質悪化も生じない。
次に、第1発明において、前記露出レベル決定部は、前記注目領域において、前記カラー画素のうちで階調値が飽和しているカラー画素の割合であるカラー画素飽和率を算出し、該カラー画素飽和率が所定のカラー画素飽和閾値未満であるときに、前記注目領域内の各カラー画素の階調値に基づくグレーの第1参照階調値を算出し、該第1参照階調値に基づいて前記第2露出レベルを決定することが好ましい(第2発明)。
第2発明によれば、前記カラー画素飽和率が前記カラー画素飽和閾値未満であるときには、前記カラー画素の階調値に基づく前記第1参照階調値から、前記第1露出レベルでの前記カラー受光画素の飽和までの余裕度合を認識することができる。そして、前記透明受光画素と前記カラー受光画素の感度の差は、ある程度の範囲内に収まるため、前記第1参照階調値から、前記第1露出レベルでの前記透明受光画素の過剰露出の程度を推定することができる。そこで、前記第1参照階調値に基づくことにより、前記第2露出レベルを適切に決定することができる。
また、第2発明において、前記カラーフィルタは3原色カラーフィルタであって、前記カラー受光画素は、3原色のうちのいずれかの色のフィルタを介して受光し、
前記露出レベル決定部は、前記注目領域内の各透明画素について、周囲に配置されたカラー画素の階調値に基づいて3原色の各階調値を割り当てると共に、前記注目領域内の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて3原色の各階調値を割り当て、前記原画像の各画素に割り当てた3原色の各階調値から、各画素のグレーの第2参照階調値を算出し、該各画素の該第2参照階調値を平均して前記第1参照階調値を算出することが好ましい(第3発明)。
前記露出レベル決定部は、前記注目領域内の各透明画素について、周囲に配置されたカラー画素の階調値に基づいて3原色の各階調値を割り当てると共に、前記注目領域内の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて3原色の各階調値を割り当て、前記原画像の各画素に割り当てた3原色の各階調値から、各画素のグレーの第2参照階調値を算出し、該各画素の該第2参照階調値を平均して前記第1参照階調値を算出することが好ましい(第3発明)。
第3発明によれば、カラーフィルタとして一般的な3原色カラーフィルタが設けられた撮像素子により撮像された原画像に対して、各画素に3原色の各階調値を割り当てて前記第1参照階調値を算出することができる。
また、第3発明において、前記露出レベル決定部は、前記注目領域から、前記透明画素飽和率が第1透明画素飽和閾値未満であり、且つ、前記カラー画素飽和率が第2カラー画素飽和閾値未満である不飽和領域を抽出し、該不飽和領域内の透明画素の階調値の平均値と、該不飽和領域内のカラー画素の前記第2参照階調値の平均値との輝度相違度合を算出し、前記第1参照階調値を前記輝度相違度合に基づいて補正した補正階調値を用いて、前記第2露出レベルを決定することが好ましい(第4発明)。
第4発明によれば、前記不飽和領域内の透明画素の階調値の平均値と、前記不飽和領域内のカラー画素の前記第2参照階調値の平均値との前記輝度相違度合は、前記透明受光画素と前記カラー受光画素の感度差を反映したものとなる。そこで、前記露出レベル決定部は、前記第1参照階調値を前記輝度相違度合を用いて補正することにより、飽和した前記透明画素の階調値に相当する前記補正階調値を算出することができる。そして、前記補正階調値を用いることにより、前記透明画素の飽和の程度に応じて前記第2露出レベルを決定することができる。
また、第4発明において、透明画素の最大許容階調値と前記補正階調値との相違に基づいて、該相違を減少させるように前記第2露出レベルを決定することが好ましい(第5発明)。
第5発明によれば、前記補正階調値は、飽和した前記透明画素の階調値に相当するものであるため、前記透明画素の最大許容階調値と前記補正階調値との相違度合は、前記透明画素の該最大許容階調値からの過剰度合を示すものとなる。そのため、この相違度合を減少させるように前記第2露出レベルを決定することにより、前記第2露出レベルを適切なものとすることができる。
また、第4発明又は第5発明において、前記カメラは車両に搭載されて該車両の周囲を撮像し、前記露出レベル決定部は、前記原画像に含まれる道路の画像部分から、前記不飽和領域を抽出することが好ましい(第6発明)。
第6発明によれば、道路は一般に無彩色(グレー等)であるため、前記注目領域に含まれる道路の画像部分のカラー画素に割り当てられる3原色の各階調値は、無彩色に応じた階調値となる。そのため、道路の画像部分から前記不飽和領域を抽出することにより、前記輝度相違度合を、精度良く算出することができる。なお、前記注目領域における道路の画像部分の位置は、前記原画像において道路が占める部分を予め想定して決定した固定箇所としてもよく、前記原画像から検出した範囲としてもよい。
また、第6発明において、前記原画像から道路に敷設されたレーンマークの画像部分を検出するレーンマーク検出部を備え、
前記露出レベル決定部は、前記レーンマーク検出部により検出されたレーンマークの画像部分の位置に基づいて、前記原画像に含まれる道路の画像部分を認識することが好ましい(第7発明)。
前記露出レベル決定部は、前記レーンマーク検出部により検出されたレーンマークの画像部分の位置に基づいて、前記原画像に含まれる道路の画像部分を認識することが好ましい(第7発明)。
第7発明によれば、前記注目領域設定部は、前記レーンマーク検出部により検出された前記原画像におけるレーンマークの画像部分から、前記原画像中の道路の画像部分を精度良く認識して、道路の画像部分に前記不飽和領域を設定することができる。
また、前記レーンマーク検出部は、前記レーンマークの画像部分として白線の画像部分を検出し、
前記露出レベル決定部は、前記注目領域内の道路の画像部分から、第1の前記不飽和領域を抽出すると共に、前記注目領域内の白線の画像部分から、第2の前記不飽和領域を抽出し、第1の前記不飽和領域について算出した第1の前記輝度相違度合と、第2の前記不飽和領域について算出した第2の前記輝度相違度合とを加重平均することによって、前記補正階調値の算出に用いる前記輝度相違度合を算出することを特徴とする(第8発明)。
前記露出レベル決定部は、前記注目領域内の道路の画像部分から、第1の前記不飽和領域を抽出すると共に、前記注目領域内の白線の画像部分から、第2の前記不飽和領域を抽出し、第1の前記不飽和領域について算出した第1の前記輝度相違度合と、第2の前記不飽和領域について算出した第2の前記輝度相違度合とを加重平均することによって、前記補正階調値の算出に用いる前記輝度相違度合を算出することを特徴とする(第8発明)。
第8発明によれば、無彩色の道路と白線のうち、重視する方に重み付けをして、前記輝度相違度合を算出することができる。
本発明の画像処理装置の実施形態について、図1〜図9を参照して説明する。図1を参照して、本実施形態の画像処理装置は、車両1に搭載されたカメラ2と、カメラ2と接続された画像コントローラ3とにより構成されている。
カメラ2は、フィルタ21が組み込まれた撮像素子22(CCD、CMOS等)により、車両1の周囲を撮像し、撮像データを制御回路30に出力する。撮像素子22は、m×n個の複数の受光素子を2次元に配置して構成されている。
図2(a)を参照して、フィルタ21は、R(赤)G(緑)B(青)の3原色カラーフィルタのいずれかを、撮像素子22のm×n個の各受光画素の受光経路に個別に配置して、取り付けられている。なお、カラーフィルタとして、RGBの3原色以外の他の種類のカラーフィルタ(CyMgYの補色系フィルタ等)を用いてもよい。
そして、カメラ2は、Rフィルタが装着されたR受光画素(図中R11,R15,…で示している。本発明のカラー受光画素に相当する)、Gフィルタが装着されたG受光画素(図中G12,G14,…で示している。本発明のカラー受光画素に相当する)、Bフィルタが装着されたB受光画素(図中B13,B31,…で示している。本発明のカラー受光画素に相当する)、及びフィルタ21が装着されていないW受光画素(図中W22,W24,…で示している。本発明の透明受光画素に相当する)による所定時間あたりの受光レベルに応じた階調値のデータを、撮像データとして画像コントローラ3に出力する。
画像コントローラ3は、図示しないCPU,メモリ,入出力回路等により構成された制御回路30と、画像メモリ40と、CAN(Controller Area Network)ドライバ50とを有している。
制御回路30は、メモリに保持された画像処理用プログラムをCPUで実行することにより、原画像取得部31、注目領域(ROI:Region Of Interest)設定部32、露出レベル決定部33、カメラ制御部34、画像生成部35、及び対象物検知部36として機能する。なお、原画像取得部31、注目領域設定部32、露出レベル決定部33、カメラ制御部34、画像生成部35、及び対象物検知部36の一部又は全部をハードウェアにより構成してもよい。
原画像取得部31は、カメラ2から出力される撮像データにより、原画像41のデータを取得して画像メモリ40に保持する。原画像41は、図2(b)に示したように、図2(a)に示した撮像素子22による各受光画素(R受光画素、G受光画素、B受光画素、W受光画素)の階調値を、対応する配置位置の画素(配置位置が同じ画素)の階調値として個別に割り当てたものになっている。図2(b)においては、各画素の階調値をS(大文字)+小文字r,g,b,wのいずれか+i,j(i=1,2,…,m、j=1,2,…,n)で示している。
ここで、rは図2(a)のR受光画素に対応した配置位置の画素(以下、R画素という。本発明のカラー画素に相当する)の階調値を示し、gは図2(a)のG受光画素に対応した配置位置の画素(以下、G画素という。本発明のカラー画素に相当する)の階調値を示し、bは図2(a)のB受光画素に対応した配置位置の画素(以下、B画素という。本発明のカラー画素に相当する)の階調値を示し、wは図2(a)のW受光画素に対応した配置位置の画素(以下、W画素という。本発明の透明画素に相当する)の階調値であることを示している。
画像生成部35は、原画像41からカラー画像42を生成してそのデータを画像メモリ40に保持する。また、画像生成部35は、原画像41及びカラー画像42から高感度画像43を生成してそのデータを画像メモリ40に保持し、カラー画像42及び高感度画像43から、広ダイナミックレンジ画像44を生成してそのデータを画像メモリ40に保持する。カラー画像42、高感度画像43、及び広ダイナミックレンジ画像44の生成処理の詳細については、後述する。
注目領域設定部32は、図4(a)に示したように、原画像41の道路の画像部分80を含む範囲で、図4(b)に示したように、R1〜R28の28個の注目領域を設定する。原画像41は縦(垂直方向)480画素×横(水平方向)800画素からなり、注目領域は縦横80画素からなっている。
露出レベル決定部33は、注目領域R1〜R28の階調値に基づいて、次の制御サイクルにおける露出制御値(本発明の露出レベルに相当する)を決定する。カメラ制御部34は、所定の制御サイクル毎に、露出レベル決定部33により決定された露出制御値に応じて、カメラ2の露出レベルを制御して撮像する。
なお、本実施形態では、カメラ2の露出レベルの変更を電子シャッターによる電荷蓄積時間の変更により行うが、メカニカルなシャッターを用いてもよい。また、カメラ2に装着されたレンズの絞りを変更して、露出レベルを変更してもよい。
対象物検知部36(本発明のレーンマーク検出部の機能を含む)は、カラー画像42、高感度画像43、及び広ダイナミックレンジ画像44を用いて、車両1が走行中の道路に敷設されたレーンマーク、他車両、信号機、歩行者等を検知し、検知結果に応じて車両コントローラ6に対して各種の制御信号を送信する。
車両コントローラ6は、図示しないCPU,メモリ,入出力回路等により構成された電子回路ユニットである。車両コントローラ6は、メモリに保持された車両1の制御用プログラムをCPUで実行することによって、操舵装置71の作動を制御する操舵制御部61、制動装置72の作動を制御する制動制御部62、及びディスプレイ73の表示を制御するディスプレイ表示制御部63として機能する。画像コントローラ3と車両コントローラ6は、CANドライバ50,64を介して相互に通信を行う。
『1.カラー画像の生成処理』
次に、画像生成部35によるカラー画像42の生成処理について説明する。画像生成部35は、原画像41の各画素の階調値に基づいて、図3に示したカラー画像42を生成する。図3のカラー画像では、各画素の階調値をCi,j(i=1,2…,m、j=1,2,…,n)で表している。
次に、画像生成部35によるカラー画像42の生成処理について説明する。画像生成部35は、原画像41の各画素の階調値に基づいて、図3に示したカラー画像42を生成する。図3のカラー画像では、各画素の階調値をCi,j(i=1,2…,m、j=1,2,…,n)で表している。
Ci,jは、以下のように、R値(Ci,jr、Rの階調値)、G値(Ci,jg、Gの階調値)、及びB値(Ci,jb、Bの階調値)という三つの階調値の要素を有している。
Ci,j={Ci,jr、Ci,jg、Ci,jb}
[1-1.Ci,jに対するG値の割り当て]
画像生成部35は、先ず、カラー画像42の各画素(Ci,j)に割り当てるG値(Ci,jg)を算出する。原画像41のG画素(階調値がSgi,jである画素)については、自身の階調値をカラー画像42の対応する配置位置の画素(配置位置が同じ画素)のG値とする。例えば、画像生成部35は、原画像41の(i,j)=(2,3)の画素の階調値(Sg2,3)を、カラー画像42の(i,j)=(2,3)の画素のG値(C2,3g)とする。
Ci,j={Ci,jr、Ci,jg、Ci,jb}
[1-1.Ci,jに対するG値の割り当て]
画像生成部35は、先ず、カラー画像42の各画素(Ci,j)に割り当てるG値(Ci,jg)を算出する。原画像41のG画素(階調値がSgi,jである画素)については、自身の階調値をカラー画像42の対応する配置位置の画素(配置位置が同じ画素)のG値とする。例えば、画像生成部35は、原画像41の(i,j)=(2,3)の画素の階調値(Sg2,3)を、カラー画像42の(i,j)=(2,3)の画素のG値(C2,3g)とする。
また、原画像41のR画素(階調値がSri,jである画素),B画素(階調値がSbi,jである画素),W画素(階調値がSwi,jである画素)については、図2(b)に示したように、上下左右に隣接する画素がG画素になっている。そこで、画像生成部35は、対象とするR,B,W画素の上下左右に隣接するG画素の階調値(Sgi-1,j,Sgi+1,j,Sgi,j-1,Sgi,j+1)について、以下の式(1)〜式(4)により、カラー画像42の対応する配置位置の画素に割り当てるG値(Ci,jg)を算出する。
[1-2.Ci,jに対するR値の割り当て]
次に、画像生成部35は、カラー画像42の各画素(Ci,j)に割り当てるR値(Ci,jr)を算出する。原画像41のR画素(階調値がSri,jである画素)については、自身のR値(Sri,j)をカラー画像42の対応する位置の画素のR値(Ci,jr)とする。例えば、画像生成部35は、原画像41の(i,j)=(3,3)の画素の階調値(Sr3,3)を、カラー画像42の(i,j)=(3,3)の画素のR値(Cr3,3)とする。
次に、画像生成部35は、カラー画像42の各画素(Ci,j)に割り当てるR値(Ci,jr)を算出する。原画像41のR画素(階調値がSri,jである画素)については、自身のR値(Sri,j)をカラー画像42の対応する位置の画素のR値(Ci,jr)とする。例えば、画像生成部35は、原画像41の(i,j)=(3,3)の画素の階調値(Sr3,3)を、カラー画像42の(i,j)=(3,3)の画素のR値(Cr3,3)とする。
また、原画像41のB画素(階調値がSbi,jである画素)については、図2(b)に示したように、上下左右の2個目の画素がR画素になっている。そのため、画像生成部35は、対象とするB画素について、以下の式(5)〜(8)により、カラー画像42の対応する配置位置の画素に割り当てるR値(Ci,jr)を算出する。
また、原画像41のW画素(階調値がSwi,jである画素)については、図2(b)に示したように、右斜め上と左斜め下、或いは左斜め上と右斜め下に、R画素が配置されている。そのため、画像生成部35は、以下の式(9),式(10)により、対象とする原画像41のW画素について、カラー画像42の対応する配置位置の画素に割り当てるR値(Ci,jr)を算出する。
また、原画像41のG画素については、図2(b)に示したように上下左右の何れかにR画素が配置されている。そのため、画像生成部35は、以下の式(11)〜式(14)により、対象とする原画像41のG画素について、カラー画像42の対応する配置位置の画素に割り当てるR値(Ci,jr)を算出する。
[1-3.Cijに対するB値の割り当て]
次に、画像生成部35は、カラー画像42の各画素に割り当てるB値(Ci,jb)を算出する。原画像41のB画素(階調値がSbi,jである画素)については、自身の階調値をカラー画像42の対応する位置の画素のB値とする。例えば、画像生成部35は、原画像41の(i,j)=(3,5)の画素の階調値(Sb3,5)を、カラー画像42の(i,j)=(3,5)の画素のB値(C3,5b)とする。
次に、画像生成部35は、カラー画像42の各画素に割り当てるB値(Ci,jb)を算出する。原画像41のB画素(階調値がSbi,jである画素)については、自身の階調値をカラー画像42の対応する位置の画素のB値とする。例えば、画像生成部35は、原画像41の(i,j)=(3,5)の画素の階調値(Sb3,5)を、カラー画像42の(i,j)=(3,5)の画素のB値(C3,5b)とする。
また、原画像41のR画素については、図2(b)に示したように、上下左右の2個目の画素がB画素になっている。そのため、画像生成部35は、対象とするR画素について、以下の式(15)〜(18)により、カラー画像42の対応する配置位置の画素に割り当てるB値(Ci,jb)を算出する。
また、W画素(階調値がSwi,jである画素)については、図2(b)に示したように、右斜め上と左斜め下、或いは左斜め上と右斜め下に、B画素が配置されている。そのため、画像生成部35は、以下の式(19),式(20)により、対象とするW画素について、カラー画像42の対応する配置位置の画素に割り当てるB値(Ci,jb)を算出する。
また、G画素(階調値がSgi,jである画素)については、図2(b)に示したように上下左右の何れかに隣接する一つの画素がB画素になっている。そこで、画像生成部35は、以下の式(21)〜式(24)により、対象とするG画素について、カラー画像42の対応する配置位置の画素に割り当てるB値(Ci,jb)を算出する。
以上の処理により、画像生成部35は、カラー画像42の各画素に割り当てるR値(Ci,jr),G値(Ci,jg),B値(Ci,jb)を算出して、カラー画像42を生成する。
『2.露出制御値の算出処理』
次に、露出レベル決定部33による露出制御値の算出処理について、図5に示したフローチャートに従って説明する。
次に、露出レベル決定部33による露出制御値の算出処理について、図5に示したフローチャートに従って説明する。
露出レベル決定部33は、各注目領域R1〜R28について、含まれるW画素のうちで階調値が飽和しているW画素(階調値が最大値になっているW画素)の割合(透明画素飽和率)を算出する。そして、露出レベル決定部33は、透明画素飽和率が透明画素飽和閾値Wth以上である各注目領域に対して、STEP2〜STEP4の処理を行う。
STEP2で、露出レベル決定部33は、対象とする注目領域内の各画素のR値(図3に示したカラー画像42の各画素に割り当てたR値Ci,jr)、G値(図3に示したカラー画像42の各画素に割り当てたG値Ci,jg、及びB値(図3に示したカラー画像42の各画素に割り当てたB値Ci,jb)を取得する。
次のSTEP3で、露出レベル決定部33は、注目領域内の総画素のうちでR値,G値,B値のいずれかが飽和している画素(R値,G値,B値のいずれかが最大階調値になっている画素)の割合(カラー画素飽和率)が、カラー画素飽和閾値Cth以上であるか否かを判断する。
そして、カラー画素飽和率がカラー画素飽和閾値Cth未満であるときは、以下の式(25)により、R値,G値,B値から参照階調値Y(本発明の第2参照階調値に相当する)を算出する。
一方、カラー画素飽和率がカラー画素飽和閾値Cth以上であるときには、有効な輝度情報を得ることが難しいため、STEP4に分岐して参照階調値Yの算出は行わない。
このようにして、STEP1〜STEP5のループ処理を終了するとSTEP6に進み、露出レベル決定部33は、参照階調値Yが一つ以上算出されたか否かを判断する。そして、参照階調値Yが一つ以上算出されたときはSTEP7に進み、露出レベル決定部33は、以下の式(26)により参照階調値Yの重み付け平均値Yave(本発明の第1参照階調値に相当する)を算出する。
但し、Yave:参照階調値Y1〜Ypの重み付け平均値(Yの添え字1,2…,pは算出された参照階調値の番号を示している。)、a1〜ap:Y1〜Ypに対して設定された重み付け係数(a1+a2+…+ap=1)。
ここで、重み付け係数a1〜apの値は、図4(b)に示した注目領域R1〜R28のうち、例えば道路の特徴を反映し易い中央のR14〜R17等については大きな値に設定し、道路の端部に対応するR1,R11等については小さな値に設定する。
そして、続くSTEP8で、露出レベル決定部33は、以下の式(27)により、次の制御サイクルで使用する露出制御値E(t+1)を算出する。
但し、E(t+1):次の制御サイクルで使用する露出制御値(本発明の第2露出レベルに相当する)、E(t):今回の制御サイクル(本発明の所定時点の制御サイクルに相当する)で使用した露出制御値(本発明の第1露出レベルに相当する)、β:W画素の最大許容階調値の設定係数、S:W画素の最大階調値(本実施形態では255)、α:感度差係数(YaveをW画素の階調値相当に変換するための係数)。
上記式(27)では、目標とするW画素の最大許容階調値(β・S)と、今回の制御サイクルでのW画素の階調値の推定値(参照階調値の平均値YaveをW画素の階調値相当に変換したα・Yave)との比を、今回の制御サイクルで使用した露出制御値E(t)に乗じて変更(修正)することによって、次の制御サイクルで使用する露出制御値E(t+1)を算出している。
一方、STEP6で、参照階調値Yを算出した注目領域が存在しないときには、STEP20に分岐する。そして、露出レベル決定部33は、以下の式(28)により、次の制御サイクルで使用する露出制御値E(t+1)を算出する。
但し、E(t+1):次の制御サイクルで使用する露出制御値、E(t):今回の制御サイクルで使用した露出制御値。
上記式(28)では、次の制御サイクルで使用する露出制御値E(t+1)を、今回の制御サイクルで使用した露出制御値E(t)に0.8を乗じて算出することによって、次の制御サイクルにおける露出レベルを20%減少させている。なお、この20%という設定は一例であり、カメラ2の撮像状況等に応じて他の値に設定してもよい。
『3.感度差係数αの算出処理』
次に、露出レベル決定部33による感度差係数αの算出処理について、図6に示したフローチャートに従って説明する。なお、感度差係数αは、本発明の輝度相違度合に相当する。
次に、露出レベル決定部33による感度差係数αの算出処理について、図6に示したフローチャートに従って説明する。なお、感度差係数αは、本発明の輝度相違度合に相当する。
露出レベル決定部33は、図6のSTEP30〜STEP37の処理により、原画像41の白線の画像部分(図4(a)の81)に設定した複数の車線ブロックについて感度差係数αLbを算出すると共に、STEP40〜STEP47の処理により、原画像41の道路の画像部分に設定した複数の道路ブロックについて感度差係数αRbを算出する。
[3-1.車線ブロックの感度差係数の算出]
露出レベル決定部33は、STEP30で、原画像41の白線の画像部分から複数の車線ブロックを抽出する。なお、車線ブロックのサイズは注目領域のサイズと同じであっても、異なっていてもよい。
露出レベル決定部33は、STEP30で、原画像41の白線の画像部分から複数の車線ブロックを抽出する。なお、車線ブロックのサイズは注目領域のサイズと同じであっても、異なっていてもよい。
露出レベル決定部33は、抽出した各車線ブロックについて、上述した図5のSTEP1,STEP3と同様に、透明画素飽和率とカラー画素飽和率を算出する。そして、透明画素飽和率が透明画素飽和閾値Wth未満、且つ、カラー画素飽和率がカラー画素飽和閾値Cth未満である、不飽和の車線ブロック(Lb1,Lb2,…,Lbh、本発明の不飽和領域及び第2の不飽和領域に相当する)に対して、STEP31〜STEP34のループによる処理を実行する。
露出レベル決定部33は、STEP31〜STEP34のループにより、STEP32で車線ブロック内のW画素の階調値の平均値Lbwを算出し、STEP33で車線ブロック内のR,G,B画素の参照階調値Yの平均値Lbyを算出する。
次のSTEP35で、露出レベル決定部33は、STEP32で算出した各車線ブロック内のW画素の平均値Lbwについて、以下の式(29)により平均値Lbwaveを算出する。
但し、Lbw1,Lbw2,…,Lbwh:各車線ブロック内のW画素の階調値の平均値(hはW画素の階調値の平均値を算出した車線ブロックの個数)。
また、STEP36で、露出レベル決定部33は、STEP33で算出した各車線ブロック内のR,G,B画素の参照階調値Yの平均値Lbyについて、以下の式(30)により平均値Lbyaveを算出する。
但し、Lby1,Lby2,…,Lbyh:各車線ブロック内のR,G,B画素の参照階調値Yの平均値(hはR,G,B画素の参照階調値Yの平均値を算出した車線ブロックの個数)。
次のSTEP37で、露出レベル決定部33は、以下の式(31)により、車線ブロックについての感度差係数αLb(本発明の第2の輝度相違度合に相当する)を算出する。
但し、αLb:車線ブロックについての感度差係数、Lbwave:車線ブロックのW画素の階調値の平均値、Lbyave:車線ブロックのR,G,B画素の参照階調値Yの平均値。
[3-2.道路ブロックの感度差係数の算出]
露出レベル決定部33は、STEP40で、原画像41の道路の画像部分(図4(a)の80)から複数の道路ブロックを抽出する。なお、道路ブロックのサイズは注目領域のサイズと同じであっても、異なっていてもよい。
露出レベル決定部33は、STEP40で、原画像41の道路の画像部分(図4(a)の80)から複数の道路ブロックを抽出する。なお、道路ブロックのサイズは注目領域のサイズと同じであっても、異なっていてもよい。
露出レベル決定部33は、抽出した各道路ブロックについて、上述した図5のSTEP1,STEP3と同様に、透明画素飽和率とカラー画素飽和率を算出する。そして、透明画素飽和率が透明画素飽和閾値Wth未満、且つ、カラー画素飽和率がカラー画素飽和閾値Cth未満である、不飽和の道路ブロック(Rb1,Rb2,…,Rbk、本発明の不飽和領域及び第1の不飽和領域に相当する)に対して、STEP41〜STEP44のループによる処理を実行する。
露出レベル決定部33は、STEP41〜STEP44のループにより、STEP42で道路ブロック内のW画素の階調値の平均値Rbwを算出し、STEP43で道路ブロック内のR,G,B画素の参照階調値Yの平均値Rbyを算出する。
次のSTEP45で、露出レベル決定部33は、STEP42で算出した各道路ブロック内のW画素の平均値Rbwについて、以下の式(32)により平均値Rbwaveを算出する。
但し、Rbw1,Rbw2,…,Rbwk:各道路ブロック内のW画素の階調値の平均値(kはW画素の階調値の平均値を算出した道路ブロックの個数)。
また、STEP46で、露出レベル決定部33は、STEP43で算出した各道路ブロック内のR,G,B画素の参照階調値Yの平均値Rbyについて、以下の式(33)により平均値Rbyaveを算出する。
但し、Rby1,Rby2,…,Rbyk:各道路ブロック内のR,G,B画素の参照階調値Yの平均値(kはR,G,B画素の参照階調値Yの平均値を算出した道路ブロックの個数)。
次のSTEP47で、露出レベル決定部33は、以下の式(34)により、道路ブロックについての感度差係数αRb(本発明の第1の輝度相違度合に相当する)を算出する。
但し、αRb:道路ブロックについての感度差係数、Rbwave:道路ブロックのW画素の階調値の平均値、Rbyave:道路ブロックのR,G,B画素の参照階調値Yの平均値。
[3-3.感度差係数の算出]
続くSTEP38で、露出レベル決定部33は、以下の式(35)により、STEP37で算出した車線ブロックについての感度差係数αLbと、STEP47で算出した道路ブロックについての感度差係数αRbとの加重平均することによって、上記式(27)で使用する感度差係数αを算出する。
続くSTEP38で、露出レベル決定部33は、以下の式(35)により、STEP37で算出した車線ブロックについての感度差係数αLbと、STEP47で算出した道路ブロックについての感度差係数αRbとの加重平均することによって、上記式(27)で使用する感度差係数αを算出する。
但し、α:感度差係数、αLb:車線ブロックについての感度差係数、αRb:道路ブロックについての感度差係数、b1,b2:重み付け係数(b1+b2=1)。
ここで、図7は、上記式(27)により、次の制御サイクルで使用する露出制御値E(t+1)を算出することの意味を説明したものである。図7の左側は、露出制御値にE(t)を使用した今回の制御サイクルの状況を示し、右側は上記式(27)により算出した露出制御値E(t+1)を使用する次回の制御サイクルの状況を示している。
今回の制御サイクルでは、W画素の階調値が飽和していて、W画素の本来の階調値を得ることができないため、飽和していないR、G,B画素の階調値から算出した参照階調値Yave1に、感度差係数αを乗じてW画素の階調値の想定値W1を補正階調値として算出する。そして、次回の制御サイクルでの輝度の最大許容値W2を、S(255)×βにより算出する。
この場合、次回の制御サイクルで使用する露出制御値E(t+1)は、今回の制御サイクルでのW画素の階調値の想定値W1を、W2まで減少させるものであれば良い。そこで、上記式(26)により、W2/W1(=β・S/α・Yave)を今回の制御サイクルで使用した露出制御値E(t)に乗じて、次回の制御サイクルで使用する露出制御値E(t+1)を算出することによって、次回の制御サイクルにおけるカメラ2の露出レベルを、W1がW2まで減少させるレベルに適切に減少させることができる。
次に、画像生成部35による高感度画像43及び広ダイナミックレンジ画像44の生成処理について説明する。
『4.高感度画像の生成処理』
画像生成部35は、原画像41のW画素の階調値(Swi,j)とカラー画像42の各画素のR,G,B値とにより、高感度画像43の各画素に割り当てる階調値(Hi,j)を算出する。
画像生成部35は、原画像41のW画素の階調値(Swi,j)とカラー画像42の各画素のR,G,B値とにより、高感度画像43の各画素に割り当てる階調値(Hi,j)を算出する。
画像生成部35は、先ず、以下の式(36)により、カラー画像42の各画素についてグレーの参照階調値Yi,jを算出する。
但し、Yi,j:参照階調値、Ci,jr:カラー画像42の各画素Ci,jのR値、Ci,jg:カラー画像42の各画素Ci,jのG値、Ci,jb:カラー画像42の各画素Ci,jのB値、0.3,0.59,0.11:重み付け係数,実験等により決定したものであり、他の値を用いてもよい。
そして、画像生成部35は、以下の式(37)により、原画像41の各W画素の階調値Swi,jと、各W画素に対応する配置位置のカラー画像42の画素の参照階調値Yijとの比ai,jを、感度差補正係数として算出する。
[4-1.W画素に対応する階調値Hi,jの割り当て]
画像生成部35は、原画像41のW画素の階調値(Swi,j)を、高感度画像43の対応する配置位置の画素の階調値(Hi,j)に割り当てる。
画像生成部35は、原画像41のW画素の階調値(Swi,j)を、高感度画像43の対応する配置位置の画素の階調値(Hi,j)に割り当てる。
[4-2.G画素に対応する階調値Hi,jの割り当て]
図2(b)に示した原画像41において、G画素の左右又は上下にW画素が配置されている。そのため、画像生成部35は、以下の式(38)、式(39)により、原画像41のG画素に対応する配置位置の高感度画像43の画素に割り当てる階調値(Hi,j)を算出する。
図2(b)に示した原画像41において、G画素の左右又は上下にW画素が配置されている。そのため、画像生成部35は、以下の式(38)、式(39)により、原画像41のG画素に対応する配置位置の高感度画像43の画素に割り当てる階調値(Hi,j)を算出する。
[4-3.R,B画素に対応する階調値Hi,jの割り当て]
図2(b)に示した原画像41において、R画素及びB画素の斜め上下にW画素が配置されている。そのため、画像生成部35は、以下の式(40)により、原画像41のR,B画素に対応する位置の高感度画像43の画素に割り当てる階調値(Hi,j)を算出する。
図2(b)に示した原画像41において、R画素及びB画素の斜め上下にW画素が配置されている。そのため、画像生成部35は、以下の式(40)により、原画像41のR,B画素に対応する位置の高感度画像43の画素に割り当てる階調値(Hi,j)を算出する。
以上の処理により、画像生成部35は、図8(a)に示したように、原画像41の各画素に対応した画素に、階調値(Hi,j)を割り当てた高感度画像43を生成することができる。
『5.広ダイナミックレンジ画像の生成処理』
画像生成部35は、カラー画像42と高感度画像43の対応する配置位置の画素(配置位置が同じ画素)間で、以下の式(41)の重み付け関数を用いた加算を行って、広ダイナミックレンジ画像44の各画素に割り当てる階調値(Di,j)を算出する。
画像生成部35は、カラー画像42と高感度画像43の対応する配置位置の画素(配置位置が同じ画素)間で、以下の式(41)の重み付け関数を用いた加算を行って、広ダイナミックレンジ画像44の各画素に割り当てる階調値(Di,j)を算出する。
但し、w(x):シグモイド関数、g:ゲイン。なお、上記式(41)は重み付け関数の一例であり、他の重み付け関数を用いてもよい。
画像生成部35は、高感度画像43の階調値(Hi,j)を最大階調値(分解能が8bitであれば255、10bitであれば1023)に対して規格化した規格化階調値(hi,j)と、カラー画像42から上記式(35)により算出した参照階調値(Yi,j)を最大階調値に対して規格化した規格化階調値(yi,j)から、以下の式(42)により、規格化合成階調値(hdri,j)を算出する。
但し、hi,j,yi,j:規格化階調値、a':W画素に対応する画素を対象とするときは、上記式(37)により算出した当該画素の感度差補正係数ai,j、R,G,Bに対応する画素を対象とするときは、周囲に配置されたW画素に対応する画素の感度差補正係数ai,j。
さらに、低階調のコントラストを保つために、以下の式(43)により規格化合成階調値(hdri,j)にγ変換処理を行う。
但し、Di,j:広ダイナミックレンジ画像の階調値、Mb:最大階調値。
以上の処理により、画像生成部35は、図8(b)に示したように、原画像41の各画素に対応した画素に、階調値(Di,j)を割り当てた広ダイナミックレンジ画像44を生成することができる。
『6.対象物検知処理』
次に、対象物検知部36による処理について説明する。対象物検知部36は、検知対象物の種別又はカメラ2の撮像条件に応じて、カラー画像42から対象物を検知する処理と、高感度画像43から対象物を検知する処理と、広ダイナミックレンジ画像44から対象物を検知する処理とを切替える。
次に、対象物検知部36による処理について説明する。対象物検知部36は、検知対象物の種別又はカメラ2の撮像条件に応じて、カラー画像42から対象物を検知する処理と、高感度画像43から対象物を検知する処理と、広ダイナミックレンジ画像44から対象物を検知する処理とを切替える。
[6-1.高感度画像による対象物検知]
対象物検知部36は、高感度画像43から歩行者を検知する。歩行者は低輝度である場合が多いため、高感度画像43を用いることによって、車両1の周辺に存在する歩行者を精度良く検知することができる。
対象物検知部36は、高感度画像43から歩行者を検知する。歩行者は低輝度である場合が多いため、高感度画像43を用いることによって、車両1の周辺に存在する歩行者を精度良く検知することができる。
対象物検知部36は、歩行者を検知したときに、車両1との接触可能性の有無を判断する。そして、車両1との接触可能性有りと判断したときには、車両コントローラ6に対して接触回避措置の実施を指示する制御信号を送信する。
この制御信号の受信に応じて、車両コントローラ6のディスプレイ表示制御部63は、ディスプレイ73に警報表示を行う。また、制動制御部62は、必要に応じて、制動装置72を作動させて接触を回避する処理を行う。
[6-2.広ダイナミックレンジ画像による対象物検知]
対象物検知部36は、夜間であるか否かを判断する。なお、夜間であるか否かは、例えば、車両1に備えられたヘッドライト(図示しない)の点灯/消灯の状態から判断する。また、車両1に照度センサを備え、照度センサによる検出照度から夜間であるか否かを判断してもよい。
対象物検知部36は、夜間であるか否かを判断する。なお、夜間であるか否かは、例えば、車両1に備えられたヘッドライト(図示しない)の点灯/消灯の状態から判断する。また、車両1に照度センサを備え、照度センサによる検出照度から夜間であるか否かを判断してもよい。
そして、夜間であったときに、対象物検知部36は、広ダイナミックレンジ画像44から、他車両、歩行者を検知する。ここで、夜間においては、暗い物体から明るい物体まで、広い範囲の輝度の物体を検知する必要がある。
ここで、暗い物体としては、車両1のヘッドライトの照射領域外の遠方の他車両や、割込み車両、飛出し車両、或いは、車両1のヘッドライトの照射領域外の歩道上の歩行者や、横断中の歩行者等が挙げられる。また、明るい物体としては、前走車のテールランプやストップランプ、対向車のヘッドライト、車両1のヘッドライトに照射されている歩行者等が挙げられる。
そこで、夜間においては、広ダイナミックレンジ画像44を用いることによって、他車両、歩行者を検知することができる。
対象物検知部36は、接触可能性がある歩行者又は他車両を検知したときには、上述したように、車両コントローラ6に対して、接触回避措置の実施を指示する制御信号を送信する。
[6-3.カラー画像による対象物検知]
対象物検知部36は、夜間でなかったときには、カラー画像42から道路に敷設されたレーンマーク、他車両、及び信号機を検知する。ここで、昼間の天空照度が十分に高いときには、レーンマーク、他車両、及び信号機を検知するために、高い感度は必要なく、色情報を高コントラストで取得する必要がある。
対象物検知部36は、夜間でなかったときには、カラー画像42から道路に敷設されたレーンマーク、他車両、及び信号機を検知する。ここで、昼間の天空照度が十分に高いときには、レーンマーク、他車両、及び信号機を検知するために、高い感度は必要なく、色情報を高コントラストで取得する必要がある。
そこで、対象物検知部36は、カラー画像42からレーンマーク、他車両、及び信号機を検知する。その際、対象物検知部36は、レーンマークの色(白線、黄線等)からレーンマークの属性を判断する。また、対象物検知部36は、前走車のテールランプの赤色を検知して追突可能性の有無を判断する。
そして、対象物検知部36は、レーンマークの検知位置に基づいて道路の画像部分を認識し、車両1を車線内に維持して走行させるレーンキープ制御のための制御信号を車両コントローラ6に送信し、この制御信号の受信に応じて、操舵制御部61が操舵装置71の作動を制御する。
また、対象物検知部36は、接触可能性がある他車両を検知したときに、上述したように、車両コントローラ6に対して、接触回避措置の実施を指示する信号を送信する。さらに、対象物検知部36は、前方信号機の赤点灯を検知したときに、運転者による制動操作がなされていないときには、警報信号を車両コントローラ6に送信し、この警報信号の受信に応じて、ディスプレイ表示制御部63はディスプレイに警報表示を行う。また、必要に応じて、制動制御部62は、制動装置72を作動させて車両1を制動する。
なお、本実施形態では、図2(a)に示したR,G,B,Wの配置パターンのフィルタ21が装着された撮像素子22を用いたカメラ2を示したが、図9(a)に示したような他のR,G,B,Wの配置パターンのフィルタ21−1を用いてもよい。図9(a)のフィルタ21−1を用いた場合の撮像画像(原画像)は、図9(b)の41−1となる。
また、本実施形態では、本発明の画像処理装置を車両1に搭載した例を示したが、特にこの実施形態に限定されず、監視装置等の種々の用途に本発明を適用することができる。
また、本実施形態では、図6の処理により、車線ブロック及び道路ブロックのW画素の階調値と参照階調値Yに基づいて感度補正係数(α)を算出したが、感度補正係数(α)を予め設定した固定値としてもよい。また、車線ブロック又は道路ブロックのいずれか一方のW画素の階調値と参照階調値Yに基づいて感度補正係数(α)を算出してもよい。
また、本実施形態では、図5のSTEP1〜STEP5の処理により、透明画素飽和率が透明画素飽和閾値Wth以上である注目領域について、カラー画素飽和率がカラー画素飽和閾値Cth未満である注目領域の参照階調値Y及びその平均値Yaveを算出して、上記式(26)により次の制御サイクルで使用する露出制御値E(t+1)を決定したが、透明画素飽和率のみに基づいてE(t)を変更してE(t+1)を求めてもよい。
また、上記式(27)以外の式により、或いはマップ等により、透明画素飽和率、参照階調値Yの平均値Yaveに基づいて、今回の制御サイクルで使用した露出制御値E(t)を変更して、次の制御サイクルで使用する露出制御値E(t+1)を決定してもよい。
また、本実施の形態では、複数の注目領域を設定して、各注目領域のW画素の階調値及びR,G,B画素の参照階調値Yの平均値を用いて、次の制御サイクルで使用する露出制御値E(t+1)を算出したが、1つの注目領域を設定して露出制御値E(t+1)を算出してもよい。
以上のように、本発明の画像処理装置によれば、カラーフィルタを介して受光する画素と、カラーフィルタを介さずに受光する画素とを配置した撮像素子を用いたカメラの露出レベルを、回路構成の複雑化及び撮像画像の画質悪化を抑制して、適切に設定することができるため、カラー画像の感度を改善するために有用である。
1…車両、2…カメラ、3…画像コントローラ、6…車両コントローラ、21…フィルタ、22…撮像素子、30…制御回路、31…原画像取得部、32…注目領域設定部、33…露出レベル決定部、34…カメラ制御部、35…画像生成部、36…対象物検知部、41…原画像、42…カラー画像、43…高感度画像、44…広ダイナミックレンジ画像。
Claims (8)
- カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを、配置した撮像素子により、撮像するカメラと、
所定の制御サイクル毎に、所定の露出レベルによって前記カメラにより撮像するカメラ制御部と、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像に対して、所定の注目領域を少なくとも一つ設定する注目領域設定部と、
所定時点の制御サイクルにおいて第1露出レベルにより前記カメラによって撮像された原画像の前記注目領域について、前記注目領域内の透明画素のうちで階調値が飽和している透明画素の割合である透明画素飽和率を算出し、該第1露出レベルを該透明画素飽和率に応じて変更することによって、次の制御サイクルの露出レベルである第2露出レベルを決定する露出レベル決定部と
を備えた画像処理装置。 - 請求項1に記載の画像処理装置において、
前記露出レベル決定部は、前記注目領域において、前記カラー画素のうちで階調値が飽和しているカラー画素の割合であるカラー画素飽和率を算出し、該カラー画素飽和率が所定のカラー画素飽和閾値未満であるときに、前記注目領域内の各カラー画素の階調値に基づくグレーの第1参照階調値を算出し、該第1参照階調値に基づいて前記第2露出レベルを決定する画像処理装置。 - 請求項2に記載の画像処理装置において、
前記カラーフィルタは3原色カラーフィルタであって、前記カラー受光画素は、3原色のうちのいずれかの色のフィルタを介して受光し、
前記露出レベル決定部は、
前記注目領域内の各透明画素について、周囲に配置されたカラー画素の階調値に基づいて3原色の各階調値を割り当てると共に、前記注目領域内の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて3原色の各階調値を割り当て、
前記原画像の各画素に割り当てた3原色の各階調値から、各画素のグレーの第2参照階調値を算出し、該各画素の該第2参照階調値を平均して前記第1参照階調値を算出する画像処理装置。 - 請求項3に記載の画像処理装置において、
前記露出レベル決定部は、
前記注目領域から、前記透明画素飽和率が第1透明画素飽和閾値未満であり、且つ、前記カラー画素飽和率が第2カラー画素飽和閾値未満である不飽和領域を抽出し、該不飽和領域内の透明画素の階調値の平均値と、該不飽和領域内のカラー画素の前記第2参照階調値の平均値との輝度相違度合を算出し、
前記第1参照階調値を前記輝度相違度合に基づいて補正した補正階調値を用いて、前記第2露出レベルを決定する画像処理装置。 - 請求項4に記載の画像処理装置において、
前記露出レベル決定部は、
透明画素の最大許容階調値と前記補正階調値との相違に基づいて、該相違を減少させるように前記第2露出レベルを決定する画像処理装置。 - 請求項4に記載の画像処理装置において、
前記カメラは車両に搭載されて該車両の周囲を撮像し、
前記露出レベル決定部は、前記原画像に含まれる道路の画像部分から、前記不飽和領域を抽出する画像処理装置。 - 請求項6に記載の画像処理装置において、
前記原画像から道路に敷設されたレーンマークの画像部分を検出するレーンマーク検出部を備え、
前記露出レベル決定部は、前記レーンマーク検出部により検出されたレーンマークの画像部分の位置に基づいて、前記原画像に含まれる道路の画像部分を認識する画像処理装置。 - 請求項7に記載の画像処理装置において
前記レーンマーク検出部は、前記レーンマークの画像部分として白線の画像部分を検出し、
前記露出レベル決定部は、
前記注目領域内の道路の画像部分から、第1の前記不飽和領域を抽出すると共に、前記注目領域内の白線の画像部分から、第2の前記不飽和領域を抽出し、
第1の前記不飽和領域について算出した第1の前記輝度相違度合と、第2の前記不飽和領域について算出した第2の前記輝度相違度合とを加重平均することによって、前記補正階調値の算出に用いる前記輝度相違度合を算出する画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013554195A JP5595606B2 (ja) | 2012-01-17 | 2012-11-29 | 画像処理装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012006947 | 2012-01-17 | ||
JP2012006947 | 2012-01-17 | ||
PCT/JP2012/080894 WO2013108493A1 (ja) | 2012-01-17 | 2012-11-29 | 画像処理装置 |
JP2013554195A JP5595606B2 (ja) | 2012-01-17 | 2012-11-29 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5595606B2 true JP5595606B2 (ja) | 2014-09-24 |
JPWO2013108493A1 JPWO2013108493A1 (ja) | 2015-05-11 |
Family
ID=48798930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013554195A Expired - Fee Related JP5595606B2 (ja) | 2012-01-17 | 2012-11-29 | 画像処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9171215B2 (ja) |
EP (1) | EP2760207A4 (ja) |
JP (1) | JP5595606B2 (ja) |
CN (1) | CN104041022B (ja) |
WO (1) | WO2013108493A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5703279B2 (ja) * | 2012-11-30 | 2015-04-15 | 本田技研工業株式会社 | 車両周辺監視装置 |
CN105812674B (zh) * | 2014-12-29 | 2019-05-21 | 浙江大华技术股份有限公司 | 一种信号灯的颜色修正方法、监控方法及装置 |
CN108431630A (zh) | 2015-12-21 | 2018-08-21 | 株式会社小糸制作所 | 车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆和车辆用图像获取方法 |
JP6766071B2 (ja) | 2015-12-21 | 2020-10-07 | 株式会社小糸製作所 | 車両用画像取得装置およびそれを備えた車両 |
WO2017110418A1 (ja) | 2015-12-21 | 2017-06-29 | 株式会社小糸製作所 | 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 |
WO2017110413A1 (ja) * | 2015-12-21 | 2017-06-29 | 株式会社小糸製作所 | 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 |
WO2017141544A1 (ja) * | 2016-02-16 | 2017-08-24 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
EP3226203A1 (en) | 2016-03-30 | 2017-10-04 | Thomson Licensing | Method for detection of saturated pixels in an image |
CN106791476A (zh) * | 2017-01-25 | 2017-05-31 | 北京图森未来科技有限公司 | 一种图像采集方法和装置 |
US10630901B2 (en) | 2017-05-23 | 2020-04-21 | Google Llc | Systems and methods for selectively activating high dynamic range in a video capture system |
US11451713B2 (en) | 2020-05-15 | 2022-09-20 | Rockwell Collins, Inc. | Autogaining of color pattern filtered sensors to ensure color fidelity |
US11869226B2 (en) * | 2020-10-25 | 2024-01-09 | Pixart Imaging Inc. | Computer readable recording medium which can perform image pattern determining method |
US11238775B1 (en) * | 2020-12-18 | 2022-02-01 | Novatek Microelectronics Corp. | Image adjustment device and image adjustment method suitable for light-emitting diode display |
CN112714357B (zh) * | 2020-12-21 | 2023-10-13 | 北京百度网讯科技有限公司 | 视频播放方法、视频播放装置、电子设备和存储介质 |
CN114025102A (zh) * | 2021-09-29 | 2022-02-08 | 浙江亚太机电股份有限公司 | 一种提高adas系统识别准确度和环境适应性的方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100284305B1 (ko) | 1998-10-28 | 2001-03-02 | 김영환 | 이미지 센서에서 녹색 화소의 평균값을 이용하여 화면의 밝기를조절하기 위한 장치 및 방법 |
US7880785B2 (en) | 2004-07-21 | 2011-02-01 | Aptina Imaging Corporation | Rod and cone response sensor |
JP4607006B2 (ja) * | 2005-12-27 | 2011-01-05 | 京セラ株式会社 | 映像信号処理方法および映像信号処理装置 |
JP4967424B2 (ja) * | 2006-04-05 | 2012-07-04 | 凸版印刷株式会社 | 撮像素子 |
JP4187004B2 (ja) * | 2006-04-17 | 2008-11-26 | ソニー株式会社 | 撮像装置および撮像装置の露光制御方法 |
JP4218723B2 (ja) * | 2006-10-19 | 2009-02-04 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP4325703B2 (ja) * | 2007-05-24 | 2009-09-02 | ソニー株式会社 | 固体撮像装置、固体撮像装置の信号処理装置および信号処理方法、ならびに撮像装置 |
JP5139350B2 (ja) * | 2009-02-24 | 2013-02-06 | 株式会社東芝 | 画像処理装置、画像処理方法、撮像装置 |
JP5526673B2 (ja) | 2009-09-16 | 2014-06-18 | ソニー株式会社 | 固体撮像装置及び電子機器 |
US8179458B2 (en) | 2009-10-13 | 2012-05-15 | Omnivision Technologies, Inc. | System and method for improved image processing |
JP5484015B2 (ja) * | 2009-11-26 | 2014-05-07 | キヤノン株式会社 | 撮像装置、撮像方法、及びプログラム |
US8456327B2 (en) * | 2010-02-26 | 2013-06-04 | Gentex Corporation | Automatic vehicle equipment monitoring, warning, and control system |
JP2012084814A (ja) | 2010-10-14 | 2012-04-26 | Panasonic Corp | 固体撮像装置、半導体装置及びカメラ |
-
2012
- 2012-11-29 US US14/371,530 patent/US9171215B2/en not_active Expired - Fee Related
- 2012-11-29 WO PCT/JP2012/080894 patent/WO2013108493A1/ja active Application Filing
- 2012-11-29 JP JP2013554195A patent/JP5595606B2/ja not_active Expired - Fee Related
- 2012-11-29 EP EP12866134.5A patent/EP2760207A4/en not_active Withdrawn
- 2012-11-29 CN CN201280066742.3A patent/CN104041022B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US20140375815A1 (en) | 2014-12-25 |
CN104041022B (zh) | 2016-06-29 |
US9171215B2 (en) | 2015-10-27 |
EP2760207A1 (en) | 2014-07-30 |
CN104041022A (zh) | 2014-09-10 |
JPWO2013108493A1 (ja) | 2015-05-11 |
WO2013108493A1 (ja) | 2013-07-25 |
EP2760207A4 (en) | 2015-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5595606B2 (ja) | 画像処理装置 | |
JP5732145B2 (ja) | 画像処理装置 | |
CN102835115B (zh) | 用于车辆摄像机的图像传感器的颜色掩模 | |
US9639764B2 (en) | Image recognition system for vehicle for traffic sign board recognition | |
US9758086B2 (en) | Vehicle lamp control device | |
JP5115792B2 (ja) | 画像処理装置および方法、並びに、プログラム | |
KR101913876B1 (ko) | 이미지처리방법과 장치 | |
JP4191759B2 (ja) | 車両用オートライトシステム | |
CN106295494B (zh) | 车外环境识别装置 | |
JP2015066956A (ja) | 車両制御システム、画像センサ | |
JP5260696B2 (ja) | エッジ点抽出装置、車線検出装置、およびプログラム | |
JP5697646B2 (ja) | 車両周辺監視装置 | |
JP5703279B2 (ja) | 車両周辺監視装置 | |
JP2012222533A (ja) | 画像処理装置 | |
JP5746116B2 (ja) | 車両用監視装置 | |
JP5904825B2 (ja) | 画像処理装置 | |
JP2013187572A (ja) | 画像処理装置 | |
JP2013187573A (ja) | 車両周辺監視装置 | |
CN113574851B (zh) | 摄像装置以及图像处理方法 | |
JP2014529951A (ja) | 補正カラーフィルタのフィルタ特性を適合させるための、および撮像素子を運転するための方法および装置 | |
US8797401B2 (en) | Control device for a camera arrangement, camera arrangement for a vehicle and method for controlling a camera in a vehicle | |
JP2011251600A (ja) | ブレーキ操作検知装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140715 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140805 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5595606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |