JPWO2013108493A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JPWO2013108493A1
JPWO2013108493A1 JP2013554195A JP2013554195A JPWO2013108493A1 JP WO2013108493 A1 JPWO2013108493 A1 JP WO2013108493A1 JP 2013554195 A JP2013554195 A JP 2013554195A JP 2013554195 A JP2013554195 A JP 2013554195A JP WO2013108493 A1 JPWO2013108493 A1 JP WO2013108493A1
Authority
JP
Japan
Prior art keywords
pixel
image
value
color
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013554195A
Other languages
English (en)
Other versions
JP5595606B2 (ja
Inventor
忠彦 加納
忠彦 加納
允彦 安達
允彦 安達
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2013554195A priority Critical patent/JP5595606B2/ja
Application granted granted Critical
Publication of JP5595606B2 publication Critical patent/JP5595606B2/ja
Publication of JPWO2013108493A1 publication Critical patent/JPWO2013108493A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Mechanical Engineering (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

露出レベル決定部３３は、所定時点の制御サイクルにおいて第１露出レベルによりカメラ２によって撮像された原画像の注目領域について、注目領域内の透明画素のうちで階調値が飽和している透明画素の割合である透明画素飽和率を算出し、第１露出レベルを透明画素飽和率に応じて変更することによって、次の制御サイクルの露出レベルである第２露出レベルを決定する。

Description

本発明は、カラーフィルタを介して受光する画素とカラーフィルタを介さずに受光する画素を配置した撮像素子による撮像データを処理する画像処理装置に関する。
従来より、カラーフィルタを介して受光する画素（カラー受光画素）と、カラーフィルタを介さずに受光する画素（透明受光画素）とを配置した撮像素子を用いることにより、カラー画像の感度を改善する方法が提案されている（例えば、特許文献１参照）。
特表２００８−５０７９０８号公報
カラーフィルタを介して受光する画素（カラー受光画素）と、カラーフィルタを介さずに受光する画素（透明受光画素）とでは、透明受光画素の方がカラー受光画素よりも感度が高くなる。そのため、輝度が高い対象物を撮像したときに、透明受光画素の方が先に飽和してしまう（フォトダイオードの飽和電荷量を超えてしまう）。
そして、透明受光画素が一旦飽和してしまうと、カメラの露出レベルを、透明受光画素の飽和が生じない程度の適切なレベルに設定することは難しい。そこで、特許文献１では、透明受光画素の受光による電荷蓄積時間をカラー受光画素よりも短い時間に設定することによって、透明受光画素の飽和を防止する方法が提案されている。
しかし、この方法では、撮像素子の画素回路と読み出し回路が複雑になるという不都合があり、また、透明受光画素とカラー受光画素の電荷蓄積時間が異なることに起因して、撮像画像の画質が著しく悪化するという不都合があった。
本発明はかかる背景に鑑みてなされたものであり、カラーフィルタを介して受光する画素と、カラーフィルタを介さずに受光する画素とを配置した撮像素子を用いたカメラの露出レベルを、回路構成の複雑化及び撮像画像の画質悪化を抑制して、適切に設定することができる画像処理装置を提供することを目的とする。
本発明は上記目的を達成するためになされたものであり、本発明の画像処理装置は、
カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを、配置した撮像素子により、撮像するカメラと、
所定の制御サイクル毎に、所定の露出レベルによって前記カメラにより撮像するカメラ制御部と、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像に対して、所定の注目領域を少なくとも一つ設定する注目領域設定部と、
所定時点の制御サイクルにおいて第１露出レベルにより前記カメラによって撮像された原画像の前記注目領域について、前記注目領域内の透明画素のうちで階調値が飽和している透明画素の割合である透明画素飽和率を算出し、該第１露出レベルを該透明画素飽和率に応じて変更することによって、次の制御サイクルの露出レベルである第２露出レベルを決定する露出レベル決定部とを備える（第１発明）。
第１発明によれば、前記露出レベル決定部により算出される前記透明画素飽和率が高いほど、前記カメラの露出レベルの過剰の程度が大きくなる。そのため、前記第１露出レベルで撮像した原画像から算出した前記透明画素飽和率に応じて、前記第１露出レベルを変更して前記第２露出レベルを決定することにより、次の制御サイクルでの前記カメラの露出レベルを適切なものとすることができる。そして、この場合には、前記透明受光画素と前記カラー受光画素の受光による電荷蓄積時間を異なる時間に設定する必要がないため、前記撮像素子の画素回路と読み出し回路は複雑なものとはならず、また、電荷蓄積時間の相違による撮像画像の画質悪化も生じない。
次に、第１発明において、前記露出レベル決定部は、前記注目領域において、前記カラー画素のうちで階調値が飽和しているカラー画素の割合であるカラー画素飽和率を算出し、該カラー画素飽和率が所定のカラー画素飽和閾値未満であるときに、前記注目領域内の各カラー画素の階調値に基づくグレーの第１参照階調値を算出し、該第１参照階調値に基づいて前記第２露出レベルを決定することが好ましい（第２発明）。
第２発明によれば、前記カラー画素飽和率が前記カラー画素飽和閾値未満であるときには、前記カラー画素の階調値に基づく前記第１参照階調値から、前記第１露出レベルでの前記カラー受光画素の飽和までの余裕度合を認識することができる。そして、前記透明受光画素と前記カラー受光画素の感度の差は、ある程度の範囲内に収まるため、前記第１参照階調値から、前記第１露出レベルでの前記透明受光画素の過剰露出の程度を推定することができる。そこで、前記第１参照階調値に基づくことにより、前記第２露出レベルを適切に決定することができる。
また、第２発明において、前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記露出レベル決定部は、前記注目領域内の各透明画素について、周囲に配置されたカラー画素の階調値に基づいて３原色の各階調値を割り当てると共に、前記注目領域内の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて３原色の各階調値を割り当て、前記原画像の各画素に割り当てた３原色の各階調値から、各画素のグレーの第２参照階調値を算出し、該各画素の該第２参照階調値を平均して前記第１参照階調値を算出することが好ましい（第３発明）。
第３発明によれば、カラーフィルタとして一般的な３原色カラーフィルタが設けられた撮像素子により撮像された原画像に対して、各画素に３原色の各階調値を割り当てて前記第１参照階調値を算出することができる。
また、第３発明において、前記露出レベル決定部は、前記注目領域から、前記透明画素飽和率が第１透明画素飽和閾値未満であり、且つ、前記カラー画素飽和率が第２カラー画素飽和閾値未満である不飽和領域を抽出し、該不飽和領域内の透明画素の階調値の平均値と、該不飽和領域内のカラー画素の前記第２参照階調値の平均値との輝度相違度合を算出し、前記第１参照階調値を前記輝度相違度合に基づいて補正した補正階調値を用いて、前記第２露出レベルを決定することが好ましい（第４発明）。
第４発明によれば、前記不飽和領域内の透明画素の階調値の平均値と、前記不飽和領域内のカラー画素の前記第２参照階調値の平均値との前記輝度相違度合は、前記透明受光画素と前記カラー受光画素の感度差を反映したものとなる。そこで、前記露出レベル決定部は、前記第１参照階調値を前記輝度相違度合を用いて補正することにより、飽和した前記透明画素の階調値に相当する前記補正階調値を算出することができる。そして、前記補正階調値を用いることにより、前記透明画素の飽和の程度に応じて前記第２露出レベルを決定することができる。
また、第４発明において、透明画素の最大許容階調値と前記補正階調値との相違に基づいて、該相違を減少させるように前記第２露出レベルを決定することが好ましい（第５発明）。
第５発明によれば、前記補正階調値は、飽和した前記透明画素の階調値に相当するものであるため、前記透明画素の最大許容階調値と前記補正階調値との相違度合は、前記透明画素の該最大許容階調値からの過剰度合を示すものとなる。そのため、この相違度合を減少させるように前記第２露出レベルを決定することにより、前記第２露出レベルを適切なものとすることができる。
また、第４発明又は第５発明において、前記カメラは車両に搭載されて該車両の周囲を撮像し、前記露出レベル決定部は、前記原画像に含まれる道路の画像部分から、前記不飽和領域を抽出することが好ましい（第６発明）。
第６発明によれば、道路は一般に無彩色（グレー等）であるため、前記注目領域に含まれる道路の画像部分のカラー画素に割り当てられる３原色の各階調値は、無彩色に応じた階調値となる。そのため、道路の画像部分から前記不飽和領域を抽出することにより、前記輝度相違度合を、精度良く算出することができる。なお、前記注目領域における道路の画像部分の位置は、前記原画像において道路が占める部分を予め想定して決定した固定箇所としてもよく、前記原画像から検出した範囲としてもよい。
また、第６発明において、前記原画像から道路に敷設されたレーンマークの画像部分を検出するレーンマーク検出部を備え、
前記露出レベル決定部は、前記レーンマーク検出部により検出されたレーンマークの画像部分の位置に基づいて、前記原画像に含まれる道路の画像部分を認識することが好ましい（第７発明）。
第７発明によれば、前記注目領域設定部は、前記レーンマーク検出部により検出された前記原画像におけるレーンマークの画像部分から、前記原画像中の道路の画像部分を精度良く認識して、道路の画像部分に前記不飽和領域を設定することができる。
また、前記レーンマーク検出部は、前記レーンマークの画像部分として白線の画像部分を検出し、
前記露出レベル決定部は、前記注目領域内の道路の画像部分から、第１の前記不飽和領域を抽出すると共に、前記注目領域内の白線の画像部分から、第２の前記不飽和領域を抽出し、第１の前記不飽和領域について算出した第１の前記輝度相違度合と、第２の前記不飽和領域について算出した第２の前記輝度相違度合とを加重平均することによって、前記補正階調値の算出に用いる前記輝度相違度合を算出することを特徴とする（第８発明）。
第８発明によれば、無彩色の道路と白線のうち、重視する方に重み付けをして、前記輝度相違度合を算出することができる。
画像処理装置の構成図。 撮像素子のフィルタ及びカメラによる撮像画像の説明図。 カラー画像の説明図。 注目領域の説明図。 露出制御値の算出処理のフローチャート。 感度差係数の算出処理のフローチャート。 露出制御値の算出処理の説明図。 高感度画像及び広ダイナミックレンジ画像の説明図。 他の実施形態での撮像素子のフィルタ及びカメラによる撮像画像の説明図。
本発明の画像処理装置の実施形態について、図１〜図９を参照して説明する。図１を参照して、本実施形態の画像処理装置は、車両１に搭載されたカメラ２と、カメラ２と接続された画像コントローラ３とにより構成されている。
カメラ２は、フィルタ２１が組み込まれた撮像素子２２（ＣＣＤ、ＣＭＯＳ等）により、車両１の周囲を撮像し、撮像データを制御回路３０に出力する。撮像素子２２は、ｍ×ｎ個の複数の受光素子を２次元に配置して構成されている。
図２（ａ）を参照して、フィルタ２１は、Ｒ（赤）Ｇ（緑）Ｂ（青）の３原色カラーフィルタのいずれかを、撮像素子２２のｍ×ｎ個の各受光画素の受光経路に個別に配置して、取り付けられている。なお、カラーフィルタとして、ＲＧＢの３原色以外の他の種類のカラーフィルタ（ＣyＭgＹの補色系フィルタ等）を用いてもよい。
そして、カメラ２は、Ｒフィルタが装着されたＲ受光画素（図中Ｒ11，Ｒ15，…で示している。本発明のカラー受光画素に相当する）、Ｇフィルタが装着されたＧ受光画素（図中Ｇ12，Ｇ14，…で示している。本発明のカラー受光画素に相当する）、Ｂフィルタが装着されたＢ受光画素（図中Ｂ13，Ｂ31，…で示している。本発明のカラー受光画素に相当する）、及びフィルタ２１が装着されていないＷ受光画素（図中Ｗ22，Ｗ24，…で示している。本発明の透明受光画素に相当する）による所定時間あたりの受光レベルに応じた階調値のデータを、撮像データとして画像コントローラ３に出力する。
画像コントローラ３は、図示しないＣＰＵ，メモリ，入出力回路等により構成された制御回路３０と、画像メモリ４０と、ＣＡＮ（Controller Area Network）ドライバ５０とを有している。
制御回路３０は、メモリに保持された画像処理用プログラムをＣＰＵで実行することにより、原画像取得部３１、注目領域（ＲＯＩ：Region Of Interest）設定部３２、露出レベル決定部３３、カメラ制御部３４、画像生成部３５、及び対象物検知部３６として機能する。なお、原画像取得部３１、注目領域設定部３２、露出レベル決定部３３、カメラ制御部３４、画像生成部３５、及び対象物検知部３６の一部又は全部をハードウェアにより構成してもよい。
原画像取得部３１は、カメラ２から出力される撮像データにより、原画像４１のデータを取得して画像メモリ４０に保持する。原画像４１は、図２（ｂ）に示したように、図２（ａ）に示した撮像素子２２による各受光画素（Ｒ受光画素、Ｇ受光画素、Ｂ受光画素、Ｗ受光画素）の階調値を、対応する配置位置の画素（配置位置が同じ画素）の階調値として個別に割り当てたものになっている。図２（ｂ）においては、各画素の階調値をＳ（大文字）＋小文字ｒ，ｇ，ｂ，ｗのいずれか＋i,j（i=1,2,…,m、j=1,2,…,n）で示している。
ここで、ｒは図２（ａ）のＲ受光画素に対応した配置位置の画素（以下、Ｒ画素という。本発明のカラー画素に相当する）の階調値を示し、ｇは図２（ａ）のＧ受光画素に対応した配置位置の画素（以下、Ｇ画素という。本発明のカラー画素に相当する）の階調値を示し、ｂは図２（ａ）のＢ受光画素に対応した配置位置の画素（以下、Ｂ画素という。本発明のカラー画素に相当する）の階調値を示し、ｗは図２（ａ）のＷ受光画素に対応した配置位置の画素（以下、Ｗ画素という。本発明の透明画素に相当する）の階調値であることを示している。
画像生成部３５は、原画像４１からカラー画像４２を生成してそのデータを画像メモリ４０に保持する。また、画像生成部３５は、原画像４１及びカラー画像４２から高感度画像４３を生成してそのデータを画像メモリ４０に保持し、カラー画像４２及び高感度画像４３から、広ダイナミックレンジ画像４４を生成してそのデータを画像メモリ４０に保持する。カラー画像４２、高感度画像４３、及び広ダイナミックレンジ画像４４の生成処理の詳細については、後述する。
注目領域設定部３２は、図４（ａ）に示したように、原画像４１の道路の画像部分８０を含む範囲で、図４（ｂ）に示したように、Ｒ１〜Ｒ２８の２８個の注目領域を設定する。原画像４１は縦（垂直方向）４８０画素×横（水平方向）８００画素からなり、注目領域は縦横８０画素からなっている。
露出レベル決定部３３は、注目領域Ｒ１〜Ｒ２８の階調値に基づいて、次の制御サイクルにおける露出制御値（本発明の露出レベルに相当する）を決定する。カメラ制御部３４は、所定の制御サイクル毎に、露出レベル決定部３３により決定された露出制御値に応じて、カメラ２の露出レベルを制御して撮像する。
なお、本実施形態では、カメラ２の露出レベルの変更を電子シャッターによる電荷蓄積時間の変更により行うが、メカニカルなシャッターを用いてもよい。また、カメラ２に装着されたレンズの絞りを変更して、露出レベルを変更してもよい。
対象物検知部３６（本発明のレーンマーク検出部の機能を含む）は、カラー画像４２、高感度画像４３、及び広ダイナミックレンジ画像４４を用いて、車両１が走行中の道路に敷設されたレーンマーク、他車両、信号機、歩行者等を検知し、検知結果に応じて車両コントローラ６に対して各種の制御信号を送信する。
車両コントローラ６は、図示しないＣＰＵ，メモリ，入出力回路等により構成された電子回路ユニットである。車両コントローラ６は、メモリに保持された車両１の制御用プログラムをＣＰＵで実行することによって、操舵装置７１の作動を制御する操舵制御部６１、制動装置７２の作動を制御する制動制御部６２、及びディスプレイ７３の表示を制御するディスプレイ表示制御部６３として機能する。画像コントローラ３と車両コントローラ６は、ＣＡＮドライバ５０，６４を介して相互に通信を行う。
『１．カラー画像の生成処理』
次に、画像生成部３５によるカラー画像４２の生成処理について説明する。画像生成部３５は、原画像４１の各画素の階調値に基づいて、図３に示したカラー画像４２を生成する。図３のカラー画像では、各画素の階調値をＣi,j（ｉ＝１，２…，ｍ、ｊ＝１，２，…，ｎ）で表している。
Ｃi,jは、以下のように、Ｒ値（Ｃi,jr、Ｒの階調値）、Ｇ値（Ｃi,jg、Ｇの階調値）、及びＢ値（Ｃi,jb、Ｂの階調値）という三つの階調値の要素を有している。
Ｃi,j＝｛Ｃi,jr、Ｃi,jg、Ｃi,jb｝
［１-1．Ｃi,jに対するＧ値の割り当て］
画像生成部３５は、先ず、カラー画像４２の各画素（Ｃi,j）に割り当てるＧ値（Ｃi,jg）を算出する。原画像４１のＧ画素（階調値がＳgi,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＧ値とする。例えば、画像生成部３５は、原画像４１の（ｉ，ｊ）＝（２，３）の画素の階調値（Ｓg2,3）を、カラー画像４２の（ｉ，ｊ）＝（２，３）の画素のＧ値（Ｃ2,3g）とする。
また、原画像４１のＲ画素（階調値がＳri,jである画素），Ｂ画素（階調値がＳbi,jである画素），Ｗ画素（階調値がＳwi,jである画素）については、図２（ｂ）に示したように、上下左右に隣接する画素がＧ画素になっている。そこで、画像生成部３５は、対象とするＲ，Ｂ，Ｗ画素の上下左右に隣接するＧ画素の階調値（Ｓgi-1,j，Ｓgi+1,j，Ｓgi,j-1，Ｓgi,j+1）について、以下の式（１）〜式（４）により、カラー画像４２の対応する配置位置の画素に割り当てるＧ値（Ｃi,jg）を算出する。
［１-2．Ｃi,jに対するＲ値の割り当て］
次に、画像生成部３５は、カラー画像４２の各画素（Ｃi,j）に割り当てるＲ値（Ｃi,jr）を算出する。原画像４１のＲ画素（階調値がＳri,jである画素）については、自身のＲ値（Ｓri,j）をカラー画像４２の対応する位置の画素のＲ値（Ｃi,jr）とする。例えば、画像生成部３５は、原画像４１の（ｉ，ｊ）＝（３，３）の画素の階調値（Ｓr3,3）を、カラー画像４２の（ｉ，ｊ）＝（３，３）の画素のＲ値（Ｃr3,3）とする。
また、原画像４１のＢ画素（階調値がＳbi,jである画素）については、図２（ｂ）に示したように、上下左右の２個目の画素がＲ画素になっている。そのため、画像生成部３５は、対象とするＢ画素について、以下の式（５）〜（８）により、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
また、原画像４１のＷ画素（階調値がＳwi,jである画素）については、図２（ｂ）に示したように、右斜め上と左斜め下、或いは左斜め上と右斜め下に、Ｒ画素が配置されている。そのため、画像生成部３５は、以下の式（９），式（１０）により、対象とする原画像４１のＷ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
また、原画像４１のＧ画素については、図２（ｂ）に示したように上下左右の何れかにＲ画素が配置されている。そのため、画像生成部３５は、以下の式（１１）〜式（１４）により、対象とする原画像４１のＧ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
［１-3．Ｃijに対するＢ値の割り当て］
次に、画像生成部３５は、カラー画像４２の各画素に割り当てるＢ値（Ｃi,jb）を算出する。原画像４１のＢ画素（階調値がＳbi,jである画素）については、自身の階調値をカラー画像４２の対応する位置の画素のＢ値とする。例えば、画像生成部３５は、原画像４１の（ｉ，ｊ）＝（３，５）の画素の階調値（Ｓb3,5）を、カラー画像４２の（ｉ，ｊ）＝（３，５）の画素のＢ値（Ｃ3,5b）とする。
また、原画像４１のＲ画素については、図２（ｂ）に示したように、上下左右の２個目の画素がＢ画素になっている。そのため、画像生成部３５は、対象とするＲ画素について、以下の式（１５）〜（１８）により、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
また、Ｗ画素（階調値がＳwi,jである画素）については、図２（ｂ）に示したように、右斜め上と左斜め下、或いは左斜め上と右斜め下に、Ｂ画素が配置されている。そのため、画像生成部３５は、以下の式（１９），式（２０）により、対象とするＷ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
また、Ｇ画素（階調値がＳgi,jである画素）については、図２（ｂ）に示したように上下左右の何れかに隣接する一つの画素がＢ画素になっている。そこで、画像生成部３５は、以下の式（２１）〜式（２４）により、対象とするＧ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
以上の処理により、画像生成部３５は、カラー画像４２の各画素に割り当てるＲ値（Ｃi,jr），Ｇ値（Ｃi,jg），Ｂ値（Ｃi,jb）を算出して、カラー画像４２を生成する。
『２．露出制御値の算出処理』
次に、露出レベル決定部３３による露出制御値の算出処理について、図５に示したフローチャートに従って説明する。
露出レベル決定部３３は、各注目領域Ｒ１〜Ｒ２８について、含まれるＷ画素のうちで階調値が飽和しているＷ画素（階調値が最大値になっているＷ画素）の割合（透明画素飽和率）を算出する。そして、露出レベル決定部３３は、透明画素飽和率が透明画素飽和閾値Ｗth以上である各注目領域に対して、ＳＴＥＰ２〜ＳＴＥＰ４の処理を行う。
ＳＴＥＰ２で、露出レベル決定部３３は、対象とする注目領域内の各画素のＲ値（図３に示したカラー画像４２の各画素に割り当てたＲ値Ｃi,jr）、Ｇ値（図３に示したカラー画像４２の各画素に割り当てたＧ値Ｃi,jg、及びＢ値（図３に示したカラー画像４２の各画素に割り当てたＢ値Ｃi,jb）を取得する。
次のＳＴＥＰ３で、露出レベル決定部３３は、注目領域内の総画素のうちでＲ値，Ｇ値，Ｂ値のいずれかが飽和している画素（Ｒ値，Ｇ値，Ｂ値のいずれかが最大階調値になっている画素）の割合（カラー画素飽和率）が、カラー画素飽和閾値Ｃth以上であるか否かを判断する。
そして、カラー画素飽和率がカラー画素飽和閾値Ｃth未満であるときは、以下の式（２５）により、Ｒ値，Ｇ値，Ｂ値から参照階調値Ｙ（本発明の第２参照階調値に相当する）を算出する。
一方、カラー画素飽和率がカラー画素飽和閾値Ｃth以上であるときには、有効な輝度情報を得ることが難しいため、ＳＴＥＰ４に分岐して参照階調値Ｙの算出は行わない。
このようにして、ＳＴＥＰ１〜ＳＴＥＰ５のループ処理を終了するとＳＴＥＰ６に進み、露出レベル決定部３３は、参照階調値Ｙが一つ以上算出されたか否かを判断する。そして、参照階調値Ｙが一つ以上算出されたときはＳＴＥＰ７に進み、露出レベル決定部３３は、以下の式（２６）により参照階調値Ｙの重み付け平均値Ｙave（本発明の第１参照階調値に相当する）を算出する。
但し、Ｙave：参照階調値Ｙ1〜Ｙpの重み付け平均値（Ｙの添え字１，２…，ｐは算出された参照階調値の番号を示している。）、ａ1〜ａp：Ｙ1〜Ｙpに対して設定された重み付け係数（ａ1＋ａ2＋…＋ａp＝１）。
ここで、重み付け係数ａ1〜ａpの値は、図４（ｂ）に示した注目領域Ｒ１〜Ｒ２８のうち、例えば道路の特徴を反映し易い中央のＲ１４〜Ｒ１７等については大きな値に設定し、道路の端部に対応するＲ１，Ｒ１１等については小さな値に設定する。
そして、続くＳＴＥＰ８で、露出レベル決定部３３は、以下の式（２７）により、次の制御サイクルで使用する露出制御値Ｅ(t+1)を算出する。
但し、Ｅ(t+1)：次の制御サイクルで使用する露出制御値（本発明の第２露出レベルに相当する）、Ｅ(t)：今回の制御サイクル（本発明の所定時点の制御サイクルに相当する）で使用した露出制御値（本発明の第１露出レベルに相当する）、β：Ｗ画素の最大許容階調値の設定係数、Ｓ：Ｗ画素の最大階調値（本実施形態では２５５）、α：感度差係数（ＹaveをＷ画素の階調値相当に変換するための係数）。
上記式（２７）では、目標とするＷ画素の最大許容階調値（β・Ｓ）と、今回の制御サイクルでのＷ画素の階調値の推定値（参照階調値の平均値ＹaveをＷ画素の階調値相当に変換したα・Ｙave）との比を、今回の制御サイクルで使用した露出制御値Ｅ(t)に乗じて変更（修正）することによって、次の制御サイクルで使用する露出制御値Ｅ(t+1)を算出している。
一方、ＳＴＥＰ６で、参照階調値Ｙを算出した注目領域が存在しないときには、ＳＴＥＰ２０に分岐する。そして、露出レベル決定部３３は、以下の式（２８）により、次の制御サイクルで使用する露出制御値Ｅ(t+1)を算出する。
但し、Ｅ(t+1)：次の制御サイクルで使用する露出制御値、Ｅ(t)：今回の制御サイクルで使用した露出制御値。
上記式（２８）では、次の制御サイクルで使用する露出制御値Ｅ(t+1)を、今回の制御サイクルで使用した露出制御値Ｅ(t)に０．８を乗じて算出することによって、次の制御サイクルにおける露出レベルを２０％減少させている。なお、この２０％という設定は一例であり、カメラ２の撮像状況等に応じて他の値に設定してもよい。
『３．感度差係数αの算出処理』
次に、露出レベル決定部３３による感度差係数αの算出処理について、図６に示したフローチャートに従って説明する。なお、感度差係数αは、本発明の輝度相違度合に相当する。
露出レベル決定部３３は、図６のＳＴＥＰ３０〜ＳＴＥＰ３７の処理により、原画像４１の白線の画像部分（図４（ａ）の８１）に設定した複数の車線ブロックについて感度差係数αＬbを算出すると共に、ＳＴＥＰ４０〜ＳＴＥＰ４７の処理により、原画像４１の道路の画像部分に設定した複数の道路ブロックについて感度差係数αＲbを算出する。
［３-1．車線ブロックの感度差係数の算出］
露出レベル決定部３３は、ＳＴＥＰ３０で、原画像４１の白線の画像部分から複数の車線ブロックを抽出する。なお、車線ブロックのサイズは注目領域のサイズと同じであっても、異なっていてもよい。
露出レベル決定部３３は、抽出した各車線ブロックについて、上述した図５のＳＴＥＰ１，ＳＴＥＰ３と同様に、透明画素飽和率とカラー画素飽和率を算出する。そして、透明画素飽和率が透明画素飽和閾値Ｗth未満、且つ、カラー画素飽和率がカラー画素飽和閾値Ｃth未満である、不飽和の車線ブロック（Ｌb1，Ｌb2，…，Ｌbh、本発明の不飽和領域及び第２の不飽和領域に相当する）に対して、ＳＴＥＰ３１〜ＳＴＥＰ３４のループによる処理を実行する。
露出レベル決定部３３は、ＳＴＥＰ３１〜ＳＴＥＰ３４のループにより、ＳＴＥＰ３２で車線ブロック内のＷ画素の階調値の平均値Ｌbwを算出し、ＳＴＥＰ３３で車線ブロック内のＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値Ｌbyを算出する。
次のＳＴＥＰ３５で、露出レベル決定部３３は、ＳＴＥＰ３２で算出した各車線ブロック内のＷ画素の平均値Ｌbwについて、以下の式（２９）により平均値Ｌbwaveを算出する。
但し、Ｌbw1，Ｌbw2，…，Ｌbwh：各車線ブロック内のＷ画素の階調値の平均値（ｈはＷ画素の階調値の平均値を算出した車線ブロックの個数）。
また、ＳＴＥＰ３６で、露出レベル決定部３３は、ＳＴＥＰ３３で算出した各車線ブロック内のＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値Ｌbyについて、以下の式（３０）により平均値Ｌbyaveを算出する。
但し、Ｌby1，Ｌby2，…，Ｌbyh：各車線ブロック内のＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値（ｈはＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値を算出した車線ブロックの個数）。
次のＳＴＥＰ３７で、露出レベル決定部３３は、以下の式（３１）により、車線ブロックについての感度差係数αＬb（本発明の第２の輝度相違度合に相当する）を算出する。
但し、αＬb：車線ブロックについての感度差係数、Ｌbwave：車線ブロックのＷ画素の階調値の平均値、Ｌbyave：車線ブロックのＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値。
［３-2．道路ブロックの感度差係数の算出］
露出レベル決定部３３は、ＳＴＥＰ４０で、原画像４１の道路の画像部分（図４（ａ）の８０）から複数の道路ブロックを抽出する。なお、道路ブロックのサイズは注目領域のサイズと同じであっても、異なっていてもよい。
露出レベル決定部３３は、抽出した各道路ブロックについて、上述した図５のＳＴＥＰ１，ＳＴＥＰ３と同様に、透明画素飽和率とカラー画素飽和率を算出する。そして、透明画素飽和率が透明画素飽和閾値Ｗth未満、且つ、カラー画素飽和率がカラー画素飽和閾値Ｃth未満である、不飽和の道路ブロック（Ｒb1，Ｒb2，…，Ｒbk、本発明の不飽和領域及び第１の不飽和領域に相当する）に対して、ＳＴＥＰ４１〜ＳＴＥＰ４４のループによる処理を実行する。
露出レベル決定部３３は、ＳＴＥＰ４１〜ＳＴＥＰ４４のループにより、ＳＴＥＰ４２で道路ブロック内のＷ画素の階調値の平均値Ｒbwを算出し、ＳＴＥＰ４３で道路ブロック内のＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値Ｒbyを算出する。
次のＳＴＥＰ４５で、露出レベル決定部３３は、ＳＴＥＰ４２で算出した各道路ブロック内のＷ画素の平均値Ｒbwについて、以下の式（３２）により平均値Ｒbwaveを算出する。
但し、Ｒbw1，Ｒbw2，…，Ｒbwk：各道路ブロック内のＷ画素の階調値の平均値（kはＷ画素の階調値の平均値を算出した道路ブロックの個数）。
また、ＳＴＥＰ４６で、露出レベル決定部３３は、ＳＴＥＰ４３で算出した各道路ブロック内のＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値Ｒbyについて、以下の式（３３）により平均値Ｒbyaveを算出する。
但し、Ｒby1，Ｒby2，…，Ｒbyk：各道路ブロック内のＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値（ｋはＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値を算出した道路ブロックの個数）。
次のＳＴＥＰ４７で、露出レベル決定部３３は、以下の式（３４）により、道路ブロックについての感度差係数αＲb（本発明の第１の輝度相違度合に相当する）を算出する。
但し、αＲb：道路ブロックについての感度差係数、Ｒbwave：道路ブロックのＷ画素の階調値の平均値、Ｒbyave：道路ブロックのＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値。
［３-3．感度差係数の算出］
続くＳＴＥＰ３８で、露出レベル決定部３３は、以下の式（３５）により、ＳＴＥＰ３７で算出した車線ブロックについての感度差係数αＬbと、ＳＴＥＰ４７で算出した道路ブロックについての感度差係数αＲbとの加重平均することによって、上記式（２７）で使用する感度差係数αを算出する。
但し、α：感度差係数、αＬb：車線ブロックについての感度差係数、αＲb：道路ブロックについての感度差係数、ｂ1，ｂ2：重み付け係数（ｂ1＋ｂ2＝１）。
ここで、図７は、上記式（２７）により、次の制御サイクルで使用する露出制御値Ｅ(t+1)を算出することの意味を説明したものである。図７の左側は、露出制御値にＥ(t)を使用した今回の制御サイクルの状況を示し、右側は上記式（２７）により算出した露出制御値Ｅ(t+1)を使用する次回の制御サイクルの状況を示している。
今回の制御サイクルでは、Ｗ画素の階調値が飽和していて、Ｗ画素の本来の階調値を得ることができないため、飽和していないＲ、Ｇ，Ｂ画素の階調値から算出した参照階調値Ｙave1に、感度差係数αを乗じてＷ画素の階調値の想定値Ｗ1を補正階調値として算出する。そして、次回の制御サイクルでの輝度の最大許容値Ｗ2を、Ｓ（２５５）×βにより算出する。
この場合、次回の制御サイクルで使用する露出制御値Ｅ(t+1)は、今回の制御サイクルでのＷ画素の階調値の想定値Ｗ1を、Ｗ2まで減少させるものであれば良い。そこで、上記式（２６）により、Ｗ2／Ｗ1（＝β・Ｓ／α・Ｙave）を今回の制御サイクルで使用した露出制御値Ｅ(t)に乗じて、次回の制御サイクルで使用する露出制御値Ｅ(t+1)を算出することによって、次回の制御サイクルにおけるカメラ２の露出レベルを、Ｗ1がＷ2まで減少させるレベルに適切に減少させることができる。
次に、画像生成部３５による高感度画像４３及び広ダイナミックレンジ画像４４の生成処理について説明する。
『４．高感度画像の生成処理』
画像生成部３５は、原画像４１のＷ画素の階調値（Ｓwi,j）とカラー画像４２の各画素のＲ，Ｇ，Ｂ値とにより、高感度画像４３の各画素に割り当てる階調値（Ｈi,j）を算出する。
画像生成部３５は、先ず、以下の式（３６）により、カラー画像４２の各画素についてグレーの参照階調値Ｙi,jを算出する。
但し、Ｙi,j：参照階調値、Ｃi,jr：カラー画像４２の各画素Ｃi,jのＲ値、Ｃi,jg：カラー画像４２の各画素Ｃi,jのＧ値、Ｃi,jb：カラー画像４２の各画素Ｃi,jのＢ値、０．３，０．５９，０．１１：重み付け係数，実験等により決定したものであり、他の値を用いてもよい。
そして、画像生成部３５は、以下の式（３７）により、原画像４１の各Ｗ画素の階調値Ｓwi,jと、各Ｗ画素に対応する配置位置のカラー画像４２の画素の参照階調値Ｙijとの比ａi,jを、感度差補正係数として算出する。
［４-1．Ｗ画素に対応する階調値Ｈi,jの割り当て］
画像生成部３５は、原画像４１のＷ画素の階調値（Ｓwi,j）を、高感度画像４３の対応する配置位置の画素の階調値（Ｈi,j）に割り当てる。
［４-2．Ｇ画素に対応する階調値Ｈi,jの割り当て］
図２（ｂ）に示した原画像４１において、Ｇ画素の左右又は上下にＷ画素が配置されている。そのため、画像生成部３５は、以下の式（３８）、式（３９）により、原画像４１のＧ画素に対応する配置位置の高感度画像４３の画素に割り当てる階調値（Ｈi,j）を算出する。
［４-3．Ｒ，Ｂ画素に対応する階調値Ｈi,jの割り当て］
図２（ｂ）に示した原画像４１において、Ｒ画素及びＢ画素の斜め上下にＷ画素が配置されている。そのため、画像生成部３５は、以下の式（４０）により、原画像４１のＲ，Ｂ画素に対応する位置の高感度画像４３の画素に割り当てる階調値（Ｈi,j）を算出する。
以上の処理により、画像生成部３５は、図８（ａ）に示したように、原画像４１の各画素に対応した画素に、階調値（Ｈi,j）を割り当てた高感度画像４３を生成することができる。
『５．広ダイナミックレンジ画像の生成処理』
画像生成部３５は、カラー画像４２と高感度画像４３の対応する配置位置の画素（配置位置が同じ画素）間で、以下の式（４１）の重み付け関数を用いた加算を行って、広ダイナミックレンジ画像４４の各画素に割り当てる階調値（Ｄi,j）を算出する。
但し、ｗ(x)：シグモイド関数、ｇ：ゲイン。なお、上記式（４１）は重み付け関数の一例であり、他の重み付け関数を用いてもよい。
画像生成部３５は、高感度画像４３の階調値（Ｈi,j）を最大階調値（分解能が８bitであれば２５５、１０bitであれば１０２３）に対して規格化した規格化階調値（ｈi,j）と、カラー画像４２から上記式（３５）により算出した参照階調値（Ｙi,j）を最大階調値に対して規格化した規格化階調値（ｙi,j）から、以下の式（４２）により、規格化合成階調値（ｈdri,j）を算出する。
但し、ｈi,j，ｙi,j：規格化階調値、ａ'：Ｗ画素に対応する画素を対象とするときは、上記式（３７）により算出した当該画素の感度差補正係数ａi,j、Ｒ，Ｇ，Ｂに対応する画素を対象とするときは、周囲に配置されたＷ画素に対応する画素の感度差補正係数ａi,j。
さらに、低階調のコントラストを保つために、以下の式（４３）により規格化合成階調値（ｈdri,j）にγ変換処理を行う。
但し、Ｄi,j：広ダイナミックレンジ画像の階調値、Ｍb：最大階調値。
以上の処理により、画像生成部３５は、図８（ｂ）に示したように、原画像４１の各画素に対応した画素に、階調値（Ｄi,j）を割り当てた広ダイナミックレンジ画像４４を生成することができる。
『６．対象物検知処理』
次に、対象物検知部３６による処理について説明する。対象物検知部３６は、検知対象物の種別又はカメラ２の撮像条件に応じて、カラー画像４２から対象物を検知する処理と、高感度画像４３から対象物を検知する処理と、広ダイナミックレンジ画像４４から対象物を検知する処理とを切替える。
［６-1．高感度画像による対象物検知］
対象物検知部３６は、高感度画像４３から歩行者を検知する。歩行者は低輝度である場合が多いため、高感度画像４３を用いることによって、車両１の周辺に存在する歩行者を精度良く検知することができる。
対象物検知部３６は、歩行者を検知したときに、車両１との接触可能性の有無を判断する。そして、車両１との接触可能性有りと判断したときには、車両コントローラ６に対して接触回避措置の実施を指示する制御信号を送信する。
この制御信号の受信に応じて、車両コントローラ６のディスプレイ表示制御部６３は、ディスプレイ７３に警報表示を行う。また、制動制御部６２は、必要に応じて、制動装置７２を作動させて接触を回避する処理を行う。
［６-2．広ダイナミックレンジ画像による対象物検知］
対象物検知部３６は、夜間であるか否かを判断する。なお、夜間であるか否かは、例えば、車両１に備えられたヘッドライト（図示しない）の点灯／消灯の状態から判断する。また、車両１に照度センサを備え、照度センサによる検出照度から夜間であるか否かを判断してもよい。
そして、夜間であったときに、対象物検知部３６は、広ダイナミックレンジ画像４４から、他車両、歩行者を検知する。ここで、夜間においては、暗い物体から明るい物体まで、広い範囲の輝度の物体を検知する必要がある。
ここで、暗い物体としては、車両１のヘッドライトの照射領域外の遠方の他車両や、割込み車両、飛出し車両、或いは、車両１のヘッドライトの照射領域外の歩道上の歩行者や、横断中の歩行者等が挙げられる。また、明るい物体としては、前走車のテールランプやストップランプ、対向車のヘッドライト、車両１のヘッドライトに照射されている歩行者等が挙げられる。
そこで、夜間においては、広ダイナミックレンジ画像４４を用いることによって、他車両、歩行者を検知することができる。
対象物検知部３６は、接触可能性がある歩行者又は他車両を検知したときには、上述したように、車両コントローラ６に対して、接触回避措置の実施を指示する制御信号を送信する。
［６-3．カラー画像による対象物検知］
対象物検知部３６は、夜間でなかったときには、カラー画像４２から道路に敷設されたレーンマーク、他車両、及び信号機を検知する。ここで、昼間の天空照度が十分に高いときには、レーンマーク、他車両、及び信号機を検知するために、高い感度は必要なく、色情報を高コントラストで取得する必要がある。
そこで、対象物検知部３６は、カラー画像４２からレーンマーク、他車両、及び信号機を検知する。その際、対象物検知部３６は、レーンマークの色（白線、黄線等）からレーンマークの属性を判断する。また、対象物検知部３６は、前走車のテールランプの赤色を検知して追突可能性の有無を判断する。
そして、対象物検知部３６は、レーンマークの検知位置に基づいて道路の画像部分を認識し、車両１を車線内に維持して走行させるレーンキープ制御のための制御信号を車両コントローラ６に送信し、この制御信号の受信に応じて、操舵制御部６１が操舵装置７１の作動を制御する。
また、対象物検知部３６は、接触可能性がある他車両を検知したときに、上述したように、車両コントローラ６に対して、接触回避措置の実施を指示する信号を送信する。さらに、対象物検知部３６は、前方信号機の赤点灯を検知したときに、運転者による制動操作がなされていないときには、警報信号を車両コントローラ６に送信し、この警報信号の受信に応じて、ディスプレイ表示制御部６３はディスプレイに警報表示を行う。また、必要に応じて、制動制御部６２は、制動装置７２を作動させて車両１を制動する。
なお、本実施形態では、図２（ａ）に示したＲ，Ｇ，Ｂ，Ｗの配置パターンのフィルタ２１が装着された撮像素子２２を用いたカメラ２を示したが、図９（ａ）に示したような他のＲ，Ｇ，Ｂ，Ｗの配置パターンのフィルタ２１−１を用いてもよい。図９（ａ）のフィルタ２１−１を用いた場合の撮像画像（原画像）は、図９（ｂ）の４１−１となる。
また、本実施形態では、本発明の画像処理装置を車両１に搭載した例を示したが、特にこの実施形態に限定されず、監視装置等の種々の用途に本発明を適用することができる。
また、本実施形態では、図６の処理により、車線ブロック及び道路ブロックのＷ画素の階調値と参照階調値Ｙに基づいて感度補正係数（α）を算出したが、感度補正係数（α）を予め設定した固定値としてもよい。また、車線ブロック又は道路ブロックのいずれか一方のＷ画素の階調値と参照階調値Ｙに基づいて感度補正係数（α）を算出してもよい。
また、本実施形態では、図５のＳＴＥＰ１〜ＳＴＥＰ５の処理により、透明画素飽和率が透明画素飽和閾値Ｗth以上である注目領域について、カラー画素飽和率がカラー画素飽和閾値Ｃth未満である注目領域の参照階調値Ｙ及びその平均値Ｙaveを算出して、上記式（２６）により次の制御サイクルで使用する露出制御値Ｅ(t+1)を決定したが、透明画素飽和率のみに基づいてＥ(t)を変更してＥ(t+1)を求めてもよい。
また、上記式（２７）以外の式により、或いはマップ等により、透明画素飽和率、参照階調値Ｙの平均値Ｙaveに基づいて、今回の制御サイクルで使用した露出制御値Ｅ(t)を変更して、次の制御サイクルで使用する露出制御値Ｅ(t+1)を決定してもよい。
また、本実施の形態では、複数の注目領域を設定して、各注目領域のＷ画素の階調値及びＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値を用いて、次の制御サイクルで使用する露出制御値Ｅ(t+1)を算出したが、１つの注目領域を設定して露出制御値Ｅ(t+1)を算出してもよい。
以上のように、本発明の画像処理装置によれば、カラーフィルタを介して受光する画素と、カラーフィルタを介さずに受光する画素とを配置した撮像素子を用いたカメラの露出レベルを、回路構成の複雑化及び撮像画像の画質悪化を抑制して、適切に設定することができるため、カラー画像の感度を改善するために有用である。
１…車両、２…カメラ、３…画像コントローラ、６…車両コントローラ、２１…フィルタ、２２…撮像素子、３０…制御回路、３１…原画像取得部、３２…注目領域設定部、３３…露出レベル決定部、３４…カメラ制御部、３５…画像生成部、３６…対象物検知部、４１…原画像、４２…カラー画像、４３…高感度画像、４４…広ダイナミックレンジ画像。

Claims (8)

  1. カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを、配置した撮像素子により、撮像するカメラと、
    所定の制御サイクル毎に、所定の露出レベルによって前記カメラにより撮像するカメラ制御部と、
    前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像に対して、所定の注目領域を少なくとも一つ設定する注目領域設定部と、
    所定時点の制御サイクルにおいて第１露出レベルにより前記カメラによって撮像された原画像の前記注目領域について、前記注目領域内の透明画素のうちで階調値が飽和している透明画素の割合である透明画素飽和率を算出し、該第１露出レベルを該透明画素飽和率に応じて変更することによって、次の制御サイクルの露出レベルである第２露出レベルを決定する露出レベル決定部と
    を備えた画像処理装置。
  2. 請求項１に記載の画像処理装置において、
    前記露出レベル決定部は、前記注目領域において、前記カラー画素のうちで階調値が飽和しているカラー画素の割合であるカラー画素飽和率を算出し、該カラー画素飽和率が所定のカラー画素飽和閾値未満であるときに、前記注目領域内の各カラー画素の階調値に基づくグレーの第１参照階調値を算出し、該第１参照階調値に基づいて前記第２露出レベルを決定する画像処理装置。
  3. 請求項２に記載の画像処理装置において、
    前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
    前記露出レベル決定部は、
    前記注目領域内の各透明画素について、周囲に配置されたカラー画素の階調値に基づいて３原色の各階調値を割り当てると共に、前記注目領域内の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて３原色の各階調値を割り当て、
    前記原画像の各画素に割り当てた３原色の各階調値から、各画素のグレーの第２参照階調値を算出し、該各画素の該第２参照階調値を平均して前記第１参照階調値を算出する画像処理装置。
  4. 請求項３に記載の画像処理装置において、
    前記露出レベル決定部は、
    前記注目領域から、前記透明画素飽和率が第１透明画素飽和閾値未満であり、且つ、前記カラー画素飽和率が第２カラー画素飽和閾値未満である不飽和領域を抽出し、該不飽和領域内の透明画素の階調値の平均値と、該不飽和領域内のカラー画素の前記第２参照階調値の平均値との輝度相違度合を算出し、
    前記第１参照階調値を前記輝度相違度合に基づいて補正した補正階調値を用いて、前記第２露出レベルを決定する画像処理装置。
  5. 請求項４に記載の画像処理装置において、
    前記露出レベル決定部は、
    透明画素の最大許容階調値と前記補正階調値との相違に基づいて、該相違を減少させるように前記第２露出レベルを決定する画像処理装置。
  6. 請求項４に記載の画像処理装置において、
    前記カメラは車両に搭載されて該車両の周囲を撮像し、
    前記露出レベル決定部は、前記原画像に含まれる道路の画像部分から、前記不飽和領域を抽出する画像処理装置。
  7. 請求項６に記載の画像処理装置において、
    前記原画像から道路に敷設されたレーンマークの画像部分を検出するレーンマーク検出部を備え、
    前記露出レベル決定部は、前記レーンマーク検出部により検出されたレーンマークの画像部分の位置に基づいて、前記原画像に含まれる道路の画像部分を認識する画像処理装置。
  8. 請求項７に記載の画像処理装置において
    前記レーンマーク検出部は、前記レーンマークの画像部分として白線の画像部分を検出し、
    前記露出レベル決定部は、
    前記注目領域内の道路の画像部分から、第１の前記不飽和領域を抽出すると共に、前記注目領域内の白線の画像部分から、第２の前記不飽和領域を抽出し、
    第１の前記不飽和領域について算出した第１の前記輝度相違度合と、第２の前記不飽和領域について算出した第２の前記輝度相違度合とを加重平均することによって、前記補正階調値の算出に用いる前記輝度相違度合を算出する画像処理装置。
JP2013554195A 2012-01-17 2012-11-29 画像処理装置 Expired - Fee Related JP5595606B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013554195A JP5595606B2 (ja) 2012-01-17 2012-11-29 画像処理装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012006947 2012-01-17
JP2012006947 2012-01-17
PCT/JP2012/080894 WO2013108493A1 (ja) 2012-01-17 2012-11-29 画像処理装置
JP2013554195A JP5595606B2 (ja) 2012-01-17 2012-11-29 画像処理装置

Publications (2)

Publication Number Publication Date
JP5595606B2 JP5595606B2 (ja) 2014-09-24
JPWO2013108493A1 true JPWO2013108493A1 (ja) 2015-05-11

Family

ID=48798930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013554195A Expired - Fee Related JP5595606B2 (ja) 2012-01-17 2012-11-29 画像処理装置

Country Status (5)

Country Link
US (1) US9171215B2 (ja)
EP (1) EP2760207A4 (ja)
JP (1) JP5595606B2 (ja)
CN (1) CN104041022B (ja)
WO (1) WO2013108493A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5703279B2 (ja) * 2012-11-30 2015-04-15 本田技研工業株式会社 車両周辺監視装置
CN105812674B (zh) * 2014-12-29 2019-05-21 浙江大华技术股份有限公司 一种信号灯的颜色修正方法、监控方法及装置
CN108431630A (zh) 2015-12-21 2018-08-21 株式会社小糸制作所 车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆和车辆用图像获取方法
JP6766071B2 (ja) 2015-12-21 2020-10-07 株式会社小糸製作所 車両用画像取得装置およびそれを備えた車両
WO2017110418A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
WO2017110413A1 (ja) * 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
WO2017141544A1 (ja) * 2016-02-16 2017-08-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
EP3226203A1 (en) 2016-03-30 2017-10-04 Thomson Licensing Method for detection of saturated pixels in an image
CN106791476A (zh) * 2017-01-25 2017-05-31 北京图森未来科技有限公司 一种图像采集方法和装置
US10630901B2 (en) 2017-05-23 2020-04-21 Google Llc Systems and methods for selectively activating high dynamic range in a video capture system
US11451713B2 (en) 2020-05-15 2022-09-20 Rockwell Collins, Inc. Autogaining of color pattern filtered sensors to ensure color fidelity
US11869226B2 (en) * 2020-10-25 2024-01-09 Pixart Imaging Inc. Computer readable recording medium which can perform image pattern determining method
US11238775B1 (en) * 2020-12-18 2022-02-01 Novatek Microelectronics Corp. Image adjustment device and image adjustment method suitable for light-emitting diode display
CN112714357B (zh) * 2020-12-21 2023-10-13 北京百度网讯科技有限公司 视频播放方法、视频播放装置、电子设备和存储介质
CN114025102A (zh) * 2021-09-29 2022-02-08 浙江亚太机电股份有限公司 一种提高adas系统识别准确度和环境适应性的方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100284305B1 (ko) 1998-10-28 2001-03-02 김영환 이미지 센서에서 녹색 화소의 평균값을 이용하여 화면의 밝기를조절하기 위한 장치 및 방법
US7880785B2 (en) 2004-07-21 2011-02-01 Aptina Imaging Corporation Rod and cone response sensor
JP4607006B2 (ja) * 2005-12-27 2011-01-05 京セラ株式会社 映像信号処理方法および映像信号処理装置
JP4967424B2 (ja) * 2006-04-05 2012-07-04 凸版印刷株式会社 撮像素子
JP4187004B2 (ja) * 2006-04-17 2008-11-26 ソニー株式会社 撮像装置および撮像装置の露光制御方法
JP4218723B2 (ja) * 2006-10-19 2009-02-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP4325703B2 (ja) * 2007-05-24 2009-09-02 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理装置および信号処理方法、ならびに撮像装置
JP5139350B2 (ja) * 2009-02-24 2013-02-06 株式会社東芝 画像処理装置、画像処理方法、撮像装置
JP5526673B2 (ja) 2009-09-16 2014-06-18 ソニー株式会社 固体撮像装置及び電子機器
US8179458B2 (en) 2009-10-13 2012-05-15 Omnivision Technologies, Inc. System and method for improved image processing
JP5484015B2 (ja) * 2009-11-26 2014-05-07 キヤノン株式会社 撮像装置、撮像方法、及びプログラム
US8456327B2 (en) * 2010-02-26 2013-06-04 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
JP2012084814A (ja) 2010-10-14 2012-04-26 Panasonic Corp 固体撮像装置、半導体装置及びカメラ

Also Published As

Publication number Publication date
US20140375815A1 (en) 2014-12-25
CN104041022B (zh) 2016-06-29
US9171215B2 (en) 2015-10-27
JP5595606B2 (ja) 2014-09-24
EP2760207A1 (en) 2014-07-30
CN104041022A (zh) 2014-09-10
WO2013108493A1 (ja) 2013-07-25
EP2760207A4 (en) 2015-07-29

Similar Documents

Publication Publication Date Title
JP5595606B2 (ja) 画像処理装置
JP5732145B2 (ja) 画像処理装置
CN102835115B (zh) 用于车辆摄像机的图像传感器的颜色掩模
US9639764B2 (en) Image recognition system for vehicle for traffic sign board recognition
US9758086B2 (en) Vehicle lamp control device
KR101913876B1 (ko) 이미지처리방법과 장치
CN106295494B (zh) 车外环境识别装置
JP4191759B2 (ja) 車両用オートライトシステム
JP2015066956A (ja) 車両制御システム、画像センサ
JP5260696B2 (ja) エッジ点抽出装置、車線検出装置、およびプログラム
US20150195500A1 (en) In-Vehicle Imaging Device
JP5697646B2 (ja) 車両周辺監視装置
JP5703279B2 (ja) 車両周辺監視装置
JP2012222533A (ja) 画像処理装置
JP5746116B2 (ja) 車両用監視装置
JP5904825B2 (ja) 画像処理装置
JP2013187572A (ja) 画像処理装置
JP2013187573A (ja) 車両周辺監視装置
CN113574851B (zh) 摄像装置以及图像处理方法
JP2014529951A (ja) 補正カラーフィルタのフィルタ特性を適合させるための、および撮像素子を運転するための方法および装置
US8797401B2 (en) Control device for a camera arrangement, camera arrangement for a vehicle and method for controlling a camera in a vehicle
JP2011251600A (ja) ブレーキ操作検知装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140715

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140805

R150 Certificate of patent or registration of utility model

Ref document number: 5595606

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees