JP5732145B2 - 画像処理装置 - Google Patents

Description

本発明は、カラーフィルタを介して受光する画素とカラーフィルタを介さずに受光する画素を配置した撮像素子による撮像データを処理する画像処理装置に関する。

従来より、カラーフィルタを介して受光する画素（カラー受光画素）と、カラーフィルタを介さずに受光する画素（透明受光画素）とを配置した撮像素子を用いることにより、カラー画像の感度を改善する方法が提案されている（例えば、特許文献１参照）。

特表２００８−５０７９０８号公報

カメラによる撮像画像に要求される特性は、撮像画像の用途に応じて相違する。例えば、撮像画像から対象物を検知する場合に、対象物の色情報を用いるときはカラー画像が必要になる。

また、夜間のように低照度の撮像条件下で、撮像画像から対象物を検知する場合には高感度画像が必要となる。さらに、暗い対象物から明るい対象物までの広範囲の対象物の画像部分を検知するためには、広ダイナミックレンジ画像が必要となる。

そして、このような異なる用途に対応するために、仕様が異なる複数台のカメラを備えて、用途に応じて使用するカメラを切替えることも考えられるが、この場合には、装置構成が複雑になると共に装置コストも増大するという不都合ある。

そこで、特許文献１に記載された方法のように、透明受光画素を有する撮像素子を用いることによって、感度を向上させたカラー画像を取得することができる。そして、カラーフィルタを介して受光する画素と、カラーフィルタを介さずに受光する画素とでは感度が相違するため、両画素間で受光の蓄積時間を変えることも考えられるが、この場合には、高感度化の効果がなくなってしまうという問題があった。また、広いダイナミックレンジをもった画像が必要になる場合もある。

本発明はかかる背景に鑑みてなされたものであり、カラーフィルタを介して受光する画素と、カラーフィルタを介さずに受光する画素とを配置した撮像素子を用いたカメラの撮像画像から、より高感度の画像又は広いダイナミックレンジをもった画像を生成することができる画像処理装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、
より高感度の画像又は広いダイナミックレンジをもった画像を生成するために、本発明の画像処理装置は、
カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを配置した撮像素子により、撮像するカメラと、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像に対して、
前記各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したグレーの第１参照階調値を、周囲に配置された透明画素の階調値に応じて補正した補正階調値を算出し、
前記各カラー画素の補正階調値に基づいて、高感度画像と広ダイナミックレンジ画像とのうちの少なくともいずれか一方を生成する画像生成部と
を備えたことを特徴とする（第１発明）。

第１発明によれば、前記画像生成部は、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したグレーの前記第１参照階調値を、周囲に配置された透明画素の階調値に応じて補正した前記補正階調値を算出することにより、各カラー画素について前記原画像の透明画素の階調値と同レベルの感度による階調値を得る。そして、前記画像生成部は、前記補正階調値に基づいて、高感度画像と広ダイナミックレンジ画像とのうちの少なくともいずれか一方を生成することができる。
また、第１発明において、前記画像生成部は、前記各カラー画素の補正階調値及び前記各透明画素の階調値を、前記高感度画像の対応する配置位置の画素の階調値として割り当てることにより、前記高感度画像を生成することを特徴とする（第２発明）。
第２発明によれば、前記画像生成部は、透明画素についてはその階調値を、また、カラー画素についてはその補正階調値を、高感度画像の対応する配置位置の階調値として割り当てることによって、前記高感度画像を生成することができる。

また、第２発明において、前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記画像生成部は、
前記原画像の各透明画素について、周囲に配置されたカラー画素の階調値に基づいて３原色の各階調値を算出し、該３原色の各階調値から算出したグレーの第２参照階調値と、自身の階調値との階調相違度合を算出し、
前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて３原色の各階調値を算出して、該３原色の各階調値から前記第１参照階調値を算出し、
前記第１参照階調値を、周囲に配置された透明画素の前記階調相違度合に基づいて補正することによって、前記補正階調値を算出することを特徴とする（第３発明）。

第３発明によれば、一般的な３原色（Ｒ・Ｇ・Ｂ、Ｃy・Ｍg・Ｙ等）カラーフィルタが設けられた撮像素子により撮像するカメラにより撮像された原画像から、カラー画素の階調値を透明画素の階調値に応じて補正した高感度画像を生成することができる。

また、第３発明において、前記画像生成部は、前記原画像の各カラー画素について、自身の前記第１参照階調値と前記高感度画像の対応する配置位置の画素の階調値を合成した第１合成階調値を、広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当て、
前記原画像の各透明画素について、自身の前記第２参照階調値と前記高感度画像の対応する配置位置の階調値を合成した第２合成階調値を、広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当てることにより、広ダイナミックレンジ画像を生成することを特徴とする（第４発明）。

第４発明によれば、前記高感度画像による高感度の階調値と、前記第１参照階調値及び前記第２参照階調値による低感度の階調値とを合成することにより、広ダイナミックレンジ画像を生成することができる。

また、第４発明において、前記画像生成部は、前記第１参照階調値及び前記第２参照階調値と、前記高感度画像の階調値との間で、同一レンジの値に変換して重み付けをした加算を行うことにより、前記第１合成階調値及び前記第２合成階調値を算出することを特徴とする（第５発明）。

第５発明によれば、前記撮像素子のカラー受光画素と透明受光画素の感度差による前記広ダイナミックレンジ画像の各画素間の不連続性により、前記広ダイナミックレンジ画像が不自然な画像になることを抑制することができる。

また、第２発明から第５発明において、前記画像生成部は、前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成し、
検知対象物の種別に応じて、前記高感度画像から対象物を検知する第１対象物検知処理と、前記カラー画像から対象物を検知する第２対象物検知処理とを、切替えて実行する対象物検知部を備えたことを特徴とする（第６発明）。

第６発明によれば、低輝度の対象物（歩行者等）を検知するときは、前記高感度画像を用いる前記第１対象物検知処理により、また、色情報を有する対象物（道路に敷設された白線・黄線、信号機の赤・青点灯等）を検知するときには、前記カラー画像を用いる前記第２対象物検知処理により、種々の対象物を検知することができる。

また、第４発明又は第５発明において、前記画像生成部は、前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成し、
検知対象物の種別又は前記カメラの撮像条件に応じて、前記高感度画像から対象物を検知する第１対象物検知処理と、前記カラー画像から対象物を検知する第２対象物検知処理と、前記広ダイナミックレンジ画像から対象物を検知する第３対象物検知処理とを、切替えて実行する対象物検知部を備えたことを特徴とする（第７発明）。

第７発明によれば、低輝度の対象物（歩行者等）を検知するときは、前記高感度画像を用いる前記第１対象物検知処理により、また、色情報を有する対象物（道路に敷設された白線・黄線、信号機の赤・青点灯等）を検知するときには、前記カラー画像を用いる前記第２対象物検知処理により、また、低輝度から高輝度までの幅広い輝度の対象物（夜間における車両、歩行者等）を検知するときには、前記広ダイナミックレンジ画像を用いる第３対象物検知処理により、種々の対象物を検知することができる。

また、第１発明において、前記画像生成部は、前記第１参照階調値と前記補正階調値を合成した第１合成階調値を、前記広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当て、前記各透明画素について、周囲に配置されたカラー画素の階調値に基づくグレーの第２参照階調値を算出し、該第２参照階調値と自身の階調値を合成した第２合成階調値を、前記広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当てることにより、前記広ダイナミックレンジ画像を生成することを特徴とする（第８発明）。

第８発明によれば、前記画像生成部は、前記各カラー画素について、前記各透明画素の階調値を用いることにより、感度を高めた前記補正階調値を算出すると共に、前記各透明画素について、周囲のカラー画素の階調値を用いることにより、低感度の前記第２参照階調値を算出する。そして、前記画像生成部は、前記各カラー画素については、前記第１参照階調値と前記補正階調値を合成した前記第１合成階調値を、対応する配置位置の画素の階調値として割り当て、また、前記各透明画素については、前記第２参照階調値と透明画素の階調値を合成した前記第２合成階調値を、対応する配置位置の画素として割り当てることにより、広ダイナミックレンジ画像を生成することができる。

また、第８発明において、前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記画像生成部は、
前記原画像の各透明画素について、周囲に配置されたカラー画素の階調値に基づいて３原色の各階調値を算出し、該３原色の各階調値から前記第２参照階調値を算出して、自身の階調値と該第２参照階調値との階調相違度合を算出し、
前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて３原色の各階調値を算出し、該３原色の各階調値から前記第１参照階調値を算出して、該第１参照階調値を周囲に配置された透明画素の前記階調相違度合に応じて補正することにより、前記補正階調値を算出することを特徴とする（第９発明）。

第９発明によれば、前記第１参照階調値を前記階調相違度合に応じて補正することにより、前記補正階調値と前記透明画素の階調値とのばらつきを抑制して、前記広ダイナミックレンジ画像を生成することができる。

また、第９発明において、前記画像生成部は、前記第１参照階調値と前記補正階調値の間で、同一レンジの値に変換して重み付けをした加算を行うことにより前記第１合成階調値を算出し、前記第２参照階調値と前記透明画素の階調値との間で、同一レンジの値に変換して重み付けをした加算を行うことにより前記第２合成階調値を算出することを特徴とする（第１０発明）。

第１０発明によれば、前記撮像素子のカラー受光画素と透明受光画素の感度差による前記広ダイナミックレンジ画像の各画素間の不連続性により、前記広ダイナミックレンジ画像が不自然な画像になることを抑制することができる。

また、第８発明から第１０発明のうちのいずれかにおいて、前記画像生成部は、前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成し、
検知対象物の種別又は前記カメラの撮像条件に応じて、前記カラー画像から対象物を検知する第２対象物検知処理と、前記広ダイナミックレンジ画像から対象物を検知する第３対象物検知処理とを、切替えて実行する対象物検知部を備えたことを特徴とする（第１１発明）。

第１１発明によれば、色情報を有する対象物（道路に敷設された白線・黄線、信号機の赤・青点灯等）を検知するときには、前記カラー画像を用いる前記第２対象物検知処理により、また、低輝度から高輝度までの幅広い輝度の対象物（夜間における車両、歩行者等）を検知するときには、前記広ダイナミックレンジ画像を用いる第３対象物検知処理により、種々の対象物を検知することができる。

画像処理装置の構成図。 撮像素子のフィルタ及びカメラによる撮像画像の説明図。 画像処理装置の作動フローチャート。 カラー画像及び高感度画像の説明図。 広ダイナミックレンジ画像の説明図。 他の実施形態での撮像素子のフィルタ及びカメラによる撮像画像の説明図。

本発明の画像処理装置の実施形態について、図１〜図６を参照して説明する。図１を参照して、本実施形態の画像処理装置は、車両１に搭載されたカメラ２と、カメラ２と接続された画像コントローラ３とにより構成されている。

カメラ２は、フィルタ２１が組み込まれた撮像素子２２（ＣＣＤ、ＣＭＯＳ等）により、車両１の周囲を撮像し、撮像データを制御回路３０に出力する。撮像素子２２は、ｍ×ｎ個の複数の受光素子を２次元に配置して構成されている。

図２（ａ）を参照して、フィルタ２１は、Ｒ（赤）Ｇ（緑）Ｂ（青）の３原色のカラーフィルタのいずれかを、撮像素子２２のｍ×ｎ個の各受光画素の受光経路に配置して、取り付けられている。なお、カラーフィルタとして、ＲＧＢ以外の他の種類のカラーフィルタ（ＣyＭgＹの補色系フィルタ等）を用いてもよい。

そして、カメラ２は、Ｒフィルタが装着されたＲ受光画素（図中Ｒ₁₁，Ｒ₁₅，…で示している。本発明のカラー受光画素に相当する）、Ｇフィルタが装着されたＧ受光画素（図中Ｇ₁₂，Ｇ₁₄，…で示している。本発明のカラー受光画素に相当する）、Ｂフィルタが装着されたＢ受光画素（図中Ｂ₁₃，Ｂ₃₁，…で示している。本発明のカラー受光画素に相当する）、及びフィルタ２１が装着されていないＷ受光画素（図中Ｗ₂₂，Ｗ₂₄，…で示している。本発明の透明受光画素に相当する）による所定時間あたりの受光レベルに応じた階調値のデータを、撮像データとして画像コントローラ３に出力する。

画像コントローラ３は、図示しないＣＰＵ，メモリ，入出力回路等により構成された制御回路３０と、画像メモリ４０と、ＣＡＮ（Controller Area Network）ドライバ５０とを有している。

制御回路３０は、メモリに保持された画像処理用プログラムをＣＰＵで実行することにより、原画像取得部３１、カラー画像生成部３２と高感度画像生成部３３と広ダイナミックレンジ画像生成部３４とを有する画像生成部３５、及び対象物検知部３６として機能する。なお、原画像取得部３１、画像生成部３５、及び対象物検知部３６の一部又は全部をハードウェアにより構成してもよい。

原画像取得部３１は、カメラ２に制御信号を出力して車両１の周囲の画像を撮像させ、カメラ２から出力される撮像データにより、原画像４１のデータを取得して画像メモリ４０に保持する。

原画像４１は、図２（ｂ）に示したように、図２（ａ）に示した撮像素子２２による各受光画素（Ｒ受光画素、Ｇ受光画素、Ｂ受光画素、Ｗ受光画素）の階調値を、対応する配置位置の画素（配置位置が同じ画素）の階調値として個別に割り当てたものになっている。図２（ｂ）においては、各画素の階調値をＳ（大文字）＋小文字ｒ，ｇ，ｂ，ｗのいずれか＋i,j（i=1,2,…,m、j=1,2,…,n）で示している。

ここで、ｒは図２（ａ）のＲ受光画素に対応した配置位置の画素（以下、Ｒ画素という。本発明のカラー画素に相当する）の階調値を示し、ｇは図２（ａ）のＧ受光画素に対応した配置位置の画素（以下、Ｇ画素という。本発明のカラー画素に相当する）の階調値を示し、ｂは図２（ａ）のＢ受光画素に対応した配置位置の画素（以下、Ｂ画素という。本発明のカラー画素に相当する）の階調値を示し、ｗは図２（ａ）のＷ受光画素に対応した配置位置の画素（以下、Ｗ画素という。本発明の透明画素に相当する）の階調値であることを示している。

画像生成部３５のカラー画像生成部３２は、原画像４１からカラー画像４２を生成してそのデータを画像メモリ４０に保持する。高感度画像生成部３３は、原画像４１及びカラー画像４２から高感度画像４３を生成してそのデータを画像メモリ４０に保持する。広ダイナミックレンジ画像生成部３４は、カラー画像４２及び高感度画像４３から、広ダイナミックレンジ画像４４を生成してそのデータを画像メモリ４０に保持する。カラー画像４２、高感度画像４３、及び広ダイナミックレンジ画像４４の生成処理の詳細については、後述する。

対象物検知部３６は、カラー画像４２、高感度画像４３、及び広ダイナミックレンジ画像４４を用いて、車両１が走行中の道路に敷設されたレーンマーク、他車両、信号機、歩行者等を検知し、検知結果に応じて車両コントローラ６に対して各種の制御信号を送信する。

車両コントローラ６は、図示しないＣＰＵ，メモリ，入出力回路等により構成された電子回路ユニットであり、メモリに保持された車両１の制御用プログラムをＣＰＵで実行することによって、操舵装置７１の作動を制御する操舵制御部６１、制動装置７２の作動を制御する制動制御部６２、及びディスプレイ７３の表示を制御するディスプレイ表示制御部６３として機能する。画像コントローラ３と車両コントローラ６は、ＣＡＮドライバ５０，６４を介して相互に通信を行う。

次に、図３に示したフローチャートに従って、制御回路３０による各種画像の生成と、画像からの対象物検知の処理について説明する。

図３のＳＴＥＰ１は原画像取得部３１による処理である。原画像取得部３１は、カメラ２から出力される撮像データにより、原画像４１（図２（ｂ）参照）を取得して画像メモリ４０に保持する。

『１．カラー画像の生成処理』
続くＳＴＥＰ２はカラー画像生成部３２による処理である。カラー画像生成部３２は、原画像４１の各画素の階調値に基づいて、図４（ａ）に示したカラー画像４２を生成する。図４（ａ）のカラー画像では、各画素の階調値をＣ_i,j（ｉ＝１，２…，ｍ、ｊ＝１，２，…，ｎ）で表している。

Ｃ_i,jは、以下のように、Ｒ値（Ｃ_i,jr、Ｒの階調値）、Ｇ値（Ｃ_i,jg、Ｇの階調値）、及びＢ値（Ｃ_i,jb、Ｂの階調値）という三つの階調値の要素を有している。
Ｃ_i,j＝｛Ｃ_i,jr、Ｃ_i,jg、Ｃ_i,jb｝
［１-1．Ｃ_i,jに対するＧ値の割り当て］
カラー画像生成部３２は、先ず、カラー画像４２の各画素（Ｃ_i,j）に割り当てるＧ値（Ｃ_i,jg）を算出する。原画像４１のＧ画素（階調値がＳg_i,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＧ値とする。例えば、カラー画像生成部３２は、原画像４１の（ｉ，ｊ）＝（２，３）の画素の階調値（Ｓg_2,3）を、カラー画像４２の（ｉ，ｊ）＝（２，３）の画素のＧ値（Ｃ_2,3g）とする。

また、原画像４１のＲ画素（階調値がＳr_i,jである画素），Ｂ画素（階調値がＳb_i,jである画素），Ｗ画素（階調値がＳw_i,jである画素）については、図２（ｂ）に示したように、上下左右に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３２は、対象とするＲ，Ｂ，Ｗ画素の上下左右に隣接するＧ画素の階調値（Ｓg_i-1,j，Ｓg_i+1,j，Ｓg_i,j-1，Ｓg_i,j+1）について、以下の式（１）〜式（４）により、カラー画像４２の対応する配置位置の画素に割り当てるＧ値（Ｃ_i,jg）を算出する。

なお、以下の式（１），式（２）によるＩ１とＩ２が等しくなったとき（Ｉ１＝Ｉ２）は、以下の式（３）又は式（４）のいずれかによるＣ_i,jgをＧ値とすればよい。後述するＩ２，Ｊ２〜Ｉ６，Ｊ６についても同様である。

［１-2．Ｃ_i,jに対するＲ値の割り当て］
次に、カラー画像生成部３２は、カラー画像４２の各画素（Ｃ_i,j）に割り当てるＲ値（Ｃ_i,jr）を算出する。原画像４１のＲ画素（階調値がＳr_i,jである画素）については、自身のＲ値（Ｓr_i,j）をカラー画像４２の対応する位置の画素のＲ値（Ｃ_i,jr）とする。例えば、カラー画像生成部３２は、原画像４１の（ｉ，ｊ）＝（３，３）の画素の階調値（Ｓr_3,3）を、カラー画像４２の（ｉ，ｊ）＝（３，３）の画素のＲ値（Ｃ_3,3r）とする。

また、原画像４１のＢ画素（階調値がＳb_i,jである画素）については、図２（ｂ）に示したように、上下左右の２個目の画素がＲ画素になっている。そのため、カラー画像生成部３２は、対象とするＢ画素について、以下の式（５）〜（８）により、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃ_i,jr）を算出する。

また、原画像４１のＷ画素（階調値がＳw_i,jである画素）については、図２（ｂ）に示したように、右斜め上と左斜め下、或いは左斜め上と右斜め下に、Ｒ画素が配置されている。そのため、カラー画像生成部３２は、以下の式（９），式（１０）により、対象とする原画像４１のＷ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃ_i,jr）を算出する。

また、原画像４１のＧ画素については、図２（ｂ）に示したように上下左右の何れかにＲ画素が配置されている。そのため、カラー画像生成部３２は、以下の式（１１）〜式（１４）により、対象とする原画像４１のＧ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃ_i,jr）を算出する。

［１-3．Ｃ_ijに対するＢ値の割り当て］
次に、カラー画像生成部３２は、カラー画像４２の各画素に割り当てるＢ値（Ｃ_i,jb）を算出する。原画像４１のＢ画素（階調値がＳb_i,jである画素）については、自身の階調値をカラー画像４２の対応する位置の画素のＢ値とする。例えば、カラー画像生成部３２は、原画像４１の（ｉ，ｊ）＝（３，５）の画素の階調値（Ｓb_3,5）を、カラー画像４２の（ｉ，ｊ）＝（３，５）の画素のＢ値（Ｃ_3,5b）とする。

また、原画像４１のＲ画素については、図２（ｂ）に示したように、上下左右の２個目の画素がＢ画素になっている。そのため、カラー画像生成部３２は、対象とするＲ画素について、以下の式（１５）〜（１８）により、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃ_i,jb）を算出する。

また、Ｗ画素（階調値がＳw_i,jである画素）については、図２（ｂ）に示したように、右斜め上と左斜め下、或いは左斜め上と右斜め下に、Ｂ画素が配置されている。そのため、カラー画像生成部３２は、以下の式（１９），式（２０）により、対象とするＷ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃ_i,jb）を算出する。

また、Ｇ画素（階調値がＳg_i,jである画素）については、図２（ｂ）に示したように上下左右の何れかに隣接する一つの画素がＢ画素になっている。そこで、カラー画像生成部３２は、以下の式（２１）〜式（２４）により、対象とするＧ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃ_i,jb）を算出する。

以上の処理により、カラー画像生成部３２は、カラー画像４２の各画素に割り当てるＲ値（Ｃ_i,jr），Ｇ値（Ｃ_i,jg），Ｂ値（Ｃ_i,jb）を算出して、カラー画像４２を生成する。

『２．高感度画像の生成処理』
次のＳＴＥＰ３は、高感度画像生成部３３による処理である。高感度画像生成部３３は、原画像４１のＷ画素の階調値（Ｓw_i,j）とカラー画像４２の各画素のＲ，Ｇ，Ｂ値とにより、高感度画像４３の各画素に割り当てる階調値（Ｈ_i,j）を算出する。

高感度画像生成部３３は、先ず、以下の式（２５）により、カラー画像４２の各画素についてグレーの参照階調値Ｙ_i,jを算出する。なお、原画像４１のＲ画素，Ｇ画素，Ｂ画素に対応するカラー画像４２の画素について、以下の式（２５）により算出した参照階調値が本発明の第１参照階調値に相当する。また、原画像４１のＷ画素に対応するカラー画像４２の画素について、以下の式（２５）により算出した参照階調値が本発明の第２参照階調値に相当する。

但し、Ｙ_i,j：参照階調値、Ｃ_i,jr：カラー画像４２の各画素Ｃ_i,jのＲ値、Ｃ_i,jg：カラー画像４２の各画素Ｃ_i,jのＧ値、Ｃ_i,jb：カラー画像４２の各画素Ｃ_i,jのＢ値、０．３，０．５９，０．１１：重み付け係数，実験等により決定したものであり、他の値を用いてもよい。

そして、高感度画像生成部３３は、以下の式（２６）により、原画像４１の各Ｗ画素の階調値Ｓw_i,jと、各Ｗ画素に対応する配置位置のカラー画像４２の画素の参照階調値Ｙ_ijとの比ａ_i,jを、感度差補正係数として算出する。なお、感度差補正係数ａ_i,jは、本発明の階調相違度合に相当する。

［２-1．Ｗ画素に対応する階調値Ｈ_i,jの割り当て］
高感度画像生成部３３は、原画像４１のＷ画素の階調値（Ｓw_i,j）を、高感度画像４３の対応する配置位置の画素の階調値（Ｈ_i,j）に割り当てる。

［２-2．Ｇ画素に対応する階調値Ｈ_i,jの割り当て］
図２（ｂ）に示した原画像４１において、Ｇ画素の左右又は上下にＷ画素が配置されている。そのため、高感度画像生成部３３は、以下の式（２７）、式（２８）により、原画像４１のＧ画素に対応する配置位置の高感度画像４３の画素に割り当てる階調値（Ｈ_i,j）を算出する。なお、以下の式（２７），式（２８）により算出した階調値（Ｈ_i,j）は、本発明の補正階調値に相当する。

［２-3．Ｒ，Ｂ画素に対応する階調値Ｈ_i,jの割り当て］
図２（ｂ）に示した原画像４１において、Ｒ画素及びＢ画素の斜め上下にＷ画素が配置されている。そのため、高感度画像生成部３３は、以下の式（２９）により、原画像４１のＲ，Ｂ画素に対応する位置の高感度画像４３の画素に割り当てる階調値（Ｈ_i,j）を算出する。なお、以下の式（２９）により算出した階調値（Ｈ_i,j）は、本発明の補正階調値に相当する。

以上の処理により、高感度画像生成部３３は、図４（ｂ）に示したように、原画像４１の各画素に対応した画素に、階調値（Ｈ_i,j）を割り当てた高感度画像４３を生成することができる。

『３．広ダイナミックレンジ画像の生成処理』
次のＳＴＥＰ４は、広ダイナミックレンジ画像生成部３４による処理である。広ダイナミックレンジ画像生成部３４は、カラー画像４２と高感度画像４３の対応する配置位置の画素（配置位置が同じ画素）間で、以下の式（３０）の重み付け関数を用いた加算を行って、広ダイナミックレンジ画像４４の各画素に割り当てる階調値（Ｄ_i,j）を算出する。

但し、ｗ(x)：シグモイド関数、ｇ：ゲイン。なお、上記式（３０）は重み付け関数の一例であり、他の重み付け関数を用いてもよい。

広ダイナミックレンジ画像生成部３４は、高感度画像４３の階調値（Ｈ_i,j）を最大階調値（分解能が８bitであれば２５５、１０bitであれば１０２３）に対して規格化した規格化階調値（ｈ_i,j）と、カラー画像４２から上記式（２５）により算出した参照階調値（Ｙ_i,j）を、最大階調値で規格化した規格化階調値（ｙ_i,j）から、以下の式（３１）により、規格化合成階調値（ｈdr_i,j）を算出する。

なお、階調値を最大階調値に対して規格化するとは、階調値を最大階調値で除することを意味し、例えば、Ｈ_i,j＝２００，Ｙ_i,j＝６５で、最大階調値が２５５であるときには、ｈ_i,j＝２００／２５５，ｙ_i,j＝６５／２５５となる。規格化を行うことによって、高感度画像４３の階調値（Ｈ_i,j)と参照階調値（Ｙ_i,j)が同一レンジの値に変換される。

但し、ｈ_i,j，ｙ_i,j：規格化階調値、ａ'：Ｗ画素に対応する画素を対象とするときは、上記式（２６）により算出した当該画素の感度差補正係数ａ_i,j、Ｒ，Ｇ，Ｂに対応する画素を対象とするときは、周囲に配置されたＷ画素に対応する画素の感度差補正係数ａ_i,j。

さらに、低階調のコントラスを保つために、以下の式（３２）により規格化合成階調値（ｈdr_i,j）にγ変換処理を行う。なお、以下の式（３２）により、第１参照階調値と補正階調値を合成した階調値（Ｄ_i,j）が、本発明の第１合成階調値に相当する。また、以下の式（３２）により、第２参照階調値と透明画素の階調値を合成した階調値（Ｄ_i,j）が、本発明の第２合成階調値に相当する。

但し、Ｄ_i,j：広ダイナミックレンジ画像の階調値、Ｍb：最大階調値。

以上の処理により、広ダイナミックレンジ画像生成部３４は、図５に示したように、原画像４１の各画素に対応した画素に、階調値（Ｄ_i,j）を割り当てた広ダイナミックレンジ画像４４を生成することができる。

『４．対象物検知処理』
続くＳＴＥＰ５〜ＳＴＥＰ７、及びＳＴＥＰ２０は、対象物検知部３６による処理である。対象物検知部３６は、検知対象物の種別又はカメラ２の撮像条件に応じて、カラー画像４２から対象物を検知する処理（本発明の第２対象物検知処理に相当する）と、高感度画像４３から対象物を検知する処理（本発明の第１対象物検知処理に相当する）と、広ダイナミックレンジ画像４４から対象物を検知する処理（本発明の第３対象物検知処理に相当する）とを切替える。

［４-1．高感度画像による対象物検知］
対象物検知部３６は、ＳＴＥＰ５で、高感度画像４３から歩行者を検知する。歩行者は低輝度である場合が多いため、高感度画像４３を用いることによって、車両１の周辺に存在する歩行者を精度良く検知することができる。なお、ＳＴＥＰ５による高感度画像４３から対象物を検知する処理は、本発明の第１対象物検知処理に相当する。

対象物検知部３６は、歩行者を検知したときに、車両１との接触可能性の有無を判断する。そして、車両１との接触可能性有りと判断したときには、車両コントローラ６に対して接触回避措置の実施を指示する制御信号を送信する。

この制御信号の受信に応じて、車両コントローラ６のディスプレイ表示制御部６３は、ディスプレイ７３に警報表示を行う。また、制動制御部６２は、必要に応じて、制動装置７２を作動させて接触を回避する処理を行う。

続くＳＴＥＰ６で、対象物検知部３６は、夜間であるか否かを判断する。なお、夜間であるか否かは、例えば、車両１に備えられたヘッドライト（図示しない）の点灯／消灯の状態から判断する。また、車両１に照度センサを備え、照度センサによる検出照度から夜間であるか否かを判断してもよい。

［４-2．広ダイナミックレンジ画像による対象物検知］
夜間であったときには、ＳＴＥＰ２０に分岐し、対象物検知部３６は、広ダイナミックレンジ画像４４から、他車両、歩行者を検知する。ここで、夜間においては、暗い物体から明るい物体まで、広い範囲の輝度の物体を検知する必要がある。

ここで、暗い物体としては、車両１のヘッドライトの照射領域外の遠方の他車両や、割込み車両、飛出し車両、或いは、車両１のヘッドライトの照射領域外の歩道上の歩行者や、横断中の歩行者等が挙げられる。また、明るい物体としては、前走車のテールランプやストップランプ、対向車のヘッドライト、車両１のヘッドライトに照射されている歩行者等が挙げられる。

そこで、夜間においては、広ダイナミックレンジ画像４４を用いることによって、他車両、歩行者を検知することができる。なお、ＳＴＥＰ２０による広ダイナミックレンジ画像４４から対象物を検知する処理は、本発明の第３対象物検知処理に相当する。

対象物検知部３６は、接触可能性がある歩行者又は他車両を検知したときには、上述したように、車両コントローラ６に対して、接触回避措置の実施を指示する制御信号を送信する。また、信号機を検知したときには、対象物検知部３６は、必要に応じて車両コントローラ６に車両１の制動を指示する制御信号を送信し、この制御信号の受信に応じて、制動制御部６２が制動装置７２を作動させて車両１を制動する。

［４-3．カラー画像による対象物検知］
ＳＴＥＰ６で夜間でなかったときにはＳＴＥＰ７に進み、対象物検知部３６は、カラー画像４２から道路に敷設されたレーンマーク、他車両、及び信号機を検知する。ここで、昼間の天空照度が十分に高いときには、レーンマーク、他車両、及び信号機を検知するために、高い感度は必要なく、色情報を高コントラストで取得する必要がある。

そこで、対象物検知部３６は、カラー画像４２からレーンマーク、他車両、及び信号機を検知する。その際、対象物検知部３６は、レーンマークの色（白線、黄線等）からレーンマークの属性を判断する。また、対象物検知部３６は、前走車のブレーキランプから前走車の減速を判断し、追突可能性の有無を判断する。なお、ＳＴＥＰ７によるカラー画像４２から対象物を検知する処理は、本発明の第２対象物検知処理に相当する。

そして、対象物検知部３６は、レーンマークの検知位置から車両１を車線内に維持して走行させるレーンキープ制御のための制御信号を車両コントローラ６に送信し、この制御信号の受信に応じて、操舵制御部６１が操舵装置７１の作動を制御する。

また、対象物検知部３６は、接触可能性がある他車両を検知したときに、上述したように、車両コントローラ６に対して、接触回避措置の実施を指示する信号を送信する。さらに、対象物検知部３６は、前方信号機の赤点灯を検知したときに、運転者による制動操作がなされていないときには、警報信号を車両コントローラ６に送信し、この警報信号の受信に応じて、ディスプレイ表示制御部６３はディスプレイに警報表示を行う。また、必要に応じて、制動制御部６２は、制動装置７２を作動させて車両１を制動する。

『５．他の種類のフィルタを用いた場合のカラー画像の生成処理』
次に、図６を参照して、フィルタ２１のＲＧＢＷの配置が異なる場合のカラー画像４２、高感度画像４３、及び広ダイナミックレンジ画像４４の生成処理について説明する。

図６（ａ）に示したようにＲＧＢＷが配置されたフィルタ２１−１を用いた場合、カメラ２により撮像される原画像４１−１は、図６（ｂ）に示したようになる。図６（ｂ）は、図２（ｂ）と同様に、各画素の階調値をＳ(r,g,b,w)_i,jで表している。

［５-1．Ｃ_i,jに対するＧ値の割り当て］
カラー画像生成部３２は、先ず、カラー画像４２の各画素（Ｃ_i,j）に割り当てるＧ値（Ｃ_i,jg）を算出する。原画像４１−１のＧ画素（階調値がＳg_i,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＧ値とする。例えば、カラー画像生成部３２は、原画像４１−１の（ｉ，ｊ）＝（２，２）の画素の階調値（Ｓg_2,2）を、カラー画像４２の（ｉ，ｊ）＝（２，２）の画素のＧ値（Ｃ_2,3g）とする。

また、原画像４１−１のＲ画素（階調値がＳr_i,jである画素）、及びＢ画素（階調値がＳb_i,jである画素）については、図６（ｂ）に示したように、斜め上下に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３２は、対象とするＲ，Ｂ画素の斜め上下に隣接するＧ画素の階調値（Ｓg_i+1,j+1，Ｓg_i-1,j-1，Ｓg_i-1,j+1，Ｓg_i+1,j-1）について、以下の式（３３）〜式（３６）により、カラー画像４２の対応する位置の画素に割り当てるＧ値（Ｃ_i,jg）を算出する。

また、原画像４１−１のＷ画素（階調値がＳw_i,jである画素）については、図６（ｂ）に示したように、上下又は左右に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３２は、対象とするＷ画素の上下又は左右に隣接するＧ画素の階調値（Ｓg_i-1,j，Ｓg_i+1,j，Ｓg_i,j-1，Ｓg_i,j+1）について、以下の式（３７）〜式（３８）により、カラー画像４２の対応する配置位置の画素に割り当てるＧ値（Ｃ_i,jg）を算出する。

［５-2．Ｃ_i,jに対するＲ値の割り当て］
次に、カラー画像生成部３２は、カラー画像４２の各画素に割り当てるＲ値（Ｃ_i,jr）を算出する。原画像４１−１のＲ画素（階調値がＳr_i,jである画素）については、自身の階調値をカラー画像４２のＲ値とする。例えば、カラー画像生成部３２は、原画像４１−１の（ｉ，ｊ）＝（３，３）の画素の階調値（Ｓr_3,3）を、カラー画像４２の（ｉ，ｊ）＝（３，３）の画素のＲ値（Ｃ_3,3r）とする。

また、原画像４１−１のＢ画素（階調値がＳb_i,jである画素）については、図６（ｂ）に示したように、上下左右にＷ画素が隣接すると共に、上下左右の２個目の画素がＲ画素になっている。そこで、カラー画像生成部３２は、対象とするＢ画素の上下左右の２個目のＲ画素の階調値（Ｓr_i+2,j，Ｓr_i-2,j，Ｓr_i,j+2，Ｓr_i,j-2）について、以下の式（３９）〜式（４２）により、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃ_i,jr）を算出する。

また、原画像４１−１のＧ画素（階調値がＳg_i,jである画素）については、図６（ｂ）に示したように、斜め右上と斜め左下又は斜め左上と斜め右下に隣接する画素が、Ｒ画素になっている。そこで、カラー画像生成部３２は、原画像４１−１の対象とするＧ画素の斜め上下に隣接するＲ画素の階調値（Ｓr_i+1,j+1，Ｓr_i-1,J-1，Ｓr_i-1,j+1，Ｓr_i+1,j-1）について、以下の式（４３）〜式（４４）により、カラー画像４２の対応する位置の画素に割り当てるＲ値（Ｃ_i,jr）を算出する。

また、原画像４１のＷ画素（階調値がＳw_i,jである画素）については、上下左右のいずれかに隣接する一つの画素がＲ画素になっている。そこで、カラー画像生成部３２は、以下の式（４５）〜式（４８）により、原画像４１の対象とするＷ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃ_i,jr）を算出する。

［５-3．Ｃ_i,jに対するＢ値の割り当て］
次に、カラー画像生成部３２は、カラー画像４２の各画素に割り当てるＢ値（Ｃ_i,jb）を算出する。原画像４１−１のＢ画素（階調値がＳb_i,jである画素）については、自身の階調値をカラー画像４２のＢ値とする。例えば、カラー画像生成部３２は、原画像４１−１の（ｉ，ｊ）＝（３，５）の階調値（Ｓb_3,5）を、カラー画像４２の（ｉ，ｊ）＝（３，５）の画素のＢ値（Ｃ_3,5b）とする。

また、原画像４１−１のＲ画素（階調値がＳr_i,jである画素）については、図６（ｂ）に示したように、上下左右にＷ画素が隣接すると共に、上下左右の２個目の画素がＢ画素になっている。そこで、カラー画像生成部３２は、対象とするＢ画素の上下左右の２個目のＢ画素の階調値（Ｓb_i+2,j，Ｓb_i-2,j，Ｓb_i,j+2，Ｓb_i,j-2）について、以下の式（４９）〜式（５２）により、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃ_i,jb）を算出する。

また、原画像４１−１のＧ画素（階調値がＳg_i,jである画素）については、図６（ｂ）に示したように、斜め右上と斜め左下又は斜め左上と斜め右下に隣接する画素が、Ｂ画素になっている。そこで、カラー画像生成部３２は、原画像４１−１の対象とするＧ画素の斜め上下に隣接するＢ画素の階調値（Ｓb_i+1,j+1，Ｓb_i-1,J-1，Ｓb_i-1,j+1，Ｓb_i+1,j-1）について、以下の式（５３）〜式（５４）により、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃ_i,jb）を算出する。

また、原画像４１−１のＷ画素（階調値がＳw_i,jである画素）については、上下左右のいずれかに隣接する一つの画素がＢ画素になっている。そこで、カラー画像生成部３２は、以下の式（５５）〜式（５８）により、原画像４１−１の対象とするＷ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃ_i,jb）を算出する。

以上の処理により、カラー画像生成部３２は、原画像４１−１から、カラー画像４２の各画素に割り当てるＲ値（Ｃ_i,jr），Ｇ値（Ｃ_i,jg），Ｂ値（Ｃ_i,jb）を算出して、カラー画像４２を生成する。

『６．他の種類のフィルタを用いた場合の高感度画像の生成処理』
高感度画像生成部３３は、原画像４１−１のＷ画素の階調値（Ｓw_i,j）とカラー画像４２の各画素のＲ，Ｇ，Ｂ値とにより、高感度画像４３の各画素に割り当てる階調値（Ｈ_i,j）を算出する。

高感度画像生成部３３は、先ず、以下の式（５９）により、カラー画像４２の各画素についてグレーの参照階調値（Ｙ_i,j）を算出する。なお、原画像４１−１のＲ画素，Ｇ画素，Ｂ画素に対応するカラー画像４２の画素について、以下の式（５９）により算出した参照階調値が本発明の第１参照階調値に相当する。また、原画像４１−１のＷ画素に対応するカラー画像４２の画素について、以下の式（５９）により算出した参照階調値が本発明の第２参照階調値に相当する。

但し、Ｙ_i,j：参照階調値、Ｃ_i,jr：カラー画像４２の各画素Ｃ_i,jのＲ値、Ｃ_i,jg：カラー画像４２の各画素Ｃ_i,jのＧ値、Ｃ_i,jb：カラー画像４２の各画素Ｃ_i,jのＢ値、０．３，０．５９，０．１１：重み付け係数，実験等により決定したものであり、他の値を用いてもよい。

そして、高感度画像生成部３３は、以下の式（６０）により、原画像４１−１の各Ｗ画素の階調値（Ｓw_i,j）と、各Ｗ画素に対応する配置位置のカラー画像４２の画素の参照階調値（Ｙ_i,j）との比（ａ_i,j）を、感度差補正係数として算出する。なお、感度差補正係数ａ_i,jは、本発明の階調相違度合に相当する。

［６-1．Ｗ画素に対応する階調値Ｈ_i,jの割り当て］
高感度画像生成部３３は、原画像４１−１のＷ画素の階調値（Ｓw_i,j）を、高感度画像４３の対応する配置位置の画素の階調値（Ｈ_i,j）に割り当てる。

［６-2．Ｇ，Ｒ，Ｂ画素に対応する階調値Ｈ_i,jの割り当て］
図２（ｂ）に示した原画像４１において、Ｇ画素，Ｒ画素，及びＢ画素の上下左右には、いずれもＷ画素が隣接して配置されている。そのため、高感度画像生成部３３は、以下の式（６１）〜式（６４）により、原画像４１−１のＧ画素，Ｒ画素，及びＢ画素に対応する配置位置の高感度画像４３の画素に割り当てる階調値（Ｈ_i,j）を算出する。

以上の処理により、高感度画像生成部３３は、原画像４１−１及びカラー画像４２から、高感度画像４３の各画素に割り当てる階調値（Ｈ_i,j）を算出して、高感度画像４３を生成する。

『７．他の種類のフィルタを用いた場合の広ダイナミックレンジ画像の生成処理』
広ダイナミックレンジ画像生成部３４は、上述した『３．広ダイナミックレンジ画像生成処理』と同様に、原画像４１−１から生成したカラー画像４２と高感度画像４３の配置位置が同じ各画素間で、重み付け関数を用いた合成処理を行って、広ダイナミックレンジ画像４４を生成する。

なお、本実施形態では、本発明の画像処理装置を車両１に搭載した例を示したが、特にこの実施形態に限定されず、監視装置等の種々の用途に本発明を適用することができる。

また、本実施形態では、図２（ａ）及び図６（ａ）に示した２種類のフィルタを示したが、カラーフィルタを介して受光する受光画素とカラーフィルタを介さずに受光する受光画素とを配置して構成された撮像素子により、撮像するカメラの撮像画像であれば、本発明を適用して高感度画像を生成することができる。

また、本実施形態では、上記式（２６）、式（６０）により、原画像４１，４１−１の各Ｗ画素の階調値（Ｓw_i,j）と、各Ｗ画素に対応する配置位置のカラー画像４２の画素の参照階調値（Ｙ_i,j）との比（ａ_i,j）を、感度差補正係数として算出し、感度差補正係数ａを用いて、上記式（２７）〜式（２９），上記式（６１）〜式（６４）により、高感度画像の各画素の階調値（Ｈ_i,j）を算出した。しかし、本発明の階調相違度合として、各Ｗ画素の階調値（Ｓw_i,j）と参照階調値（Ｙ_i,j）との差等、Ｗ画素の階調値（Ｓw_i,j）に基づく他の指標を用いて、高感度画像の各階調値（Ｈ_i,j）を算出してもよい。

本発明は、カラーフィルタを介して受光する画素と、カラーフィルタを介さずに受光する画素とを配置した撮像素子を用いたカメラの撮像画像から、高感度画像、広ダイナミックレンジ画像等を生成するために利用することができる。

１…車両、２…カメラ、３…画像コントローラ、６…車両コントローラ、２１（２１−１）…フィルタ、２２…撮像素子、３０…制御回路、３１…原画像取得部、３２…カラー画像生成部、３３…高感度画像生成部、３４…広ダイナミックレンジ画像生成部、３５…画像生成部、３６…対象物検知部、４１（４１−１）…原画像、４２…カラー画像、４３…高感度画像、４４…広ダイナミックレンジ画像。

Claims (11)

1. カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを、配置した撮像素子により、撮像するカメラと、
   前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像に対して、
   前記各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したグレーの第１参照階調値を、周囲に配置された透明画素の階調値に応じて補正した補正階調値を算出し、
   前記各カラー画素の補正階調値に基づいて、高感度画像と広ダイナミックレンジ画像とのうちの少なくともいずれか一方を生成する画像生成部と
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像生成部は、前記各カラー画素の補正階調値及び前記各透明画素の階調値を、前記高感度画像の対応する配置位置の画素の階調値として割り当てることにより、前記高感度画像を生成することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
   前記画像生成部は、
   前記原画像の各透明画素について、周囲に配置されたカラー画素の階調値に基づいて３原色の各階調値を算出し、該３原色の各階調値から算出したグレーの第２参照階調値と、自身の階調値との階調相違度合を算出し、
   前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて３原色の各階調値を算出して、該３原色の各階調値から前記第１参照階調値を算出し、
   前記第１参照階調値を、周囲に配置された透明画素の前記階調相違度合に基づいて補正することによって、前記補正階調値を算出することを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記画像生成部は、
   前記原画像の各カラー画素について、自身の前記第１参照階調値と前記高感度画像の対応する配置位置の画素の階調値を合成した第１合成階調値を、広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当て、
   前記原画像の各透明画素について、自身の前記第２参照階調値と前記高感度画像の対応する配置位置の階調値を合成した第２合成階調値を、広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当てることにより、広ダイナミックレンジ画像を生成することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記画像生成部は、前記第１参照階調値及び前記第２参照階調値と、前記高感度画像の階調値との間で、同一レンジの値に変換して重み付けをした加算を行うことにより、前記第１合成階調値及び前記第２合成階調値を算出することを特徴とする画像処理装置。
6. 請求項２に記載の画像処理装置において、
   前記画像生成部は、前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成し、
   検知対象物の種別に応じて、前記高感度画像から対象物を検知する第１対象物検知処理と、前記カラー画像から対象物を検知する第２対象物検知処理とを、切替えて実行する対象物検知部を備えたことを特徴とする画像処理装置。
7. 請求項４に記載の画像処理装置において、
   前記画像生成部は、前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成し、
   検知対象物の種別又は前記カメラの撮像条件に応じて、前記高感度画像から対象物を検知する第１対象物検知処理と、前記カラー画像から対象物を検知する第２対象物検知処理と、前記広ダイナミックレンジ画像から対象物を検知する第３対象物検知処理とを、切替えて実行する対象物検知部を備えたことを特徴とする画像処理装置。
8. 請求項１に記載の画像処理装置において、
   前記画像生成部は、前記第１参照階調値と前記補正階調値を合成した第１合成階調値を、前記広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当て、
   前記各透明画素について、周囲に配置されたカラー画素の階調値に基づくグレーの第２参照階調値を算出し、該第２参照階調値と自身の階調値を合成した第２合成階調値を、前記広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当てることにより、前記広ダイナミックレンジ画像を生成することを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
   前記画像生成部は、
   前記原画像の各透明画素について、周囲に配置されたカラー画素の階調値に基づいて３原色の各階調値を算出し、該３原色の各階調値から前記第２参照階調値を算出して、自身の階調値と該第２参照階調値との階調相違度合を算出し、
   前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて３原色の各階調値を算出し、該３原色の各階調値から前記第１参照階調値を算出して、該第１参照階調値を周囲に配置された透明画素の前記階調相違度合に応じて補正することにより、前記補正階調値を算出することを特徴とする画像処理装置。
10. 請求項９に記載の画像処理装置において、
    前記画像生成部は、前記第１参照階調値と前記補正階調値の間で、同一レンジの値に変換して重み付けをした加算を行うことにより前記第１合成階調値を算出し、前記第２参照階調値と前記透明画素の階調値との間で、同一レンジの値に変換して重み付けをした加算を行うことにより前記第２合成階調値を算出することを特徴とする画像処理装置。
11. 請求項８に記載の画像処理装置において、
    前記画像生成部は、前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成し、
    検知対象物の種別又は前記カメラの撮像条件に応じて、前記カラー画像から対象物を検知する第２対象物検知処理と、前記広ダイナミックレンジ画像から対象物を検知する第３対象物検知処理とを、切替えて実行する対象物検知部を備えたことを特徴とする画像処理装置。

Images