JP5746116B2 - 車両用監視装置 - Google Patents
車両用監視装置 Download PDFInfo
- Publication number
- JP5746116B2 JP5746116B2 JP2012201015A JP2012201015A JP5746116B2 JP 5746116 B2 JP5746116 B2 JP 5746116B2 JP 2012201015 A JP2012201015 A JP 2012201015A JP 2012201015 A JP2012201015 A JP 2012201015A JP 5746116 B2 JP5746116 B2 JP 5746116B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- pixel
- image
- pixels
- sensitivity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Input (AREA)
- Closed-Circuit Television Systems (AREA)
Description
車両に搭載されて、カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを、該透明受光画素の配置密度を第1密度とした感度重視エリアと、該透明受光画素の配置密度を該第1密度よりも低い第2密度とした色解像度重視エリアとに区画して配置した撮像素子により撮像するカメラと、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像を取得する原画像取得部と、
前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成するカラー画像生成部と、
前記原画像の各カラー画素について、周囲に配置された透明画素の階調値に基づいて算出したグレーの階調値を、高感度画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各透明画素について、自身の階調値に基づいて算出したグレーの階調値を、高感度画像の対応する配置位置の画素の階調値として割り当てることにより、高感度画像を生成する高感度画像生成部と、
前記カラー画像を用いて色に基づく対象物の検知を行うと共に、前記高感度画像を用いて輝度に基づく対象物の検知を行う対象物検知部とを備えたことを特徴とする(第1発明)。
前記カメラは、前記車両の前方を撮像範囲として前記車両に搭載され、
前記色解像度重視エリアは前記撮像素子の中央部に配置され、前記感度重視エリアは前記色解像度重視エリアの周囲に配置されていることを特徴とする(第2発明)。
前記色解像度重視エリアにおける前記カラー受光画素と前記透明受光画素の配置は、斜線の検出が容易な配置とされ、
前記対象物検知部は、前記カラー画像から、直線状に連続した特定色のレーンマークを検知することを特徴とする(第3発明)。
前記対象物検知部は、前記高感度画像から、画像部分が縦エッジ及び横エッジを有する対象物を検知することを特徴とする(第4発明)。
続くSTEP2はカラー画像生成部32による処理である。カラー画像生成部32は、原画像41の各画素の階調値に基づいて、図7(a)に示したカラー画像42を生成する。図7(a)のカラー画像では、各画素の階調値をCi,j(i=1,2…,m、j=1,2,…,n)で表している。
Ci,j={Ci,jr、Ci,jg、Ci,jb}
[1-1.Ci,jに対するG値の割り当て]
カラー画像生成部32は、先ず、図3(a),図4(a)に示した感度重視エリア25による原画像41の撮像範囲について、カラー画像42の各画素(Ci,j)に割り当てるG値(Ci,jg)を算出する。
次に、カラー画像生成部32は、カラー画像42の各画素に割り当てるR値(Ci,jr)を算出する。原画像41のR画素(階調値がSri,jである画素)については、自身の階調値をカラー画像42のR値とする。
次に、カラー画像生成部32は、カラー画像42の各画素に割り当てるB値(Ci,jb)を算出する。原画像41のB画素(階調値がSbi,jである画素)については、自身の階調値をカラー画像42の対応する配置位置の画素(配置位置が同じ画素)のB値とする。
[1-4.Ci,jに対するG値の割り当て]
次に、カラー画像生成部32は、図3(a),図4(b)に示した色解像度重視エリア26による原画像41の撮像範囲について、カラー画像42の各画素(Ci,j)に割り当てるG値(Ci,jg)を算出する。
次に、カラー画像生成部32は、図3(a),図4(b)に示した色解像度重視エリア26による原画像41の撮像範囲について、カラー画像42の各画素(Ci,j)に割り当てるR値(Ci,jr)を算出する。
次に、カラー画像生成部32は、図3(a),図4(b)に示した色解像度重視エリア26による原画像41の撮像範囲について、カラー画像42の各画素(Ci,j)に割り当てるB値(Ci,jb)を算出する。
感度重視エリア25と色解像度重視エリア26の境界エリアにおいては、例えば図5に示したように、図4(a)及び図4(b)に示した配列パターンとは異なる配列が存在する。そこで、ここでは、図5に示した配列パターンの受光画素G2,2,G2,4,R3,3,R3,5を例に、カラー画像42の対応する画素に割り当てるR値,G値,B値を算出する手順について説明する。
G値については、G2,2に対応する原画像41の画素の階調値Sg2,2をカラー画像42の対応する配置位置の画素(配置位置が同じ画素)のG値(C2,2g)とする。
G値については、G2,4に対応する原画像41の画素の階調値Sg2,4をカラー画像42の対応する配置位置の画素(配置位置が同じ画素)のG値(C2,4g)とする。
R値については、R3,3に対応する原画像41の画素の階調値Sr3,3をカラー画像42の対応する配置位置の画素(配置位置が同じ画素)のR値(C3,3r)とする。
R値については、R3,5に対応する原画像41の画素の階調値Sr3,5をカラー画像42の対応する配置位置の画素(配置位置が同じ画素)のR値(C3,5r)とする。
「感度重視エリアについて」
高感度画像生成部33は、先ず、図3(a),図4(a)に示した感度重視エリア25による原画像41の撮像範囲について、図7(b)に示した高感度画像43の各画素に割り当てる階調値(Hi,j)(グレーの階調値)を算出する。
高感度画像生成部33は、原画像41のW画素の階調値(Swi,j)を、高感度画像43の対応する配置位置の画素(配置位置が同じ画素)の階調値(Hi,j)に割り当てる。
図4(a)に示した感度重視エリア25の配列パターンから、原画像41の感度重視エリア25による撮像範囲において、R画素、G画素、及びB画素の上下左右には、いずれもW画素が隣接して配置されている。そのため、高感度画像生成部33は、以下の式(53)〜式(56)により、原画像41の感度重視エリア25による撮像範囲のG画素、R画素、及びB画素に対応する配置位置の高感度画像43の画素に割り当てる階調値(Hi,j)を算出する。
次に、高感度画像生成部33は、図3(a),図4(b)に示した色解像度重視エリア26による原画像41の撮像範囲について、図7(b)に示した高感度画像43の各画素に割り当てる階調値(Hi,j)を算出する。
高感度画像生成部33は、原画像41のW画素の階調値(Swi,j)を、高感度画像43の対応する配置位置の画素の階調値(Hi,j)に割り当てる。
図4(b)に示した色解像度重視エリア26の配列パターンから、原画像41の色解像度重視エリア26による撮像範囲においては、G画素の斜め上下にW画素が隣接して配置されている。そのため、高感度画像生成部33は、以下の式(57)〜式(60)により、原画像41のG画素に対応する配置位置の高感度画像43の画素に割り当てる階調値(Hi,j)を算出する。
図4(b)に示した色解像度重視エリア26の配列パターンから、原画像41の色解像度重視エリア26による撮像範囲においては、B画素の左右にW画素が隣接して配置されている。そのため、高感度画像生成部33は、B画素の左右に隣接するW画素の階調値(Swi,j+1,Swi,j-1)について、以下の式(61)により、原画像41の色解像度重視エリア26のB画素に対応する配置位置の高感度画像43の画素に割り当てる階調値(Hi,j)を算出する。
図4(b)に示した色解像度重視エリア26の配列パターンから、原画像41の色解像度重視エリア26による撮像範囲においては、R画素の上下にW画素が隣接して配置されている。そのため、高感度画像生成部33は、R画素の上下に隣接するW画素の階調値(Swi+1,j,Swi-1,j)について、以下の式(62)により、原画像41のR画素に対応する配置位置の高感度画像43の画素に割り当てる階調値(Hi,j)を算出する。
感度重視エリア25と色解像度重視エリア26との境界エリアにおいては、例えば図5に示したように、図4(a)及び図4(b)に示した配列パターンとは異なる配列が存在する。そこで、ここでは、図5に示した配列パターンの受光画素G2,2、G2,4、R3,3、R3,5を例に、高感度画像43の対応する画素に割り当てる階調値(Hi,j)の算出手順について説明する。
図5に示した境界エリア27の配列パターンから、原画像41におけるG受光画素G2,2に対応するG画素の上下左右に隣接する画素がW画素になっている。そこで、高感度画像生成部33は、このG画素の上下左右に隣接するW画素の階調値(Sw1,2,Sw2,3,Sw3,2,Sw2,1)について、以下の式(63)〜式(66)により、高感度画像43の対応する配置位置の画素に割り当てる階調値(H2,2)を算出する。
図5に示した境界エリア27の配列パターンから、原画像41におけるG受光画素G2,4に対応するG画素の上、左、右に隣接する画素がW画素になっている。そこで、高感度画像生成部33は、このG画素の上と左右に隣接するW画素の階調値(Sw2,5,Sw2,3,Sw1,4)について、以下の式(67)により、高感度画像43の対応する配置位置の画素に割り当てる階調値(H2,4)を算出する。
図5に示した境界エリア27の配列パターンから、原画像41におけるR受光画素R3,3に対応するR画素の上、下、左に隣接する画素がW画素になっている。そこで、高感度画像生成部33は、このR画素の上下と左に隣接するW画素の階調値(Sw4,3,Sw3,2,Sw2,3)について、以下の式(68)により、高感度画像43の対応する配置位置の画素に割り当てる階調値(H3,3)を算出する。
図5に示した境界エリア27の配列パターンから、原画像41におけるR受光画素R3,5に対応するR画素の上下に隣接する画素がW画素になっている。そこで、高感度画像生成部33は、このR画素の上下に隣接するW画素の階調値(Sw4,5,Sw2,5)について、以下の式(69)により、高感度画像43の対応する配置位置の画素に割り当てる階調値(H3,5)を算出する。
図6のSTEP4は、広ダイナミックレンジ画像生成部34による処理である。広ダイナミックレンジ画像生成部34は、カラー画像42と高感度画像43の対応する配置位置の画素(配置位置が同じ画素)間で、以下の式(70)の重み付け関数を用いた加算を行って、広ダイナミックレンジ画像44の各画素に割り当てる階調値(Di,j)を算出する。
図6のSTEP5〜STEP7、及びSTEP20は、対象物検知部36による処理である。対象物検知部36は、検知対象物の種別又はカメラ2の撮像条件に応じて、カラー画像42から対象物を検知する処理と、高感度画像43から対象物を検知する処理と、広ダイナミックレンジ画像44から対象物を検知する処理とを切替える。
対象物検知部36は、STEP5で、高感度画像43から歩行者を検知する。歩行者は低輝度である場合が多いため、高感度画像43を用いることによって、車両1の周辺に存在する歩行者を精度良く検知することができる。
夜間であったときには、STEP20に分岐し、対象物検知部36は、広ダイナミックレンジ画像44から、他車両、歩行者を検知する。ここで、夜間においては、暗い物体から明るい物体まで、広い範囲の輝度の物体を検知する必要がある。
STEP6で夜間でなかったときにはSTEP7に進み、対象物検知部36は、カラー画像42から、道路に敷設されたレーンマーク、他車両、及び信号機を検知する。ここで、昼間の天空照度が十分に高いときには、レーンマーク、他車両、及び信号機を検知するために、高い感度は必要なく、色情報を高コントラストで取得する必要がある。
次に、図9(a),図9(b)は、感度重視エリア用のRGBWの他の配列パターンを示したものである。図9(a)の配列パターンは、図4(a)に示したRGBWの配列パターンに対して、赤の解像度を高めたものである。図9(a)の配列パターンを採用することにより、高感度であって赤の解像度が高い撮像画像を得ることができるため、遠方の他車両のテールランプや信号機等の検知に有利である。
Claims (4)
- 車両に搭載されて、カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを、該透明受光画素の配置密度を第1密度とした感度重視エリアと、該透明受光画素の配置密度を該第1密度よりも低い第2密度とした色解像度重視エリアとに区画して配置した撮像素子により撮像するカメラと、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像を取得する原画像取得部と、
前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成するカラー画像生成部と、
前記原画像の各カラー画素について、周囲に配置された透明画素の階調値に基づいて算出したグレーの階調値を、高感度画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各透明画素について、自身の階調値に基づいて算出したグレーの階調値を、高感度画像の対応する配置位置の画素の階調値として割り当てることにより、高感度画像を生成する高感度画像生成部と、
前記カラー画像を用いて色に基づく対象物の検知を行うと共に、前記高感度画像を用いて輝度に基づく対象物の検知を行う対象物検知部と
を備えたことを特徴とする車両用監視装置。 - 請求項1に記載の車両用監視装置において、
前記カメラは、前記車両の前方を撮像範囲として前記車両に搭載され、
前記色解像度重視エリアは前記撮像素子の中央部に配置され、前記感度重視エリアは前記色解像度重視エリアの周囲に配置されていることを特徴とする車両用監視装置。 - 請求項2に記載の車両用監視装置において、
前記色解像度重視エリアにおける前記カラー受光画素と前記透明受光画素の配置は、斜線の検出が容易な配置とされ、
前記対象物検知部は、前記カラー画像から、直線状に連続した特定色のレーンマークを検知することを特徴とする車両用監視装置。 - 請求項2又は請求項3に記載の車両用監視装置において、
前記感度重視エリアにおける前記カラー受光画素と前記透明受光画素の配置は、縦線及び横線の検出が容易な配置とされ、
前記対象物検知部は、前記高感度画像から、画像部分が縦エッジ及び横エッジを有する対象物を検知することを特徴とする車両用監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012201015A JP5746116B2 (ja) | 2012-09-12 | 2012-09-12 | 車両用監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012201015A JP5746116B2 (ja) | 2012-09-12 | 2012-09-12 | 車両用監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014057225A JP2014057225A (ja) | 2014-03-27 |
JP5746116B2 true JP5746116B2 (ja) | 2015-07-08 |
Family
ID=50614173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012201015A Expired - Fee Related JP5746116B2 (ja) | 2012-09-12 | 2012-09-12 | 車両用監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5746116B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104185342B (zh) * | 2014-08-11 | 2016-08-17 | 奇瑞汽车股份有限公司 | 一种汽车照明方法和装置 |
JP6847781B2 (ja) * | 2017-06-30 | 2021-03-24 | 日立Astemo株式会社 | 画像処理装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002026304A (ja) * | 2000-07-03 | 2002-01-25 | Sony Corp | 固体撮像素子 |
WO2005115820A1 (de) * | 2004-05-25 | 2005-12-08 | Siemens Aktiengesellschaft | Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge |
JP4618342B2 (ja) * | 2008-05-20 | 2011-01-26 | 日本テキサス・インスツルメンツ株式会社 | 固体撮像装置 |
DE102010003668B4 (de) * | 2010-04-07 | 2020-03-26 | Robert Bosch Gmbh | Farbmaske für einen Bildsensor einer Fahrzeugkamera |
-
2012
- 2012-09-12 JP JP2012201015A patent/JP5746116B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014057225A (ja) | 2014-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5595606B2 (ja) | 画像処理装置 | |
JP5732145B2 (ja) | 画像処理装置 | |
JP5115792B2 (ja) | 画像処理装置および方法、並びに、プログラム | |
CN102835115B (zh) | 用于车辆摄像机的图像传感器的颜色掩模 | |
US9639764B2 (en) | Image recognition system for vehicle for traffic sign board recognition | |
JP6176028B2 (ja) | 車両制御システム、画像センサ | |
JP3909691B2 (ja) | 車載用画像処理装置 | |
CN106295494B (zh) | 车外环境识别装置 | |
JP6420650B2 (ja) | 車外環境認識装置 | |
JP2017016194A (ja) | 車外環境認識装置 | |
JP5697646B2 (ja) | 車両周辺監視装置 | |
JP2016004503A (ja) | 車外環境認識装置 | |
JP5746116B2 (ja) | 車両用監視装置 | |
WO2018225516A1 (ja) | 画像処理装置 | |
JP2007124676A (ja) | 車載用画像処理装置 | |
JP6259335B2 (ja) | 車外環境認識装置 | |
JP2010169583A (ja) | 照明環境判定装置及びプログラム | |
JP2009134591A (ja) | 車色判定装置、車色判定システム及び車色判定方法 | |
JP5703279B2 (ja) | 車両周辺監視装置 | |
JP5904825B2 (ja) | 画像処理装置 | |
WO2019044434A1 (ja) | 物体検出システム | |
US20140333806A1 (en) | Method and device for adapting a filter property of an adaptive color filter and for operating an imager |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150421 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150507 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5746116 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |