JPWO2014017434A1 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JPWO2014017434A1 JPWO2014017434A1 JP2014526910A JP2014526910A JPWO2014017434A1 JP WO2014017434 A1 JPWO2014017434 A1 JP WO2014017434A1 JP 2014526910 A JP2014526910 A JP 2014526910A JP 2014526910 A JP2014526910 A JP 2014526910A JP WO2014017434 A1 JPWO2014017434 A1 JP WO2014017434A1
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- unit
- sun
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 claims abstract description 347
- 230000005484 gravity Effects 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 6
- 230000035945 sensitivity Effects 0.000 claims description 5
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 48
- 240000004050 Pentaglottis sempervirens Species 0.000 description 47
- 238000000034 method Methods 0.000 description 44
- 238000004364 calculation method Methods 0.000 description 38
- 230000008569 process Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 31
- 230000008859 change Effects 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 12
- 230000007423 decrease Effects 0.000 description 10
- 238000009826 distribution Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 7
- 239000013256 coordination polymer Substances 0.000 description 5
- 238000003708 edge detection Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 239000007787 solid Substances 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 3
- 230000001771 impaired effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/51—Housings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明の第2の態様によると,第1の態様の 画像処理装置において,車両検出部は,他車両の検出感度に関わる所定の閾値を有し,制御部は,レンズ表面のうち太陽の位置を中心とした画像範囲に対応する範囲が白濁しているとき,レンズ表面の当該範囲が白濁していないときよりも他車両の検出感度を閾値の変更により抑制することが好ましい。
本発明の第3の態様によると,第1の態様の画像処理装置において,太陽判定部は,日時と,車両が位置する緯度および経度と,車両の方向とに基づいて,太陽の位置を演算することが好ましい。
本発明の第4の態様によると,第1の態様の画像処理装置において,太陽判定部は,撮影画像に対して画像処理を行うことにより太陽の位置を演算することが好ましい。
本発明の第5の態様によると,第4の態様の画像処理装置において,カメラは,少なくとも車両外の路面を撮影し,太陽判定部は,路面反射による高輝度領域を撮影画像から抽出して,高輝度領域の重心の位置に基づいて太陽の位置を演算することが好ましい。
本発明の第6の態様によると,制御部は,第2の態様の画像処理装置において,太陽の位置を中心とした画像範囲の輝度勾配に基づいて,レンズ表面のうち当該画像範囲に対応する範囲が白濁していることを検出することが好ましい。
本発明の第7の態様によると,第1の態様の画像処理装置において,撮影画像には白濁検出領域が設定され,白濁検出部は,白濁検出領域に対してエッジ強度のヒストグラムを演算して,ヒストグラムを用いて演算されるエッジ強度の平均値に基づいて,カメラレンズが白濁している領域を検出する。
本発明の第8の態様によると,第7の態様の画像処理装置において,カメラは,少なくとも車両外の路面を撮影し,白濁検出領域は,路面に設けられた白線の消失点の近傍に複数設定され、白濁検出部は,白濁検出領域の各々に対してエッジ強度のヒストグラムを演算して,ヒストグラムの各々を用いて演算されるエッジ強度の平均値に基づいて,カメラレンズが白濁している領域を検出する。
本発明の第9の態様によると,第7の態様の画像処理装置において,カメラは,少なくとも車両外の路面を撮影し,白濁検出領域には,路面に設けられた白線の消失点の近傍であって撮影画像の中央よりも上側の位置に設定される第1の白濁検出領域と,第1の白濁検出領域よりも下方に広がるように消失点の近傍に設定される第2の白濁検出領域とが含まれ,白濁検出部は,昼間は第1の白濁検出領域を用いてカメラレンズが白濁している領域を検出し,夜間は第2の白濁検出領域を用いてカメラレンズが白濁している領域を検出する。
本発明の第10の態様によると,第1から第9のいずれか一態様の画像処理装置において,車両検出部による他車両の検出を制御部が抑制したことを,所定の報知部に報知させる報知制御部をさらに備えることが好ましい。
本発明の第11の態様によると,第2の態様の画像処理装置において,白濁検出部は,カメラのレンズ表面の白濁度合いが第1の白濁度合いを超えたとき,カメラのレンズ表面が白濁していることを検出し,車両検出部は,カメラのレンズ表面が白濁していない第2の白濁度合いのときに閾値を第1の閾値に設定し,カメラのレンズ表面の白濁度合いが第1の白濁度合いを超えたときに閾値を第1の閾値よりも大きい第2の閾値に設定し,閾値を第1の閾値と第2の閾値とのいずれよりも小さい第3の閾値に設定する第3の白濁度合いを第2の白濁度合いと第1の白濁度合いとの間に設けることが好ましい。
図1は,本発明の第1の実施形態による車載用車両認識装置100の構成を示すブロック図である。図1に示す車載用車両認識装置100は,車両に搭載されて使用されるものであり,遮光板1aが取り付けられたカメラ1と,制御部2と,警報出力部3と,動作状態報知部4と,外部装置制御部5と,記憶部6とを備える。
外部装置制御部5は,制御部2からの制御に応じて,外部装置を制御する。
画像取得部31は,所定時間ごとにカメラ1から撮影画像の画像情報を取得する。画像取得部31が取得した撮影画像の画像情報は,少なくともBSW部32と白濁検出部33とに出力される。図4では,画像取得部31は,BSW制御部35にも撮影画像の画像情報を出力している。
BSW部32は,車両検出部41と報知制御部42とを有する。車両検出部41は,視点変換部411と位置合わせ部412と立体物検出部413とを有する。
視点変換部411は,画像取得部31が取得した撮影画像の画像情報を鳥瞰視される状態の鳥瞰画像データに視点変換する。鳥瞰視される状態とは,上空から例えば鉛直下向きに見下ろす仮想カメラの視点から見た状態である。この視点変換は,例えば特開2008−219063号公報に記載されるようにして実行することができる。撮像画像データを鳥瞰視画像データに視点変換するのは,立体物に特有の鉛直エッジは鳥瞰視画像データへの視点変換により特定の定点を通る直線群に変換されるという原理に基づき,これを利用すれば平面物と立体物とを識別できるからである。
位置合わせ部412は,視点変換部411の視点変換により得られた鳥瞰画像データが順次入力され,入力された異なる時刻の鳥瞰画像データの位置を合わせる。図5は,位置合わせ部412の処理の概要を説明するための図であり,図5(a)は自車両Vの移動状態を示す平面図,図5(b)は位置合わせの概要を示す画像である。
図4の立体物検出部413は,図5(b)に示す差分画像PDtのデータに基づいて立体物を検出する。立体物検出部413が検出する立体物の中には,自車両Vが車線変更する際に接触の可能性がある他車両が含まれる。立体物検出部413は,実空間上における立体物の移動距離についても算出する。立体物検出部413は,立体物の時間あたりの移動距離を,立体物の移動速度の算出に用いる。そして,立体物検出部413は,その立体物の移動速度を立体物が車両であるか否かの判断に用いる。
図11および図12は,制御部2が実行する車両検出部41の処理に関するフローチャートである。図11のステップS100では,画像取得部31が取得した撮影画像の画像情報に基づいて,視点変換部411が鳥瞰画像データを生成する。ステップS110では,鳥瞰画像PBtと,一時刻前の鳥瞰画像PBt−1とを,位置合わせ部412が位置合わせする。ステップS120では,立体物検出部413が差分画像PDtを生成する。ステップS130では,立体物検出部413が差分画像PDtのデータと,一時刻前の差分画像PDt−1のデータとから,差分波形DWtを生成する。
図4の白濁検出部33は,カメラ1の撮影レンズの白濁を検出する。白濁検出部33は,カメラ1の撮影画像に対して白濁検出領域を設定して,その白濁検出領域ごとにエッジ強度のヒストグラムを生成する。そして,白濁検出部33は,そのヒストグラムの平均値が所定値以下のとき,カメラ1の撮影レンズが白濁しているものとして判定する。
図4の太陽判定部34は,太陽の位置を演算して,カメラ1の撮影領域に太陽光が入射するか否かを判定する。太陽判定部34が演算する太陽の位置は,少なくとも太陽の高度を含む。太陽判定部34は,太陽の高度を,例えば日時情報と,自車両Vが存在する自車位置の緯度とに基づいて算出する。また,太陽判定部34は,太陽の位置に関する情報として,さらに太陽の方位を算出する。太陽の方位は,例えば日時情報と,自車位置の緯度および経度と、自車両Vの方向とに基づいて算出することができる。
図4のBSW制御部35は,白濁検出部33の検出結果と,太陽判定部34の判定結果と,画像取得部31から入力された撮影画像とに基づいて,第1閾値αを設定することによりBSW部32を制御する。図17は,BSW制御部35が設定する第1閾値αに関する設定値テーブルの一例である。図17の設定値テーブルは,ルックアップテーブルとして記憶部6に記憶しておいてもよい。その場合,BSW制御部35は,白濁検出部33の検出結果と,太陽判定部34の判定結果とに基づいて,記憶部6に記憶されたルックアップテーブルを参照して,第1閾値αを設定する。
報知制御部42は,車線変更時等に,図12のステップS220において立体物が他車両VXであると立体物検出部413が判断したとき,警報出力部3を制御して,自車両と衝突する可能性がある車両の存在を運転者に報知する。一方,報知制御部42は,図12のステップS230において他車両が存在しないと立体物検出部413が判断したとき,運転者に対してそのような報知を行わない。
警報音の出力が抑制された状態であることを動作状態報知部4(例えば,自車両Vのメータ)を介して報知する。
車載用車両認識装置100の制御部2は,画像取得部31と,太陽判定部34と,白濁検出部33と,車両検出部41と,BSW制御部35とを備える。
画像取得部31は,カメラ1が車両外を撮影して出力した撮影画像を取得する。
太陽判定部34は,少なくとも太陽の高度を含む太陽の位置を演算して(図16のステップS400),その太陽の高度が所定高度以下であるか否かを少なくとも判定する(図16のステップS402)。
白濁検出部33は,カメラ1の撮影レンズのレンズ表面のうち,少なくとも出領域A1およびA2に対応するレンズ表面が白濁していることを検出する(図14のステップS307)。
車両検出部41は,検出領域A1およびA2に対応する撮影画像の画像領域から,他車両を検出する(図12のステップS220)。
BSW制御部35は,白濁検出部33により少なくとも検出領域A1およびA2に対応するレンズ表面が白濁していることが検出された場合に,太陽の高度が所定高度以下であると太陽判定部34が判定した場合には少なくとも,第1閾値αを最大レベルに調整することで車両検出部41による他車両の検出を抑制する(図19のステップS506,図17のNo.7およびNo.8)。
このようにすることで,車載用車両認識装置100では,撮影画像に太陽光が入射した場合にも,画像認識処理の精度が低下しない。
本発明の第2の実施の形態について説明する。図21は,本発明の第2の実施形態による車載用車両認識装置200の構成を示すブロック図である。図21に示す車載用車両認識装置200は,第1の実施の形態による車載用車両認識装置100と,制御部2が制御部7に変わっている点のみが異なる。図21に示す車載用車両認識装置200の構成において,車載用車両認識装置100と同一の構成については,その説明を省略する。
輝度差算出部712は,鳥瞰視画像に含まれる立体物のエッジを検出するために,視点変換部411により視点変換された鳥瞰視画像データに対して,輝度差の算出を行う。輝度差算出部712は,実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに,当該各位置の近傍の2つの画素間の輝度差を算出する。輝度差算出部712は,実空間における鉛直方向に伸びる鉛直仮想線を1本だけ設定する手法と,鉛直仮想線を2本設定する手法との何れかによって輝度差を算出することができる。
図22のエッジ線検出部713は,輝度差算出部712により算出された連続的な輝度差から,エッジ線を検出する。例えば,図25(b)に示す場合,第1注目点Pa1と第1参照点Pr1とは,同じタイヤ部分に位置するために,輝度差は,小さい。一方,第2〜第6注目点Pa2〜Pa6はタイヤのゴム部分に位置し,第2〜第6参照点Pr2〜Pr6はタイヤのホイール部分に位置する。したがって,第2〜第6注目点Pa2〜Pa6と第2〜第6参照点Pr2〜Pr6との輝度差は大きくなる。このため,エッジ線検出部713は,輝度差が大きい第2〜第6注目点Pa2〜Pa6と第2〜第6参照点Pr2〜Pr6との間にエッジ線が存在することを検出することができる。
[数1]
I(xi,yi)>I(xi’,yi’)+tのとき
s(xi,yi)=1
I(xi,yi)<I(xi’,yi’)−tのとき
s(xi,yi)=−1
上記以外のとき
s(xi,yi)=0
[数2]
s(xi,yi)=s(xi+1,yi+1)のとき(且つ0=0を除く),
c(xi,yi)=1
上記以外のとき,
c(xi,yi)=0
[数3]
Σc(xi,yi)/N>θ
図22の第2立体物検出部714は,エッジ線検出部713により検出されたエッジ線の量に基づいて立体物を検出する。上述したように,制御部7は,実空間上において鉛直方向に伸びるエッジ線を検出する。鉛直方向に伸びるエッジ線が多く検出されるということは,検出領域A3,A4に立体物が存在する可能性が高いということである。このため,第2立体物検出部714は,エッジ線検出部713により検出されたエッジ線の量に基づいて立体物を検出する。さらに,第2立体物検出部714は,立体物を検出するに先立って,エッジ線検出部713により検出されたエッジ線が正しいものであるか否かを判定する。第2立体物検出部714は,エッジ線上の鳥瞰視画像のエッジ線に沿った輝度変化が所定の閾値よりも大きいか否かを判定する。エッジ線上の鳥瞰視画像の輝度変化が閾値よりも大きい場合には,当該エッジ線が誤判定により検出されたものと判断する。一方,エッジ線上の鳥瞰視画像の輝度変化が閾値よりも大きくない場合には,当該エッジ線が正しいものと判定する。なお,この閾値は,実験等により予め設定された値である。
[数4]
鉛直相当方向の評価値=Σ[{I(xi,yi)−I(xi+1,yi+1)}2]
[数5]
鉛直相当方向の評価値=Σ|I(xi,yi)−I(xi+1,yi+1)|
[数6]
鉛直相当方向の評価値=Σb(xi,yi)
但し,|I(xi,yi)−I(xi+1,yi+1)|>t2のとき,
b(xi,yi)=1
上記以外のとき,
b(xi,yi)=0
図27および図28は,制御部7が実行する第2車両検出部71に関するフローチャートである。なお,図27および図28においては,便宜上,検出領域A3を対象とする処理について説明するが,検出領域A4についても同様の処理が実行される。
図22の第2太陽判定部64には,画像取得部31が取得した撮影画像の画像情報が入力される。第2太陽判定部64は,撮影画像の中から路面反射した太陽光による高輝度領域を検出して,その検出範囲に基づいて太陽の位置を推定し,太陽光が撮影領域内に入射するか否かを判定する。
図22の第2BSW制御部65は,画像取得部31から入力される撮像画像,白濁検出部33の検出結果と,第2太陽判定部64の判定結果とに基づいて,閾値θを設定することにより第2BSW部62を制御する。
第2立体物検出部714が設定する検出領域A3およびA4は,第1の実施の形態における立体物検出部413が設定した検出領域A1およびA2と実質的に同一な位置に設定される。したがって,白濁検出部33が少なくとも検出領域A1またはA2に対応するレンズ表面が白濁していることを検出することと,少なくとも検出領域A3またはA4に対応するレンズ表面が白濁していることを検出することとは実質的に同じである。すなわち,白濁検出部33は,少なくとも検出領域A3またはA4に対応するレンズ表面が白濁していることを検出することを検出することができる。
報知制御部42は,第2の実施の形態においても図20にフローチャートを示す処理を行う。第2の実施の形態における報知制御部42は,図20のステップS1000の処理を行う場合,閾値θがレベル10(最大値)に設定されているか否かを判定することにより,第2BSW制御部65によりBSWが抑制されているかを判定する。
車載用車両認識装置200の制御部7は,画像取得部31と,第2太陽判定部64と,白濁検出部33と,第2車両検出部71と,第2BSW制御部65とを備える。
画像取得部31は,カメラ1が車両外を撮影して出力した撮影画像を取得する。
第2太陽判定部64は,高輝度領域81の重心の位置に基づいて,少なくとも太陽の高度を演算して(図29のステップS704),高輝度領域81の重心84の位置が反射日光領域に存在するか否かを判定する。反射日光領域は上限線82と下限線83により規定され,重心84が下限線83よりも上にあるとき,太陽の高度が所定高度以下であることを表す。
白濁検出部33は,カメラ1の撮影レンズのレンズ表面のうち,少なくとも検出領域A3およびA4に対応するレンズ表面が白濁していることを検出する(白濁検出部33の補足)。
第2車両検出部71は,検出領域A3およびA4に対応する撮影画像の画像領域から,他車両を検出する(図28のステップS614)。
第2BSW制御部65は,白濁検出部33により少なくとも検出領域A3およびA4に対応するレンズ表面が白濁していることが検出された場合に,太陽の高度が所定高度以下であると第2太陽判定部64が判定した場合には少なくとも,閾値θを最大レベルに調整することで第2車両検出部71による他車両の検出を抑制する(図31のステップS803,図32のNo.12)。
このようにすることで,車載用車両認識装置200では,撮影画像に太陽光が入射した場合にも,画像認識処理の精度が低下しない。
(変形例1)実施形態の組み合わせ
制御部2および7には,BSW部32と第2BSW部62の両方を備えることにしてもよい。その場合,例えば立体物検出部413と第2立体物検出部714の両方が他車両VXを検出した場合に,他車両VXが検出されたことにすればよい。また,そのとき,当該制御部には,BSW制御部35と第2BSW制御部65の両方を備えることにしてもよいし,BSW制御部35および第2BSW制御部65のいずれか片方を用いて第1閾値αと閾値θの両方を設定することにしてもよい。BSW制御部35が閾値θを設定する場合は,図17の第1閾値αの設定レベルを閾値θの設定レベルと読み替えればよい。同様に,第2BSW制御部65が第1閾値αを設定する場合は,図32の閾値θの設定レベルを第1閾値αの設定レベルに読み替えればよい。
その他,第1の実施の形態の構成と,第2の実施の形態の構成とは発明の特徴が損なわれない限り任意に組み合わせて実行してもよい。
上記の実施の形態では,白濁検出部33が白濁を検出したか否かに基づいて閾値を変化させたが,カメラ1の撮影レンズの白濁度合いを数値化して,その白濁度合いを表す数値に基づいて閾値を変化させることにしてもよい。例えば,ヒストグラムH1の平均値E1と,ヒストグラムH2の平均値E2と,ヒストグラムH3の平均値E3とに基づいて,白濁度合いを算出することにしてもよい。
BSW制御部35は,太陽範囲が白濁しているとき,閾値をより高レベルに設定することにしてもよい。同様に,第2BSW制御部65は,太陽範囲が白濁しているとき,閾値をより高レベルに設定することにしてもよい。太陽範囲が白濁しているか否かは,太陽範囲内の輝度勾配に基づいて判定すればよい。カメラ1の撮影レンズのレンズ表面のうち白濁している部分を通過する光は白濁の原因となる付着物により拡散するため,白濁箇所に対応する画素ごとの輝度の差は小さくなり,輝度勾配が小さくなる。BSW制御部35および第2BSW制御部65は,輝度勾配が所定値以下となったとき,太陽範囲が白濁していると判定すればよい。
日本国特許出願2012年第167602号(2012年7月27日出願)
2 制御部
3 警報出力部
4 動作状態報知部
5 外部装置制御部
6 記憶部
7 制御部
31 画像取得部
32 BSW部
33 白濁検出部
34 太陽判定部
35 BSW制御部
41 車両検出部
42 報知制御部
51 白濁検出領域
52 白濁検出領域
53 白濁検出領域
61 太陽範囲
62 第2BSW部
64 第2太陽判定部
65 第2BSW制御部
71 第2車両検出部
81 高輝度領域
82 上限線
83 下限線
84 重心
88 太陽範囲
100 車載用車両認識装置
200 車載用車両認識装置
411 視点変換部
412 位置合わせ部
413 立体物検出部
712 輝度差算出部
713 エッジ線検出部
714 第2立体物検出部
Claims (11)
- カメラが車両外を撮影して出力した撮影画像を取得する画像取得部と,
少なくとも太陽の高度を含む太陽の位置を演算して,前記太陽の高度が所定高度以下であることを判定する太陽判定部と,
前記カメラのレンズ表面が白濁していることを検出する白濁検出部と,
前記撮影画像の第1の画像領域の画像情報に基づいて,前記車両とは異なる他車両を検出する車両検出部と,
少なくとも前記第1の画像領域が白濁していることが前記白濁検出部により検出された場合に,前記太陽の高度が前記所定高度以下であると前記太陽判定部が判定したとき,前記車両検出部による前記他車両の検出を抑制する制御部と,
を備える画像処理装置。 - 請求項1に記載の画像処理装置において,
前記車両検出部は,前記他車両の検出感度に関わる所定の閾値を有し,
前記制御部は,前記レンズ表面のうち前記太陽の位置を中心とした画像範囲に対応する範囲が白濁しているとき,前記レンズ表面の当該範囲が白濁していないときよりも前記他車両の検出感度を前記閾値の変更により抑制する画像処理装置。 - 請求項1に記載の画像処理装置において,
前記太陽判定部は,日時と,前記車両が位置する緯度および経度と,前記車両の方向とに基づいて,前記太陽の位置を演算する画像処理装置。 - 請求項1に記載の画像処理装置において,
前記太陽判定部は,前記撮影画像に対して画像処理を行うことにより前記太陽の位置を演算する画像処理装置。 - 請求項4に記載の画像処理装置において,
前記カメラは,少なくとも前記車両外の路面を撮影し,
前記太陽判定部は,路面反射による高輝度領域を前記撮影画像から抽出して,前記高輝度領域の重心の位置に基づいて前記太陽の位置を演算する画像処理装置。 - 請求項2に記載の画像処理装置において,
前記制御部は,前記太陽の位置を中心とした画像範囲の輝度勾配に基づいて,前記レンズ表面のうち当該画像範囲に対応する範囲が白濁していることを検出する画像処理装置。 - 請求項1に記載の画像処理装置において,
前記撮影画像には白濁検出領域が設定され,
前記白濁検出部は,前記白濁検出領域に対してエッジ強度のヒストグラムを演算して,前記ヒストグラムを用いて演算される前記エッジ強度の平均値に基づいて,前記カメラレンズが白濁している領域を検出する画像処理装置。 - 請求項7に記載の画像処理装置において,
前記カメラは,少なくとも前記車両外の路面を撮影し,
前記白濁検出領域は,前記路面に設けられた白線の消失点の近傍に複数設定され、
前記白濁検出部は,前記白濁検出領域の各々に対してエッジ強度のヒストグラムを演算して,前記ヒストグラムの各々を用いて演算される前記エッジ強度の平均値に基づいて,前記カメラレンズが白濁している領域を検出する画像処理装置。 - 請求項7に記載の画像処理装置において,
前記カメラは,少なくとも前記車両外の路面を撮影し,
前記白濁検出領域には,前記路面に設けられた白線の消失点の近傍であって前記撮影画像の中央よりも上側の位置に設定される第1の白濁検出領域と,前記第1の白濁検出領域よりも下方に広がるように前記消失点の近傍に設定される第2の白濁検出領域とが含まれ,
前記白濁検出部は,昼間は前記第1の白濁検出領域を用いて前記カメラレンズが白濁している領域を検出し,夜間は前記第2の白濁検出領域を用いて前記カメラレンズが白濁している領域を検出する画像処理装置。 - 請求項1から9のいずれか一項に記載の画像処理装置において,
前記車両検出部による前記他車両の検出を前記制御部が抑制したことを,所定の報知部に報知させる報知制御部をさらに備える画像処理装置。 - 請求項2に記載の画像処理装置において,
前記白濁検出部は,前記カメラのレンズ表面の白濁度合いが第1の白濁度合いを超えたとき,前記カメラのレンズ表面が白濁していることを検出し,
前記車両検出部は,
前記カメラのレンズ表面が白濁していない第2の白濁度合いのときに前記閾値を第1の閾値に設定し,
前記カメラのレンズ表面の白濁度合いが前記第1の白濁度合いを超えたときに前記閾値を前記第1の閾値よりも大きい第2の閾値に設定し,
前記閾値を前記第1の閾値と前記第2の閾値とのいずれよりも小さい第3の閾値に設定する第3の白濁度合いを前記第2の白濁度合いと前記第1の白濁度合いとの間に設ける画像処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012167602 | 2012-07-27 | ||
JP2012167602 | 2012-07-27 | ||
PCT/JP2013/069785 WO2014017434A1 (ja) | 2012-07-27 | 2013-07-22 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014017434A1 true JPWO2014017434A1 (ja) | 2016-07-11 |
JP6254084B2 JP6254084B2 (ja) | 2017-12-27 |
Family
ID=49997245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014526910A Active JP6254084B2 (ja) | 2012-07-27 | 2013-07-22 | 画像処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9721169B2 (ja) |
EP (1) | EP2879111A4 (ja) |
JP (1) | JP6254084B2 (ja) |
CN (1) | CN104508723B (ja) |
WO (1) | WO2014017434A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5747482B2 (ja) * | 2010-03-26 | 2015-07-15 | 日産自動車株式会社 | 車両用環境認識装置 |
JP6174975B2 (ja) * | 2013-11-14 | 2017-08-02 | クラリオン株式会社 | 周囲環境認識装置 |
KR20150106719A (ko) * | 2014-03-12 | 2015-09-22 | 삼성전자주식회사 | 전자 장치의 촬영 위치 안내 방법 및 이를 이용한 전자 장치 |
DE102014109062A1 (de) * | 2014-06-27 | 2015-12-31 | Connaught Electronics Ltd. | Verfahren zum Verfolgen eines sich einem Kraftfahrzeug nähernden Zielfahrzeugs mittels eines Kamerasystems des Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug |
US9718405B1 (en) | 2015-03-23 | 2017-08-01 | Rosco, Inc. | Collision avoidance and/or pedestrian detection system |
US9904146B2 (en) * | 2015-10-29 | 2018-02-27 | GM Global Technology Operations LLC | Camera with positionable light shade |
JP6658054B2 (ja) * | 2016-02-16 | 2020-03-04 | トヨタ車体株式会社 | 車体部品の施工部位判定システム及び施工部位判定方法 |
US10462380B2 (en) * | 2016-06-13 | 2019-10-29 | Aptiv Technologies Limited | Camera system with light-shield |
JP6938903B2 (ja) * | 2016-12-14 | 2021-09-22 | 株式会社デンソー | 車両における衝突回避装置および衝突回避方法 |
CN110023712A (zh) * | 2017-02-28 | 2019-07-16 | 松下知识产权经营株式会社 | 位移计测装置以及位移计测方法 |
JP6922297B2 (ja) * | 2017-03-21 | 2021-08-18 | 三菱自動車工業株式会社 | 運転支援システム |
JP6686988B2 (ja) * | 2017-08-28 | 2020-04-22 | 株式会社Soken | 映像出力装置及び映像生成プログラム |
US11257375B2 (en) * | 2018-12-31 | 2022-02-22 | Ficosa Adas, S.L.U. | Method and system for detecting objects in a vehicle blind spot |
JP7371419B2 (ja) * | 2019-09-30 | 2023-10-31 | 株式会社アイシン | 運転支援システムおよび運転支援プログラム |
JP2021106305A (ja) * | 2019-12-26 | 2021-07-26 | 日本電気株式会社 | データ圧縮装置、モデル生成装置、データ圧縮方法、モデル生成方法及びコンピュータプログラム |
JP2022142510A (ja) * | 2021-03-16 | 2022-09-30 | パナソニックIpマネジメント株式会社 | 車両用周辺警戒装置および車両用周辺警戒方法 |
JP2022155838A (ja) * | 2021-03-31 | 2022-10-14 | 本田技研工業株式会社 | 車両制御装置、経路生成装置、車両制御方法、経路生成方法、およびプログラム |
EP4099100A1 (fr) | 2021-06-02 | 2022-12-07 | The Swatch Group Research and Development Ltd | Mouvement horloger muni d'un oscillateur comprenant un spiral piezoelectrique |
CN113726983B (zh) * | 2021-07-12 | 2022-07-12 | 北京邮电大学 | 一种基于时间,定位,镜头角度,入射光强和色温的太阳光眩光抑制的方法和装置 |
EP4130890B1 (fr) | 2021-08-04 | 2024-03-27 | The Swatch Group Research and Development Ltd | Mouvement horloger muni d'un oscillateur comprenant un spiral piézoélectrique |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003255430A (ja) * | 2002-02-28 | 2003-09-10 | Toshiba Corp | 映像診断装置、車載型映像監視装置の映像診断システム |
JP2005073296A (ja) * | 2004-10-27 | 2005-03-17 | Mitsubishi Electric Corp | 車両用カメラの露光制御装置 |
JP2012003662A (ja) * | 2010-06-21 | 2012-01-05 | Nissan Motor Co Ltd | 移動距離検出装置及び移動距離検出方法 |
WO2013018673A1 (ja) * | 2011-08-02 | 2013-02-07 | 日産自動車株式会社 | 立体物検出装置及び立体物検出方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1597699A2 (en) * | 2003-02-20 | 2005-11-23 | Intelligent Mechatronic Systems, Inc. | Adaptive visual occupant detection and classification system |
JP2008219063A (ja) | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 車両周辺監視装置及び方法 |
JP2010086266A (ja) | 2008-09-30 | 2010-04-15 | Mazda Motor Corp | 車両用画像処理装置 |
JP5035284B2 (ja) * | 2009-03-25 | 2012-09-26 | 株式会社日本自動車部品総合研究所 | 車両周辺表示装置 |
US8564502B2 (en) * | 2009-04-02 | 2013-10-22 | GM Global Technology Operations LLC | Distortion and perspective correction of vector projection display |
US8704653B2 (en) * | 2009-04-02 | 2014-04-22 | GM Global Technology Operations LLC | Enhanced road vision on full windshield head-up display |
US8212874B2 (en) * | 2009-10-23 | 2012-07-03 | GM Global Technology Operations LLC | Automatic camera calibration using GPS and solar tracking |
JP2012118929A (ja) * | 2010-12-03 | 2012-06-21 | Fujitsu Ten Ltd | 外部環境判定装置及び外部環境判定プログラム |
CN102036016B (zh) * | 2010-12-03 | 2012-10-10 | 杭州海康威视系统技术有限公司 | 视频检测方法及其系统 |
JP5310760B2 (ja) * | 2011-03-04 | 2013-10-09 | トヨタ自動車株式会社 | 接近車両検出装置 |
JP5892876B2 (ja) * | 2011-07-28 | 2016-03-23 | クラリオン株式会社 | 車載用環境認識装置 |
-
2013
- 2013-07-22 CN CN201380039597.4A patent/CN104508723B/zh active Active
- 2013-07-22 WO PCT/JP2013/069785 patent/WO2014017434A1/ja active Application Filing
- 2013-07-22 JP JP2014526910A patent/JP6254084B2/ja active Active
- 2013-07-22 EP EP13822724.4A patent/EP2879111A4/en not_active Ceased
- 2013-07-22 US US14/417,650 patent/US9721169B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003255430A (ja) * | 2002-02-28 | 2003-09-10 | Toshiba Corp | 映像診断装置、車載型映像監視装置の映像診断システム |
JP2005073296A (ja) * | 2004-10-27 | 2005-03-17 | Mitsubishi Electric Corp | 車両用カメラの露光制御装置 |
JP2012003662A (ja) * | 2010-06-21 | 2012-01-05 | Nissan Motor Co Ltd | 移動距離検出装置及び移動距離検出方法 |
WO2013018673A1 (ja) * | 2011-08-02 | 2013-02-07 | 日産自動車株式会社 | 立体物検出装置及び立体物検出方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104508723A (zh) | 2015-04-08 |
US9721169B2 (en) | 2017-08-01 |
CN104508723B (zh) | 2016-10-12 |
JP6254084B2 (ja) | 2017-12-27 |
WO2014017434A1 (ja) | 2014-01-30 |
US20150220793A1 (en) | 2015-08-06 |
EP2879111A4 (en) | 2016-10-19 |
EP2879111A1 (en) | 2015-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6254084B2 (ja) | 画像処理装置 | |
JP5981550B2 (ja) | 立体物検出装置および立体物検出方法 | |
JP5787024B2 (ja) | 立体物検出装置 | |
JP5804180B2 (ja) | 立体物検出装置 | |
JP5776795B2 (ja) | 立体物検出装置 | |
CN104509100B (zh) | 三维物体检测装置以及三维物体检测方法 | |
WO2014017624A1 (ja) | 立体物検出装置および立体物検出方法 | |
WO2016125377A1 (ja) | 画像処理装置、および車両システム | |
JP5943077B2 (ja) | 立体物検出装置および立体物検出方法 | |
JP5743020B2 (ja) | 立体物検出装置 | |
JP5682735B2 (ja) | 立体物検出装置 | |
JP4980970B2 (ja) | 撮像手段の調整装置および物体検出装置 | |
JP5835459B2 (ja) | 立体物検出装置 | |
JP5783319B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP6020568B2 (ja) | 立体物検出装置および立体物検出方法 | |
JP5668891B2 (ja) | 立体物検出装置 | |
JP2014027495A (ja) | 立体物検出装置および立体物検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160526 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170502 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20170608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170630 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6254084 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |