JPWO2014017625A1 - 立体物検出装置および立体物検出方法 - Google Patents
立体物検出装置および立体物検出方法 Download PDFInfo
- Publication number
- JPWO2014017625A1 JPWO2014017625A1 JP2014527024A JP2014527024A JPWO2014017625A1 JP WO2014017625 A1 JPWO2014017625 A1 JP WO2014017625A1 JP 2014527024 A JP2014527024 A JP 2014527024A JP 2014527024 A JP2014527024 A JP 2014527024A JP WO2014017625 A1 JPWO2014017625 A1 JP WO2014017625A1
- Authority
- JP
- Japan
- Prior art keywords
- edge
- dimensional object
- object detection
- area
- intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 430
- 238000000605 extraction Methods 0.000 claims abstract description 178
- 239000007787 solid Substances 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims description 83
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 81
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 76
- 230000008859 change Effects 0.000 claims description 41
- 238000003384 imaging method Methods 0.000 claims description 32
- 238000006243 chemical reaction Methods 0.000 claims description 31
- 230000035945 sensitivity Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 description 84
- 230000008569 process Effects 0.000 description 66
- 238000010586 diagram Methods 0.000 description 34
- 238000012545 processing Methods 0.000 description 15
- 238000002474 experimental method Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 9
- 230000004907 flux Effects 0.000 description 6
- 239000013256 coordination polymer Substances 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000003708 edge detection Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 239000010409 thin film Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
- B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2217/00—Details of cameras or camera bodies; Accessories therefor
- G03B2217/005—Blur detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Mechanical Engineering (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本出願は、2012年7月27日に出願された日本国特許出願の特願2012―166528および特願2012−166529に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
図1は、本実施形態に係る立体物検出装置1を搭載した車両の概略構成図である。本実施形態に係る立体物検出装置1は、自車両V1が車線変更する際に接触の可能性がある隣接車線に存在する他車両(以下、隣接車両V2ともいう)を検出することを目的とする。本実施形態に係る立体物検出装置1は、図1に示すように、カメラ10と、車速センサ20と、計算機30とを備える。
続いて、第2実施形態に係る立体物検出装置1aについて説明する。第2実施形態に係る立体物検出装置1aは、図20に示すように、第1実施形態の計算機30に代えて、計算機30aを備えており、以下に説明するように動作すること以外は、第1実施形態と同様である。ここで、図20は、第2実施形態に係る計算機30aの詳細を示すブロック図である。
[式1]
I(xi,yi)>I(xi’,yi’)+tのとき
s(xi,yi)=1
I(xi,yi)<I(xi’,yi’)−tのとき
s(xi,yi)=−1
上記以外のとき
s(xi,yi)=0
[式2]
s(xi,yi)=s(xi+1,yi+1)のとき(且つ0=0を除く)、
c(xi,yi)=1
上記以外のとき、
c(xi,yi)=0
[式3]
Σc(xi,yi)/N>θ
[式4]
鉛直相当方向の評価値=Σ[{I(xi,yi)−I(xi+1,yi+1)}2]
[式5]
鉛直相当方向の評価値=Σ|I(xi,yi)−I(xi+1,yi+1)|
[式6]
鉛直相当方向の評価値=Σb(xi,yi)
但し、|I(xi,yi)−I(xi+1,yi+1)|>t2のとき、
b(xi,yi)=1
上記以外のとき、
b(xi,yi)=0
続いて、第3実施形態に係る立体物検出装置1bについて説明する。第3実施形態に係る立体物検出装置1bは、図28に示すように、第1実施形態の計算機30に代えて、計算機30bを備えており、以下に説明するように動作すること以外は、第1実施形態と同様である。ここで、図28は、第3実施形態に係る計算機30bの詳細を示すブロック図である。
続いて、第4実施形態に係る立体物検出装置1cについて説明する。第4実施形態に係る立体物検出装置1cは、図31に示すように、第2実施形態の計算機30aに代えて、計算機30cを備えており、以下に説明するように動作すること以外は、第2実施形態と同様である。ここで、図31は、第4実施形態に係る計算機30cの詳細を示すブロック図である。
10…カメラ
20…車速センサ
30,30a…計算機
31…視点変換部
32…位置合わせ部
33,33a…立体物検出部
34…昼夜判定部
35…エッジ抽出領域設定部
36…エッジ強度算出部
37,37a…閾値変更部
38…輝度差算出部
39…エッジ線検出部
40,40a…露出制御部
a…画角
A1,A2…検出領域
CP…交点
DP…差分画素
DWt,DWt’…差分波形
DWt1〜DWm,DWm+k〜DWtn…小領域
L1,L2…接地線
La,Lb…立体物が倒れ込む方向上の線
P…撮像画像
PBt…鳥瞰視画像
PDt…差分画像
V1…自車両
V2…隣接車両
Claims (22)
- 車両に搭載され、自車両後方の映像を結像させるレンズを備えた撮像手段と、
前記撮像手段により撮像された撮像画像に基づいて、自車両後方の立体物を検出する立体物検出手段と、
地平線を基準とする地平線基準領域を少なくとも含む第1エッジ抽出領域において被写体のエッジを抽出し、前記第1エッジ抽出領域で抽出されたエッジの分布に基づいて、前記第1抽出領域におけるエッジの強度を第1エッジ強度として算出する第1エッジ強度算出手段と、
道路端を基準とする道路端基準領域を少なくとも含む第2エッジ抽出領域において被写体のエッジを抽出し、前記第2エッジ抽出領域において抽出されたエッジの分布に基づいて、前記第2エッジ抽出領域におけるエッジの強度を第2エッジ強度として算出する第2エッジ強度算出手段と、
昼間であるか夜間であるかを判定する昼夜判定手段と、
前記昼夜判定手段により昼間であると判定された場合には、前記第1エッジ抽出領域における前記第1エッジ強度に基づいて、前記立体物検出手段による前記立体物の検出を制御し、夜間であると判定された場合には、前記第2エッジ抽出領域における前記第2エッジ強度に基づいて、前記立体物検出手段による前記立体物の検出を制御する制御手段と、を備えることを特徴とする立体物検出装置。 - 請求項1に記載の立体物検出装置であって、
前記立体物検出手段は、
前記撮像手段により得られた前記撮像画像を鳥瞰視画像に視点変換する画像変換手段を有し、
前記画像変換手段により得られた異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上で、所定の第1閾値以上の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成し、該差分波形情報のピークの値が所定の第2閾値以上である場合に、該差分波形情報に基づいて、前記立体物を検出し、
前記制御手段は、前記昼夜判定手段により昼間であると判定された場合には、前記第1エッジ抽出領域における前記第1エッジ強度に基づいて、前記第1閾値または前記第2閾値の値を設定することで、前記立体物検出手段による前記立体物の検出を制御し、夜間であると判定された場合には、前記第2エッジ抽出領域における前記第2エッジ強度に基づいて、前記第1閾値または前記第2閾値の値を設定することで、前記立体物検出手段による前記立体物の検出を制御することを特徴とする立体物検出装置。 - 請求項1に記載の立体物検出装置であって、
前記立体物検出手段は、
前記撮像手段により得られた前記撮像画像を鳥瞰視画像に視点変換する画像変換手段を有し、
前記画像変換手段により得られた鳥瞰視画像から、隣接する画素領域の輝度差が所定の第1閾値以上であるエッジ成分を検出し、該エッジ成分に基づくエッジ情報の量が所定の第2閾値以上である場合に、前記エッジ情報に基づいて、前記立体物を検出し、
前記制御手段は、前記昼夜判定手段により昼間であると判定された場合には、前記第1エッジ抽出領域における前記第1エッジ強度に基づいて、前記第1閾値または前記第2閾値の値を設定することで、前記立体物検出手段による前記立体物の検出を制御し、夜間であると判定された場合には、前記第2エッジ抽出領域における前記第2エッジ強度に基づいて、前記第1閾値または前記第2閾値の値を設定することで、前記立体物検出手段による前記立体物の検出を制御することを特徴とする立体物検出装置。 - 請求項2または3に記載の立体物検出装置であって、
前記制御手段は、前記第1エッジ強度または前記第2エッジ強度が高いほど、前記第1閾値または前記第2閾値を高い値に変更し、前記第1エッジ強度または前記第2エッジ強度が低いほど、前記第1閾値または前記第2閾値を低い値に変更することを特徴とする立体物検出装置。 - 請求項2〜4のいずれかに記載の立体物検出装置であって、
前記立体物検出手段は、自車両の左右後方に設定された左側検出領域および右側検出領域において前記立体物を検出し、
前記制御手段は、
前記第1エッジ強度または前記第2エッジ強度に基づいて前記第1閾値を変更する際には、昼間と判定された場合の前記左側検出領域と前記右側検出領域とにおける前記第1閾値の差が、夜間と判定された場合の前記左側検出領域と前記右側検出領域とにおける前記第1閾値の差以下になるように、前記第1閾値を変更し、
前記第1エッジ強度または前記第2エッジ強度に基づいて前記第2閾値を変更する際には、昼間と判定された場合の前記左側検出領域と前記右側検出領域とにおける前記第2閾値の差が、夜間と判定された場合の前記左側検出領域と前記右側検出領域とにおける前記第2閾値の差以下になるように、前記第2閾値を変更することを特徴とする立体物検出装置。 - 請求項2〜5のいずれかに記載の立体物検出装置であって、
前記立体物検出手段は、自車両の左右後方に設定された左側検出領域および右側検出領域において前記立体物を検出し、
前記第2エッジ強度算出手段は、左右の道路端を基準とする左側道路端基準領域および右側道路端基準領域を前記第2エッジ抽出領域として設定し、前記左側道路端基準領域におけるエッジの強度に基づいて、前記左側道路端基準領域における前記第2エッジ強度を算出するとともに、前記右側道路端基準領域におけるエッジの強度に基づいて、前記右側道路端基準領域における前記第2エッジ強度を算出し、
前記制御手段は、前記左側道路端基準領域における前記第2エッジ強度に基づいて前記左側検出領域における前記第1閾値または前記第2閾値の値を設定し、前記右側道路端基準領域における前記第2エッジ強度に基づいて、前記右側検出領域における前記第1閾値または前記第2閾値の値を設定することを特徴とする立体物検出装置。 - 請求項2〜6のいずれかに記載の立体物検出装置であって、
前記制御手段は、前記立体物検出手段により前記立体物が検出されている場合には、前記第1閾値または前記第2閾値の値の変更を禁止することを特徴とする立体物検出装置。 - 請求項2〜7のいずれかに記載の立体物検出装置であって、
前記制御手段は、前記撮像画像の輝度が所定値未満である場合には、前記撮像画像の輝度が所定値以上である場合と比べて、前記第1閾値または前記第2閾値の値を高くすることを特徴とする立体物検出装置。 - 請求項1に記載の立体物検出装置であって、
前記制御手段は、前記昼夜判定手段により昼間であると判定された場合には、前記第1エッジ抽出領域における前記第1エッジ強度に基づいて、前記撮像手段の露出制御を行うことで、前記立体物検出手段による前記立体物の検出を制御し、夜間であると判定された場合には、前記第2エッジ抽出領域における前記第2エッジ強度に基づいて、前記撮像手段の露出制御を行うことで、前記立体物検出手段による前記立体物の検出を制御することを特徴とする立体物検出装置。 - 請求項9に記載の立体物検出装置であって、
前記立体物検出手段は、
前記撮像手段により得られた前記撮像画像を鳥瞰視画像に視点変換する画像変換手段を有し、
前記画像変換手段により得られた異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上で、所定の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成し、該差分波形情報に基づいて、前記立体物を検出することを特徴とする立体物検出装置。 - 請求項9に記載の立体物検出装置であって、
前記立体物検出手段は、
前記撮像手段により得られた前記撮像画像を鳥瞰視画像に視点変換する画像変換手段を有し、
前記画像変換手段により得られた前記鳥瞰視画像からエッジ情報を検出し、該エッジ情報に基づいて、前記立体物を検出することを特徴とする立体物検出装置。 - 請求項9〜11のいずれかに記載の立体物検出装置であって、
前記立体物検出手段は、自車両の左右後方に設定された左側検出領域および右側検出領域において前記立体物を検出し、
前記制御手段は、昼間と判定された場合の前記左側検出領域と前記右側検出領域とにおける露出の差が、夜間と判定された場合の前記左側検出領域と前記右側検出領域とにおける露出の差以下になるように、前記撮像手段の露出制御を行うことを特徴とする立体物検出装置。 - 請求項9〜12のいずれかに記載の立体物検出装置であって、
前記立体物検出手段は、自車両の左右後方に設定された左側検出領域および右側検出領域において前記立体物を検出し、
前記第2エッジ強度算出手段は、左右の道路端を基準とする左側道路端基準領域および右側道路端基準領域を前記第2エッジ抽出領域として設定し、前記左側道路端基準領域におけるエッジの強度に基づいて、前記左側道路端基準領域における前記第2エッジ強度を算出するとともに、前記右側道路端基準領域におけるエッジの強度に基づいて、前記右側道路端基準領域における前記第2エッジ強度を算出し、
前記制御手段は、前記左側道路端基準領域における前記第2エッジ強度に基づいて前記左側検出領域における露出を制御し、前記右側道路端基準領域における前記第2エッジ強度に基づいて、前記右側検出領域における露出を制御することを特徴とする立体物検出装置。 - 請求項9〜13のいずれかに記載の立体物検出装置であって、
前記制御手段は、前記立体物検出手段により前記立体物が検出されている場合には、前記第1エッジ強度または前記第2エッジ強度に拘わらず、前記撮像手段の露出を維持することを特徴とする立体物検出装置。 - 請求項9〜14のいずれかに記載の立体物検出装置であって、
前記制御手段は、前記撮像画像の輝度が所定値未満である場合には、前記撮像画像の輝度が所定値以上である場合と比べて、前記撮像手段の露出量を小さくすることを特徴とする立体物検出装置。 - 請求項9〜15のいずれかに記載の立体物検出装置であって、
前記制御手段は、前記第1エッジ強度または前記第2エッジ強度の値が低いほど、前記撮像手段の絞り値を開放側の値に変更し、前記撮像手段の撮像感度を高い値に変更し、または、前記撮像手段の露光時間を長い時間に変更することで、前記撮像手段の露出制御を行うことを特徴とする立体物検出装置。 - 請求項1〜16のいずれかに記載の立体物検出装置であって、
前記第1エッジ強度算出手段は、消失点近傍の地平線を基準とする領域を、前記地平線基準領域として設定することを特徴とする立体物検出装置。 - 請求項1〜17のいずれかに記載の立体物検出装置であって、
前記第1エッジ強度算出手段は、前記地平線基準領域に加えて、道路端を基準とする道路端基準領域を前記第1エッジ抽出領域として設定し、前記地平線基準領域におけるエッジの強度が所定値以上である場合には、前記地平線基準領域におけるエッジの強度を前記第1エッジ強度として算出し、前記地平線基準領域におけるエッジの強度が所定値未満である場合には、前記地平線基準領域および前記道路端基準領域のうちエッジの強度が最も高い領域におけるエッジの強度を、前記第1エッジ強度として算出することを特徴とする立体物検出装置。 - 自車両後方の撮像画像を鳥瞰視画像に視点変換し、異なる時刻の前記鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上で所定の第1閾値以上の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成し、該差分波形情報のピークの値が所定の第2閾値以上である場合に、該差分波形情報に基づいて立体物を検出する立体物検出方法であって、
昼間であるか夜間であるかを判定し、
昼間であると判定された場合には、地平線を基準とする地平線基準領域を少なくとも含む第1エッジ抽出領域において被写体のエッジを抽出し、前記第1エッジ抽出領域で抽出されたエッジの分布に基づいて、前記第1抽出領域におけるエッジの強度を第1エッジ強度として算出し、前記第1エッジ強度に基づいて前記第1閾値または前記第2閾値を設定し、
夜間であると判定された場合には、道路端を基準とする道路端基準領域を含む第2エッジ抽出領域において被写体のエッジを抽出し、前記第2エッジ抽出領域において抽出されたエッジの分布に基づいて、前記第2エッジ抽出領域におけるエッジの強度を第2エッジ強度として算出し、前記第2エッジ強度に基づいて前記第1閾値または前記第2閾値を設定することを特徴とする立体物検出方法。 - 自車両後方の撮像画像を鳥瞰視画像に視点変換し、前記鳥瞰視画像から、隣接する画素領域の輝度差が所定の第1閾値以上であるエッジ成分を検出し、該エッジ成分に基づくエッジ情報の量が所定の第2閾値以上である場合に、前記エッジ情報に基づいて立体物を検出する立体物検出方法であって、
昼間であるか夜間であるかを判定し、
昼間であると判定された場合には、地平線を基準とする地平線基準領域を少なくとも含む第1エッジ抽出領域において被写体のエッジを抽出し、前記第1エッジ抽出領域で抽出されたエッジの分布に基づいて、前記第1抽出領域におけるエッジの強度を第1エッジ強度として算出し、前記第1エッジ強度に基づいて前記第1閾値または前記第2閾値を設定し、
夜間であると判定された場合には、道路端を基準とする道路端基準領域を含む第2エッジ抽出領域において被写体のエッジを抽出し、前記第2エッジ抽出領域において抽出されたエッジの分布に基づいて、前記第2エッジ抽出領域におけるエッジの強度を第2エッジ強度として算出し、前記第2エッジ強度に基づいて前記第1閾値または前記第2閾値を設定することを特徴とする立体物検出方法。 - 自車両後方を撮像する撮像手段により取得された撮像画像を鳥瞰視画像に視点変換し、異なる時刻に得られた鳥瞰視画像の差分に基づいて差分波形情報を生成し、該差分波形情報に基づいて立体物を検出する立体物検出方法であって、
昼間であるか夜間であるかを判定し、
昼間であると判定された場合には、地平線を基準とする地平線基準領域を少なくとも含む第1エッジ抽出領域において被写体のエッジを抽出し、前記第1エッジ抽出領域で抽出されたエッジの分布に基づいて、前記第1抽出領域におけるエッジの強度を第1エッジ強度として算出し、前記第1エッジ強度に基づいて前記撮像手段の露出制御を行い、
夜間であると判定された場合には、道路端を基準とする道路端基準領域を含む第2エッジ抽出領域において被写体のエッジを抽出し、前記第2エッジ抽出領域において抽出されたエッジの分布に基づいて、前記第2エッジ抽出領域におけるエッジの強度を第2エッジ強度として算出し、前記第2エッジ強度に基づいて前記撮像手段の露出制御を行うことを特徴とする立体物検出方法。 - 自車両後方を撮像する撮像手段により取得された撮像画像を鳥瞰視画像に視点変換し、前記鳥瞰視画像に基づいてエッジ情報を検出し、該エッジ情報に基づいて立体物を検出する立体物検出方法であって、
昼間であるか夜間であるかを判定し、
昼間であると判断された場合には、地平線を基準とする地平線基準領域を少なくとも含む第1エッジ抽出領域において被写体のエッジを抽出し、前記第1エッジ抽出領域で抽出されたエッジの分布に基づいて、前記第1抽出領域におけるエッジの強度を第1エッジ強度として算出し、前記第1エッジ強度に基づいて前記撮像手段の露出制御を行い、
夜間であると判断された場合には、道路端を基準とする道路端基準領域を含む第2エッジ抽出領域において被写体のエッジを抽出し、前記第2エッジ抽出領域において抽出されたエッジの分布に基づいて、前記第2エッジ抽出領域におけるエッジの強度を第2エッジ強度として算出し、前記第2エッジ抽出領域における前記第2エッジ強度に基づいて前記撮像手段の露出制御を行うことを特徴とする立体物検出方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012166529 | 2012-07-27 | ||
JP2012166529 | 2012-07-27 | ||
JP2012166528 | 2012-07-27 | ||
JP2012166528 | 2012-07-27 | ||
PCT/JP2013/070309 WO2014017625A1 (ja) | 2012-07-27 | 2013-07-26 | 立体物検出装置および立体物検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014017625A1 true JPWO2014017625A1 (ja) | 2016-07-11 |
JP5981550B2 JP5981550B2 (ja) | 2016-08-31 |
Family
ID=49997430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014527024A Active JP5981550B2 (ja) | 2012-07-27 | 2013-07-26 | 立体物検出装置および立体物検出方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9591274B2 (ja) |
EP (1) | EP2879386B1 (ja) |
JP (1) | JP5981550B2 (ja) |
CN (1) | CN104509101B (ja) |
WO (1) | WO2014017625A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103080976B (zh) * | 2010-08-19 | 2015-08-05 | 日产自动车株式会社 | 三维物体检测装置和三维物体检测方法 |
US9349057B2 (en) * | 2011-09-12 | 2016-05-24 | Nissan Motor Co., Ltd. | Three-dimensional object detection device |
US8903127B2 (en) * | 2011-09-16 | 2014-12-02 | Harman International (China) Holdings Co., Ltd. | Egomotion estimation system and method |
JP2015200976A (ja) * | 2014-04-04 | 2015-11-12 | 富士通株式会社 | 移動量推定装置、移動量推定方法、およびプログラム |
JP6130325B2 (ja) * | 2014-04-24 | 2017-05-17 | 本田技研工業株式会社 | 道路環境認識装置 |
WO2015162910A1 (ja) * | 2014-04-24 | 2015-10-29 | パナソニックIpマネジメント株式会社 | 車載用表示装置、車載用表示装置の制御方法、プログラム |
US9785837B2 (en) * | 2014-10-21 | 2017-10-10 | Bae Systems Information And Electronic Systems Integration Inc. | Measuring atmospheric attributes using multispectral images |
JP6657925B2 (ja) * | 2015-06-04 | 2020-03-04 | ソニー株式会社 | 車載カメラ・システム並びに画像処理装置 |
JP7066607B2 (ja) * | 2015-08-03 | 2022-05-13 | トムトム グローバル コンテント ベスローテン フエンノートシャップ | ローカライゼーション基準データを生成及び使用する方法及びシステム |
JP6658054B2 (ja) * | 2016-02-16 | 2020-03-04 | トヨタ車体株式会社 | 車体部品の施工部位判定システム及び施工部位判定方法 |
US9975480B2 (en) | 2016-04-12 | 2018-05-22 | Denso International America, Inc. | Methods and systems for blind spot monitoring with adaptive alert zone |
US9947226B2 (en) | 2016-04-12 | 2018-04-17 | Denso International America, Inc. | Methods and systems for blind spot monitoring with dynamic detection range |
US9994151B2 (en) | 2016-04-12 | 2018-06-12 | Denso International America, Inc. | Methods and systems for blind spot monitoring with adaptive alert zone |
US9931981B2 (en) * | 2016-04-12 | 2018-04-03 | Denso International America, Inc. | Methods and systems for blind spot monitoring with rotatable blind spot sensor |
US11328822B2 (en) * | 2017-02-01 | 2022-05-10 | Conflu3Nce Ltd | Multi-purpose interactive cognitive platform |
JP6832224B2 (ja) * | 2017-04-28 | 2021-02-24 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
US10579067B2 (en) * | 2017-07-20 | 2020-03-03 | Huawei Technologies Co., Ltd. | Method and system for vehicle localization |
US10489677B2 (en) * | 2017-09-07 | 2019-11-26 | Symbol Technologies, Llc | Method and apparatus for shelf edge detection |
JP7401273B2 (ja) * | 2019-11-26 | 2023-12-19 | 日立Astemo株式会社 | 移動体の制御装置及び方法 |
US20230150661A1 (en) * | 2021-11-18 | 2023-05-18 | Aurora Flight Sciences Corporation, a subsidiary of The Boeing Company | Horizon detection to support an aircraft on a mission in an environment |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006311216A (ja) * | 2005-04-28 | 2006-11-09 | Aisin Seiki Co Ltd | 車両周辺監視システム |
JP2008219063A (ja) * | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 車両周辺監視装置及び方法 |
JP2009037284A (ja) * | 2007-07-31 | 2009-02-19 | Daihatsu Motor Co Ltd | 移動物認識装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003044863A (ja) * | 2001-07-30 | 2003-02-14 | Nissan Motor Co Ltd | 仕切線認識装置 |
WO2003093857A2 (en) * | 2002-05-03 | 2003-11-13 | Donnelly Corporation | Object detection system for vehicle |
JP3722487B1 (ja) * | 2004-05-19 | 2005-11-30 | 本田技研工業株式会社 | 車両用走行区分線認識装置 |
JP4130434B2 (ja) * | 2004-11-30 | 2008-08-06 | 本田技研工業株式会社 | 撮像装置の異常検知装置 |
KR101075615B1 (ko) * | 2006-07-06 | 2011-10-21 | 포항공과대학교 산학협력단 | 주행 차량의 운전자 보조 정보 생성 장치 및 방법 |
FR2923016B1 (fr) * | 2007-10-31 | 2009-11-20 | Valeo Vision | Procede de detection d'un phenomene perturbateur de visibilite pour un vehicule. |
EP2352013B1 (en) * | 2010-02-01 | 2013-01-23 | Autoliv Development AB | A vision system and method for a motor vehicle |
-
2013
- 2013-07-26 CN CN201380040049.3A patent/CN104509101B/zh active Active
- 2013-07-26 JP JP2014527024A patent/JP5981550B2/ja active Active
- 2013-07-26 US US14/410,760 patent/US9591274B2/en active Active
- 2013-07-26 WO PCT/JP2013/070309 patent/WO2014017625A1/ja active Application Filing
- 2013-07-26 EP EP13823494.3A patent/EP2879386B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006311216A (ja) * | 2005-04-28 | 2006-11-09 | Aisin Seiki Co Ltd | 車両周辺監視システム |
JP2008219063A (ja) * | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 車両周辺監視装置及び方法 |
JP2009037284A (ja) * | 2007-07-31 | 2009-02-19 | Daihatsu Motor Co Ltd | 移動物認識装置 |
Also Published As
Publication number | Publication date |
---|---|
US20150195496A1 (en) | 2015-07-09 |
CN104509101A (zh) | 2015-04-08 |
JP5981550B2 (ja) | 2016-08-31 |
EP2879386B1 (en) | 2018-01-03 |
US9591274B2 (en) | 2017-03-07 |
CN104509101B (zh) | 2017-12-01 |
EP2879386A4 (en) | 2015-07-22 |
EP2879386A1 (en) | 2015-06-03 |
WO2014017625A1 (ja) | 2014-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5981550B2 (ja) | 立体物検出装置および立体物検出方法 | |
JP5787024B2 (ja) | 立体物検出装置 | |
JP5804180B2 (ja) | 立体物検出装置 | |
JP5977827B2 (ja) | 立体物検出装置および立体物検出方法 | |
JP5776795B2 (ja) | 立体物検出装置 | |
JP6020567B2 (ja) | 立体物検出装置および立体物検出方法 | |
JP5874831B2 (ja) | 立体物検出装置 | |
JP5943077B2 (ja) | 立体物検出装置および立体物検出方法 | |
JP5743020B2 (ja) | 立体物検出装置 | |
JP5682735B2 (ja) | 立体物検出装置 | |
JP5783319B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP5835459B2 (ja) | 立体物検出装置 | |
JP5999183B2 (ja) | 立体物検出装置および立体物検出方法 | |
JP6020568B2 (ja) | 立体物検出装置および立体物検出方法 | |
JP6011110B2 (ja) | 立体物検出装置および立体物検出方法 | |
JP5668891B2 (ja) | 立体物検出装置 | |
JP5768927B2 (ja) | 立体物検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160728 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5981550 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |