JP5137717B2 - 立体物検出装置およびその方法 - Google Patents
立体物検出装置およびその方法 Download PDFInfo
- Publication number
- JP5137717B2 JP5137717B2 JP2008174515A JP2008174515A JP5137717B2 JP 5137717 B2 JP5137717 B2 JP 5137717B2 JP 2008174515 A JP2008174515 A JP 2008174515A JP 2008174515 A JP2008174515 A JP 2008174515A JP 5137717 B2 JP5137717 B2 JP 5137717B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- difference
- time
- vehicle
- dimensional object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明の立体物検出方法は、任意の時刻t1に前記カメラにより撮影した第1の撮影画像を視線変換した第1の視線変換画像を発生し、前記時刻t1より所定時間経過した時刻t2に前記カメラにより撮影した第2の撮影画像を視線変換した第2の視線変換画像を発生し、前記第1の視線変換画像もしくは前記第2の視線変換画像を、前記時刻t1から時刻t2の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生し、該シフト画像とシフトしていない視線変換画像との差を算出して第1の差分画像を発生し、前記時刻t1と前記時刻t2における自車の影画像をそれぞれ作成し、一方の影画像を前記移動量に基づいてシフトしたシフト影画像を作成し、該シフト影画像とシフトしていない影画像との差を算出して第2の差分画像を発生し、前記第1の差分画像と前記第2の差分画像との差を算出して第3の差分画像を発生し、該第3の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する。
本発明の立体物検出装置は、任意の時刻t1と該時刻t1より所定時間経過した時刻t2の間に、自車が移動した移動量を算出する移動量算出部と、前記時刻t1と前記時刻t2に前記カメラによりそれぞれ撮影した第1の撮影画像と第2の撮影画像とをそれぞれ視線変換して第1の視線変換画像と第2の視線変換画像とを発生する視線変換部と、前記第1の視線変換画像もしくは前記第2の視線変換画像を、前記移動量に基づいてシフトしたシフト画像を発生するシフト画像発生部と、前記シフトした視線変換画像とシフトしていない視線変換画像との差を算出して第1の差分画像を発生する第1差分画像発生部と、前記時刻t1と前記時刻t2における自車の影画像をそれぞれ作成する影画像作成部と、前記影画像の一方を前記移動量に基づいてシフトしたシフト影画像を発生するシフト影画像発生部と、前記シフト影画像とシフトしていない影画像との差を算出して第2の差分画像を発生する第2差分画像発生部と、前記第1の差分画像と前記第2の差分画像との差を算出して第3の差分画像を発生する第3差分画像発生部と、前記第3の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、を備えている。
図1、図2、図3は本発明の第1〜第3実施例の概略説明図である。1は自車影、2は立体物、3は平面図形、4は自車影の残存差分、5は立体物の残存差分、6は計算で算出した自車影、7は自車影6の残存差分、8(図2)は計算で算出した自車影、9は自車影8より算出した矩形領域、10は矩形領域9を影とした影画像、11は自車影領域の残存差分、12は立体物の残存差分、13は影画像の残存差分、TPは影の先端の位置、14(図3)は移動前の立体物の残存差分、15は移動後の立体物の残存差分、16は立体物の残存差分である。
図示しないカメラにより、任意の時刻t1と該時刻t1より所定時間経過した時刻t2において自車の後方を撮影し、得られた第1、第2の撮影画像を俯瞰変換し、図1(A)の(a)、(b)に示すように自車影1、立体物2、平面図形3が存在する俯瞰画像G1、G2をそれぞれ取得する。ついで、自車の移動量に基づいて、図1(A)の(c)に示すような俯瞰画像G2を移動方向と逆方向にシフトした俯瞰画像G2’を算出する。しかる後、俯瞰画像G1より俯瞰画像G2’を差し引いて、図1(A)の(d)に示すように自車影の残存差分4と立体物の残存差分5を含む差分画像Gsを算出する。一方、自車の3次元形状と、時刻t1と時刻t2におけるそれぞれの光源(太陽)の位置と、自車方向とにより各時刻において、算出した図1(B)の(a)、(b)に示すように自車影6を含む影画像K1、K2を作成する。その後、自車の移動量に基づいて、図1(B)の(c)に示す影画像K2を移動方向と逆方向にシフトした自車影画像K2’を算出し、影画像K1から影画像K2’を差し引き、図1(B)の(d)に示すように影の残存差分7を含む影差分画像Ksを生成する。最後に、差分画像Gsから影差分画像Ksを差し引いて、図1(C)に示すように立体物の残存差分5だけを含む差分画像Gs’を算出する。以後、差分画像Gs’内に残存差分が存在するか調べることにより、単眼カメラで進行方向に立体物が存在するかの判断を行うことができる。
任意の時刻t1に図示しないカメラにより撮影した撮影画像を俯瞰変換し、図2(A)の(a)に示すように自車影1、立体物2、平面図形3が存在する俯瞰画像G1を取得する。また、図2(B)の(a)、(b)に示すように、該時刻t1における光源の位置、自車方向より算出した自車影8の影が存在する矩形領域9を算出し、領域9全体を影領域10とする影画像Kを作成する。ついで、図2(A)の(b)に示すように、図2(A)の(a)と図2(B)の(b)を合成した俯瞰画像G1’を取得する。同様にして、該時刻t1より所定時間経過した時刻t2において図示しないカメラにより撮影した撮影画像を俯瞰変換し、図2(A)の(c)に示すように俯瞰画像G2を取得し、ついで、図2(A)の(d)に示すように俯瞰画像G2と影画像Kを合成した俯瞰画像G2’を取得する。しかる後、図2(A)の(e)と図2(B)の(c)に示すように、自車の移動量に基づいて俯瞰画像G2’と影画像Kを移動方向と逆方向にシフトした俯瞰画像G2”と影画像K’を算出する。シフト後、俯瞰画像G1’より俯瞰画像G2”を差し引いて図2(A)の(f)に示すような影の残存差分11と立体物の残存差分12を含む差分画像Gsを算出し、かつ影画像Kより影画像K’を差し引いて図2(B)の(d)に示すような影の残存差分13を含む差分画像Ksを算出する。最後に、差分画像Gsより差分画像Ksを差し引いて、図2(C)に示すような立体物の残存差分12を含む差分画像Gs’を算出する。以後、差分画像Gs’内に残存差分が存在するか調べることにより、単眼カメラで進行方向に立体物が存在するかの判断を行うことができる。
図3(A)の(a)に示すように、任意の時刻t1に図示しないカメラにより撮影した撮影画像P1より、図3(A)の(b)に示すように、該時刻t1より所定時間Δt経過した時刻(t1+Δt)に該カメラにより撮影した撮影画像P1’を差し引いて、図3(A)の(c)に示すように自車影のない立体物の残存差分14を含む差分画像P1”を算出し、該差分画像P1”を俯瞰画像に変換し、図示しない俯瞰画像Gt1を算出する。同様にして、図3(B)の(a)に示すように、該時刻t1より所定時間T(T>Δt)経過した時刻t2に撮影した撮影画像P2より、図3(B)の(b)に示すように、該時刻t2より所定時間Δt経過した時刻(t2+Δt)に撮影した撮影画像P2’を差し引いて、図3(B)の(c)に示すように自車影のない立体物の残存差分15を含む差分画像P2”を算出し、該差分画像P2”を俯瞰変換し、図示しない俯瞰画像Gt2を算出する。しかる後、自車の移動量に基づいて、図3(B)の(d)に示すような俯瞰画像Gt2を移動方向と逆方向にシフトした俯瞰画像Gt2’を算出し、俯瞰画像Gt1より俯瞰画像Gt2’を差し引いて、図3(C)に示すような立体物の残存差分16を含む差分画像Gtsを算出する。以後、差分画像Gts内に残存差分が存在するか調べることにより、単眼カメラで進行方向に立体物が存在するかの判断を行うことができる。
図4は本発明の立体物検出装置を搭載した車載器の構成図である。
ナビゲーションユニット19において、GPS受信部21はGPS衛星から送られてくる位置情報を受信して車両の絶対現在位置を測定する。車速検出部22は一定走行距離毎にパルスを発生する距離センサを備えている。ナビゲーション部23はGPS受信部21と車速検出部22と車両回転角度を検出するジャイロセンサ(図示せず)から出力される信号を用いて、現在の車両位置を推定できるようになっている。
ステップS501において、ギアポジション検出部がギアがバックに入ったと判断した場合には、カメラ24は時刻t1において車両進行方向の撮影画像P1を撮影し(ステップS502)、画像トリミング部25は撮影画像P1から俯瞰変換を行うための撮影画像を切り出し、投影処理部26は切り出した撮影画像を俯瞰変換し、図1(A)の(a)に示すような自車影1、立体物2、平面図形3を含む俯瞰画像G1を取得し(ステップS503)、画像バッファ27は該俯瞰画像G1を記憶する。
ステップS504において、所定時間経過した場合には、カメラ24は時刻t2における車両進行方向の撮影画像P2を撮影し(ステップS505)、画像トリミング部25は撮影画像P2から俯瞰変換を行うための撮影画像を切り出し、投影処理部26は切り出した撮影画像を俯瞰変換し、図1(A)の(b)に示すような俯瞰画像G2を取得する(ステップS506)。
次に、差分演算部31は画像バッファ27が記憶している俯瞰画像G1より画像シフト部30が補正した俯瞰画像G2’を差し引いて、図1(A)の(d)に示すように影の残存差分4と立体物の残存差分5が存在する差分画像Gsを算出する(ステップS509)。
ついで、自車影計算部35は、自車3次元形状記憶部34が記憶している自車形状と、算出した太陽の位置とジャイロセンサから取得した自車方向情報とを用いて、図1(B)の(a)に示すような計算で算出した影画像6を含む撮影画像P1撮影時の自車影画像K1を算出する(ステップS613)。
最後に自車影差分演算部38は影画像K1より移動量補正した影画像K2’を差し引き、差分マスク作成部39は図1(B)の(d)に示すような差分画像Ksを算出する(ステップS618)。この差分画像Ksを前述したS511以降において使用する。
図7は本発明の第1実施例の第1変形例の構成図である。図4と同一の部分には同一の符号を付している。異なる点は、平均撮影画像発生部71を設置した点である。
画像トリミング部25は、任意の時刻t1前後にカメラ24が撮影した所定枚数(少なくとも2枚)の撮影画像から俯瞰変換を行うために画像を切り出し、投影処理部26は該切り出した撮影画像をそれぞれ俯瞰画像に変換し、平均撮影画像発生部71は該所定枚数の俯瞰画像を平均化して1枚の俯瞰画像を算出する。しかる後、該俯瞰画像を画像バッファ27は記憶する。該時刻t1より所定時間経過した時刻t2においても同様の処理を行って1枚の俯瞰画像を算出し、平均撮影画像発生部71は該俯瞰画像を画像シフト部30に入力する。
図8は本発明の第1実施例の第2変形例の構成図、図9はカメラによる光源位置検出の概要図である。図9において、81はカメラ、91は光源である太陽、92は自車両、θはカメラ81の視野角である。
図8の第2変形例の構成図において、図4の第1実施例の構成図と同一の部分には同一の符号を付している。異なる点は、太陽の位置を求めるための太陽運動軌道記憶部32と太陽位置算出部33とを除去し、代わりにカメラ81と太陽位置検出部82とを設けた点である。
ステップS1001において、ギアポジション検出部がギアがバックに入ったと判断した場合には、カメラ24は時刻t1において車両進行方向の撮影画像P1を撮影すると共に、カメラ81は周囲を撮影し、太陽位置検出部82は該周囲撮影画像より太陽の位置および太陽に対する自車方向を検出して保存する(ステップS1002)。
ステップS1004において、所定時間経過した場合には、カメラ24は時刻t2における車両進行方向の撮影画像P2を撮影すると共に、カメラ81は周囲を撮影し、太陽位置検出部82は該周囲撮影画像より太陽の位置および太陽に対する自車方向を検出して保存する(ステップS1005)。
図12は本発明の第2実施例の構成図であり、図4の第1実施例の構成図と同一の部分には同一符号を付しており、図4と異なる点は画像合成部121を設けた点である。
画像合成部121は自車影計算部35が算出した影画像K(自車影領域)と投影処理部26が作成した俯瞰画像との合成を行う。
ギアポジション検出部(図示せず)はギアがバックに入ったかの監視を行い(ステップS1301)、ギアがバックに入ったと判断した場合には、S1302に進む。
ステップS1301でギアポジション検出部がギアがバックに入ったと判断した場合には、カメラ24は時刻t1において車両進行方向の撮影画像P1を撮影し(ステップS1302)、画像トリミング部25は撮影画像P1から俯瞰変換を行うための撮影画像を切り出し、投影処理部26は切り出した撮影画像を俯瞰変換し、図2(A)の(a)に示すような自車影1、立体物2、平面図形3を含む俯瞰画像G1を取得し(ステップS1303)、内蔵のメモリに該俯瞰画像G1を記憶する。
ステップS1306において、所定時間経過した場合には、カメラ24は時刻t2における車両進行方向の撮影画像P2を撮影し(ステップS1307)、画像トリミング部25は撮影画像P2から俯瞰変換を行うための撮影画像を切り出し、投影処理部26は切り出した撮影画像を俯瞰変換し、図2(A)の(c)に示すような俯瞰画像G2を取得する(ステップS1308)。
ついで、後述するマスク画像Ks発生処理を行い、図2(B)の(d)に示すように自車影の残存差分13を含むマスク画像Ksを発生し(ステップS1313)、差分マスク部40は差分画像Gsよりマスク画像Ksを差し引いて図2(C)に示すような差分画像Gs’を算出し(ステップS1314)、警告発生部41は差分画像Gs’内に残存差分が存在するか判断し(ステップS1315)、残存差分5が存在する場合にはS1316に進み、残存差分が存在しない場合にはS1317に進む。
ついで、自車影計算部35は、自車3次元形状記憶部34が記憶している自車形状(車高)と、算出した太陽の位置とジャイロセンサから取得した自車方向情報を取得する(ステップS1406)。
図16は本発明の第3実施例の構成図である。
カメラ161は、自車の後方を撮影できるように所定の位置(例えば、車両のナンバープレートの上方)に取り付けられており、時刻t1と所定時間Δt経過した時刻(t1+Δt)、および該時刻t1より所定時間T(T>Δt)経過した時刻t2と所定時間Δt経過した時刻(t2+Δt)にそれぞれの自車後方を撮影する。
図示しないギアポジション検出部はギアがバックに入ったかの監視を行い(ステップS1701)、ギアがバックに入ったと判断した場合には、S1702に進む。
ついで、Δt経過すると、カメラ161は時刻(t1+Δt)において車両進行方向を撮影し、カメラDSP162は該撮影画像を切り取り図3(A)の(b)に示すような撮影画像P1’を取得し(ステップS1703)、差分演算部164は撮影画像P1より撮影画像P1’を差し引いて、図3(A)の(c)に示すような立体物の残存差分14を含む差分画像P1”を算出する(ステップS1704)。
ステップS1705において、閾値判定部165が該幅が該閾値内であると判断した場合には閾値判定部165は該残存差分を自車影の残存差分とみなして消去し(ステップS1706)、画像メモリ166は該差分画像を記憶する。
ステップS1707において、所定時間経過した場合には、カメラ161は時刻t2において車両進行方向を撮影し、カメラDSP162は該撮影画像を切り取り、図3(B)の(a)に示すような自車影1、立体物2を含む撮影画像P2を取得する(ステップS1708)。
ステップ1711において、閾値判定部165が該幅が該閾値以上であると判断した場合、もしくはステップS1712の処理を行った後、視線変換部167は差分画像P1”および差分画像P2”を俯瞰変換し、図示しない俯瞰画像Gt1(差分画像P1”の俯瞰画像)と俯瞰画像Gt2(差分画像P2”の俯瞰画像)を算出する(ステップS1713)。
2 立体物
3 平面図形
4 自車影の残存差分
6 計算で算出した自車影
7 自車影6の残存差分
8 計算で算出した残存差分
9 自車影8より算出した自車影領域
10 自車影領域9を影とした影画像
11 自車影領域の残存差分
13 影画像の残存差分
14 移動前の立体物の残存差分
15 移動後の立体物の残存差分
16 立体物の残存差分
32 太陽運動軌道記憶部
33 太陽位置算出部
34 自車3次元形状記憶部
35 自車影計算部
36 影画像バッファ
37 影画像オフセット部
38 自車影差分演算部
39 差分マスク作成部
40 差分マスク部
71 背景画像作成部
81 カメラ
82 太陽位置検出部
121 画像合成部
163 フレーム遅延制御部
165 閾値判定部
CNW 車内ネットワーク
TP 影の先端の位置
Claims (22)
- 自動車に取り付けた単眼カメラによる立体物検出方法において、
任意の時刻t1に前記カメラにより撮影した第1の撮影画像を視線変換した第1の視線変換画像を発生し、
前記時刻t1より所定時間経過した時刻t2に前記カメラにより撮影した第2の撮影画像を視線変換した第2の視線変換画像を発生し、
前記第1の視線変換画像もしくは前記第2の視線変換画像を、前記時刻t1から時刻t2の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生し、
該シフト画像とシフトしていない視線変換画像との差を算出して第1の差分画像を発生し、
前記時刻t1と前記時刻t2における自車の影画像をそれぞれ作成し、一方の影画像を前記移動量に基づいてシフトしたシフト影画像を作成し、
該シフト影画像とシフトしていない影画像との差を算出して第2の差分画像を発生し、
前記第1の差分画像と前記第2の差分画像との差を算出して第3の差分画像を発生し、
該第3の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する、
ことを特徴とする立体物検出方法。 - 更に、前記時刻t1前後の複数枚の撮影画像を取得し平均化し、前記第1の撮影画像とし、
前記時刻t2前後の複数枚撮影画像を取得し平均化し、前記第2の撮影画像とする、
ことを特徴とする請求項1記載の立体物検出方法。 - 更に、自車移動方向と車速を検出し、
前記時刻t1と前記時刻t2の時間差と前記移動方向と前記車速を用いて、前記移動量を算出する、
ことを特徴とする請求項1記載の立体物検出方法。 - 更に、自車形状を記憶すると共に、自車方向を取得し、かつ光源位置を算出し、
該光源位置と前記自車形状と前記自車方向を用いて、前記影画像を作成する、
ことを特徴とする請求項1記載の立体物検出方法。 - 更に、太陽軌道を記憶すると共に、自車位置を取得し、
前記光源位置を、前記太陽軌道と前記自車位置を用いて算出する、
ことを特徴とする請求項4記載の立体物検出方法。 - 更に、任意の場所に設置されたカメラにより光源を撮影し、前記光源位置を、撮影画像により算出する、
ことを特徴とする請求項4記載の立体物検出方法。 - 自動車に取り付けた単眼カメラによる立体物検出方法において、
車高と太陽位置に基づいて算出される自車影の先端位置より車体側の領域を車影領域とする影画像を作成し、
任意の時刻t1に前記カメラにより撮影した第1の撮影画像を視線変換して得られる視線変換画像と該時刻t1における前記影画像を合成して第1の合成画像を発生し、
任意の時刻t1より所定時間経過した時刻t2に前記カメラにより撮影した第2の撮影画像を視線変換して得られる視線変換画像と該時刻t2における前記影画像を合成して第2の合成画像を発生し、
前記第1の合成画像と前記第2の合成画像のいずれか一方を、該時刻t1から該時刻t2の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生し、
該シフト画像とシフトしていない合成画像との差を算出して第1の差分画像を発生し、
前記時刻t1あるいは前記時刻t2における影画像を自車の前記移動量に基づいてシフトしたシフト影画像を生成し、
該シフト影画像とシフトしない影画像との差を算出して第2の差分画像を発生し、
前記第1の差分画像と前記第2の差分画像との差を算出して第3の差分画像を発生し、
該第3の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する、
ことを特徴とする立体物検出方法。 - 自動車に取り付けた単眼カメラによる立体物検出方法において、
任意の時刻t1に前記カメラにより撮影した第1の撮影画像と、該時刻t1より所定時間Δt経過した時刻に前記カメラにより撮影した第2の撮影画像との差を算出して第1の差分画像を発生し、
前記時刻t1より所定時間T(T>Δt)経過した時刻t2に前記カメラにより撮影した第3の撮影画像と、該時刻t2より前記所定時間Δt経過した時刻に前記カメラにより撮影した第4の撮影画像との差を算出して第2の差分画像を発生し、
前記第1の差分画像と前記第2の差分画像のいずれか一方を、前記時刻t1から前記時刻t2の間に自車が移動した移動量に基づいてシフトしたシフト差分画像を発生し、
該シフト差分画像とシフトしていない差分画像との差を算出して第3の差分画像を発生し、
該第3の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する、
ことを特徴とする立体物検出方法。 - 前記第1の差分画像と前記第2の差分画像を視線変換して、第1の視線変換差分画像と第2の視線変換差分画像を発生し、
該第1の視線変換差分画像と該第2の視線変換差分画像のいずれか一方を前記移動量に基づいてシフトしたシフト差分画像を発生し、
該シフト差分画像とシフトしていない視線変換差分画像との差を算出して前記第3の差分画像を発生する、
ことを特徴とする請求項8記載の立体物検出方法。 - 更に、自車の移動方向と車速を検出し、
前記時刻t1と前記時刻t2の時間差と前記移動方向と前記車速を用いて、前記移動量を算出する、
ことを特徴とする請求項8記載の立体物検出方法。 - 更に、前記第1の差分画像もしくは前記第2の差分画像を作成する際に、画像の幅に関して閾値判断して該第1、第2の差分画像を作成する、
ことを特徴とする請求項8記載の立体物検出方法。 - 自動車に取り付けた単眼カメラによる立体物検出装置において、
任意の時刻t1と該時刻t1より所定時間経過した時刻t2の間に、自車が移動した移動量を算出する移動量算出部と、
前記時刻t1と前記時刻t2に前記カメラによりそれぞれ撮影した第1の撮影画像と第2の撮影画像とをそれぞれ視線変換して第1の視線変換画像と第2の視線変換画像とを発生する視線変換部と、
前記第1の視線変換画像もしくは前記第2の視線変換画像を、前記移動量に基づいてシフトしたシフト画像を発生するシフト画像発生部と、
前記シフトした視線変換画像とシフトしていない視線変換画像との差を算出して第1の差分画像を発生する第1差分画像発生部と、
前記時刻t1と前記時刻t2における自車の影画像をそれぞれ作成する影画像作成部と、
前記影画像の一方を前記移動量に基づいてシフトしたシフト影画像を発生するシフト影画像発生部と、
前記シフト影画像とシフトしていない影画像との差を算出して第2の差分画像を発生する第2差分画像発生部と、
前記第1の差分画像と前記第2の差分画像との差を算出して第3の差分画像を発生する第3差分画像発生部と、
前記第3の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、
を備えたことを特徴とする立体物検出装置。 - 更に、複数の撮影画像を取得し平均化した撮影画像を発生する平均撮影画像発生部を備え、
該平均撮影画像発生部が発生した撮影画像を前記第1の撮影画像および前記第2の撮影画像とする、
ことを特徴とする請求項12記載の立体物検出装置。 - 更に、前記自車の移動方向を検出する移動方向検出部と、
前記自車の車速を検出する車速検出部と、
を備え、
前記移動量検出部は、前記時刻t1と前記時刻t2の時間差と前記移動方向検出部が検出した移動方向と前記車速検出部が検出した車速を用いて、前記移動量を算出する、
ことを特徴とする請求項12記載の立体物検出装置。 - 更に、自車形状を記憶する自車形状記憶部と、
自車方向を検出する自車方向検出部と、
光源の位置を算出する光源位置算出部と、
を備え、
前記影画像作成部は、前記自車形状と前記自車方向と前記光源位置を用いて、前記影画像を作成する、
ことを特徴とする請求項12記載の立体物検出装置。 - 更に、太陽軌道を記憶する太陽軌道記憶部と、
自車位置を検出する自車位置検出部と、
を備え、
前記光源位置算出部は、前記太陽軌道と前記自車位置を用いて太陽位置を光源位置として算出する、
ことを特徴とする請求項15記載の立体物検出装置。 - 更に、前記自車の任意の場所に、太陽光源を撮影するカメラを備え、
前記光源位置検出部は、該カメラが撮影した画像を用いて太陽位置を前記光源位置として算出する、
ことを特徴とする請求項15記載の立体物検出装置。 - 自動車に取り付けた単眼カメラによる立体物検出装置において、
車高と太陽位置に基づいて算出される自車影の先端位置より車体側の領域を車影領域とする影画像を生成する影画像生成部と、
任意の時刻t1に前記カメラにより撮影した第1の撮影画像を視線変換して得られる視線変換画像と該時刻t1における前記影画像を合成して第1の合成画像を発生する第1合成画像発生部と、
任意の時刻t1より所定時間経過した時刻t2に前記カメラにより撮影した第2の撮影画像を視線変換して得られる視線変換画像と該時刻t2における前記影画像を合成して第2の合成画像を発生する第2合成画像発生部と、
前記第1の合成画像と前記第2の合成画像のいずれか一方を、該時刻t1から該時刻t2の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生するシフト画像発生部と、
前記第1の差分画像と前記第2の差分画像との差を算出して第3の差分画像を発生する第3差分画像発生部と、
該シフト画像とシフトしていない合成画像との差を算出して第1の差分画像を発生する第1差分画像発生部と、
前記時刻t1あるいは前記時刻t2における影画像を自車の前記移動量に基づいてシフトしたシフト影画像を生成するシフト影画像生成部と、
該シフト影画像とシフトしない影画像との差を算出して第2の差分画像を発生する第2差分画像発生部と、
該第3の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、
を備えたことを特徴とする立体物検出装置。 - 自動車に取り付けた単眼カメラによる立体物検出装置において、
任意の時刻t1と該時刻t1より所定時間T経過した時刻t2の間に、自車が移動した移動量を算出する移動量算出部と、
前記時刻t1に前記カメラにより撮影した第1の撮影画像と、前記時刻t1より所定時間Δt(T>Δt)経過した時刻に前記カメラにより撮影した第2の撮影画像との差を算出して第1の差分画像を発生する第1差分画像発生部と、
前記時刻t2に前記カメラにより撮影した第3の撮影画像と、前記時刻t2より所定時間Δt経過した時刻に前記カメラにより撮影した第4の撮影画像との差を算出して第2の差分画像を発生する第2差分画像発生部と、
前記第1の差分画像と前記第2の差分画像のいずれか一方を前記移動量に基づいてシフトしたシフト差分画像を発生するシフト差分画像発生部と、
前記シフト差分画像とシフトしていない差分画像との差を算出して第3の差分画像を発生する第3差分画像発生部と、
前記第3の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、
を備えたことを特徴とする立体物検出装置。 - 更に、前記第1の差分画像と前記第2の差分画像を視線変換して、第1の視線変換差分画像と第2の視線変換差分画像を発生する視線変換発生部を備え、
前記シフト差分画像発生部は、前記第1の視線変換差分画像と前記第2の視線変換差分画像のいずれか一方を前記移動量に基づいてシフトしたシフト差分画像を発生し、
前記第3差分画像発生部は、該シフト差分画像とシフトしていない視線変換差分画像との差を算出して前記第3の差分画像を発生する、
ことを特徴とする請求項19記載の立体物検出装置。 - 更に、前記自車の移動方向を検出する移動方向検出部と、
前記自車の車速を検出する車速検出部と、
を備え、
前記移動量検出部は、前記時刻t1と前記時刻t2の時間差と前記移動方向と前記車速を用いて、前記移動量を算出する、
を特徴とする請求項19記載の立体物検出装置。 - 更に、前記第1の差分画像および前記第2の差分画像を画像幅に関して閾値判断する閾値判断部、
を備えたことを特徴とする請求項19記載の立体物検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008174515A JP5137717B2 (ja) | 2008-07-03 | 2008-07-03 | 立体物検出装置およびその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008174515A JP5137717B2 (ja) | 2008-07-03 | 2008-07-03 | 立体物検出装置およびその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010015367A JP2010015367A (ja) | 2010-01-21 |
JP5137717B2 true JP5137717B2 (ja) | 2013-02-06 |
Family
ID=41701434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008174515A Expired - Fee Related JP5137717B2 (ja) | 2008-07-03 | 2008-07-03 | 立体物検出装置およびその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5137717B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5127883B2 (ja) * | 2010-06-04 | 2013-01-23 | 株式会社日立システムズ | ネットワークカメラ異常検知及び通報方式 |
JP5981857B2 (ja) * | 2013-02-14 | 2016-08-31 | 富士重工業株式会社 | 車外環境認識装置および車外環境認識方法 |
JP2015200976A (ja) | 2014-04-04 | 2015-11-12 | 富士通株式会社 | 移動量推定装置、移動量推定方法、およびプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3494434B2 (ja) * | 1999-10-21 | 2004-02-09 | 松下電器産業株式会社 | 駐車支援装置 |
JP2006268076A (ja) * | 2005-03-22 | 2006-10-05 | Sanyo Electric Co Ltd | 運転支援システム |
JP4625418B2 (ja) * | 2006-03-29 | 2011-02-02 | 株式会社デンソーアイティーラボラトリ | 自影判定方法 |
JP2007300559A (ja) * | 2006-05-02 | 2007-11-15 | Alpine Electronics Inc | 車両周辺画像提供装置及び車両周辺画像における影補正方法 |
-
2008
- 2008-07-03 JP JP2008174515A patent/JP5137717B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010015367A (ja) | 2010-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11657604B2 (en) | Systems and methods for estimating future paths | |
CN104771132B (zh) | 基于眼睛会聚检测视觉疏忽 | |
US20200385116A1 (en) | System and Method of Operating a Vehicular Computing Device to Selectively Deploy a Tethered Vehicular Drone for Capturing Video | |
JP4556742B2 (ja) | 車両直下画像表示制御装置および車両直下画像表示制御プログラム | |
WO2018021181A1 (en) | Vessel monitoring apparatus | |
KR101979276B1 (ko) | 차량용 사용자 인터페이스 장치 및 차량 | |
JP2016013793A5 (ja) | ||
US20170220041A1 (en) | Vehicle surroundings monitoring apparatus, monitoring system, remote monitoring apparatus, and monitoring method | |
JPWO2006028180A1 (ja) | カメラ及びカメラ装置 | |
KR101575954B1 (ko) | 3차원 정합을 이용한 증강현실 장치 및 그 방법 | |
WO2018074085A1 (ja) | 測距装置、および、測距装置の制御方法 | |
JP7147784B2 (ja) | 画像処理装置と画像処理方法およびプログラム | |
JP2007028363A (ja) | トップビュー画像生成装置及びトップビュー画像表示方法 | |
JP5137717B2 (ja) | 立体物検出装置およびその方法 | |
WO2017195459A1 (ja) | 撮像装置、および撮像方法 | |
JP4857159B2 (ja) | 車両運転支援装置 | |
JP5039605B2 (ja) | 駐車支援装置 | |
JP2013062657A (ja) | 画像表示システム、画像表示装置、画像表示方法、及び画像表示プログラム | |
JP2010237798A (ja) | 画像処理装置および画像処理プログラム | |
KR101295618B1 (ko) | 사각 지대 표시 장치 및 방법 | |
JP2012029033A5 (ja) | ||
KR20220072008A (ko) | 차량 후방 감지 장치 및 방법 | |
KR20170065395A (ko) | 자동차의 안전거리 확보를 유도하는 네비게이션 | |
KR20070000381U (ko) | 영상저장 기능이 부가된 이동체 네비게이션 장치 | |
JP2019169042A (ja) | 視点切替装置及び視点切替方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121113 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121113 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5137717 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151122 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |