JP5663352B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法、及び画像処理プログラム Download PDFInfo
- Publication number
- JP5663352B2 JP5663352B2 JP2011046423A JP2011046423A JP5663352B2 JP 5663352 B2 JP5663352 B2 JP 5663352B2 JP 2011046423 A JP2011046423 A JP 2011046423A JP 2011046423 A JP2011046423 A JP 2011046423A JP 5663352 B2 JP5663352 B2 JP 5663352B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature point
- unit
- camera
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
Description
例えば、特許文献1には、視覚センサを介して取込まれる時系列入力画像から抽出される特徴画像に基づき、時間の経過とともに直線的軌跡を描く点列状の車線を抽出する車線認識装置が開示されている。
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図1は、本発明の実施形態に係る画像処理システム1を示す概念図である。
画像処理システム1は、画像処理装置10、複数のカメラ(撮影部)211〜217、車両CAN(Controller Area Network)バス(車両情報伝送媒体)24、複数の車両情報センサ(検出部)241、242、画像バス27(画像情報伝送媒体)、及び補正画像利用部270を含んで構成される。補正画像利用部270は、一例として認識装置271、警告装置272及び表示装置273を含んで構成される。
前方監視カメラ視界V1は、前方監視カメラ211が撮影する画像の視界を示す。広角前方監視カメラ視界V2は、広角前方監視カメラ212が撮影する画像の視界を示す。左前方死角監視カメラ視界V3L及び右前方死角監視カメラ視界V3Rは、左右前方死角監視カメラ213が撮影する画像の視界のうち、各々左側、右側を示す。左後方死角監視カメラ視界V4は、左後方死角監視カメラ214が撮影する画像の視界を示す。右後方死角監視カメラ視界V5は、右後方死角監視カメラ215が撮影する画像の視界を示す。車室内監視カメラ視界V6は、車室内監視カメラ216が撮影する画像の視界を示す。後方監視カメラ視界V7は、後方監視カメラ217が監視する画像の視界を示す。
ヨーレートセンサ241は、車両2のエンジンルームに取り付けられ、車両2の鉛直軸周りの回転速度(ヨーレート)を検出する。ヨーレートセンサ241は、検出したヨーレートを表すヨーレート情報を車両CANバス24に出力する。
速度センサ242は、車両2の車輪のハブベアリングを保持するハウジングに設けられ、速度を検出する。速度センサ242は、検出した速度を表す速度情報を車両CANバス24に出力する。
車両CANバス24は、車両2の移動状態を示す車両情報を各センサから入力され、入力された車両情報を画像処理装置10に出力する。車両情報には、上述のヨーレート情報と速度情報が含まれる。
なお、ヨーレートセンサ241及び速度センサ242を含めて、車両情報を検出する機能部を車両情報検出部と総称する。
なお、画像処理装置10の構成及び処理については後述する。
認識装置271は、画像バス27から入力された圧縮画像信号を復号して画像信号を生成する。認識装置271は、生成した画像信号を入力された画像補正量に基づく補正して補正画像信号を生成する。認識装置271は生成した補正画像信号と障害物を表す画像の画像信号との相関を示す指標値を算出し、算出した指標値が予め設定された閾値を超えた場合に、障害物認識信号を生成する。この障害物認識信号は、当該障害物が撮影したカメラの視界にあることを表す信号である。認識装置271は、生成した障害物認識信号を警告装置272に出力する。
警告装置272は、認識装置271から障害物認識信号が入力され、障害物が存在することを表す警告情報(例えば、警告音、警告画面)を提示する。
表示装置273は、画像バス27から入力された圧縮画像信号を復号して画像信号を生成する。認識装置271は、生成した画像信号を入力された画像補正量に基づいて補正して補正画像信号を生成する。表示装置273は生成した補正画像信号に基づく画像を表示する。
図3は、本実施形態に係る画像処理装置10の構成を示す概略図である。
画像処理装置10は、カメラインタフェース(画像取得部)1211〜1217、画像処理部122、車両CANバスインタフェース(車両情報取得部)124、画像バスインタフェース127、サービスインタフェース129及び画像記録部130を含んで構成される。
例えば、前方監視カメラインタフェース1211は、前方監視カメラ121から画像信号を入力される。広角前方監視カメラインタフェース1212は、広角前方監視カメラ122から画像信号を入力される。左右前方死角監視カメラインタフェース1213は、左右前方死角監視カメラ123から画像信号を入力される。左後方監視カメラインタフェース1214は、左後方死角監視カメラ124から画像信号を入力される。右後方監視カメラインタフェース1215は、右後方死角監視カメラ125から画像信号を入力される。車室内監視カメラインタフェース1216は、車室内監視カメラ126から画像信号を入力される。後方監視カメラインタフェース1217は、後方監視カメラ127から画像信号を入力される。
カメラインタフェース1211〜1217は、カメラ121〜127から入力された画像信号を各々画像処理部122に出力する。
また、画像処理部122は、サービスインタフェース129から入力されたイベント情報を画像記録部130に出力する
なお、画像処理部122の構成及び処理については後述する。
画像バスインタフェース127は、圧縮画像信号と画像補正量を画像バス27に出力する導線を画像処理装置10に接続し、その圧縮画像信号と画像補正量を画像処理部122から画像バス27に出力する。
サービスインタフェース129は、イベント情報検出部(図示せず)からイベント情報を入力する導線を画像処理装置10に接続し、そのイベント情報を画像処理部122に出力する。
ここで、イベント情報とは、車両2又はその周囲の状態を示す情報であり、例えば、ハンドル操舵角、シフトレバー位置、車両2の現在地、等の何れか又はその組み合わせである。イベント情報検出部は、イベント情報を検出する機能部を総称し、検出したイベント情報を各々サービスインタフェース129に出力する。
図4は、本実施形態に係る画像処理部122の構成を示す概略図である。
画像処理部122は、光軸補正部1221、光軸補正部1222−2〜1222−7、特徴点抽出部1223、特徴点ペア探索部(画像補正量算出部)1224、画像圧縮部1225及びデータ入出力部を含んで構成される。
以下、前方監視カメラ211をマスタカメラとして説明する。マスタカメラとは、その他のカメラが撮影した画像信号に係る画像補正量(後述)を算出するために基準とする画像信号を撮影するカメラである。マスタカメラ以外のカメラをスレーブカメラと呼ぶ。
光軸補正部1221は、算出した光軸補正量を用いてマスタ画像を座標変換して補正して、光軸補正マスタ画像を生成する。
これにより、車両の個体又は経年変化により異なる前方監視カメラ211の設置位置や光軸の方向による視界の差異を補償する。
光軸補正部1221は、更にカメラ座標系で表された光軸補正マスタ画像を世界座標系に座標変換し、座標変換した画像信号(後述する射影マスタ画像)を特徴点抽出部1223に出力する。
図5は、本実施形態に係るカメラ座標系と画像座標系の一例を示す。
図5において、Xc軸、Yc軸、Zc軸は各々カメラ座標系の座標軸を示し、Xp軸、Yp軸は各々画像座標系の座標軸を示す。Ocはカメラ座標系の原点であり、Opは画像座標系の原点(前主点)である。
図5において、カメラが備えるレンズの焦点Ocとイメージセンサの中心Pcentとを結ぶ軸が光軸であり、この方向がZc軸方向である。イメージセンサの中心Pcentは、焦点Ocから光軸の方向に焦点距離fだけ離れた位置にある。イメージセンサの受光面の法線方向は光軸に平行である。イメージセンサの水平方向に平行な方向がXc軸方向である。イメージセンサの垂直方向に平行な方向がYc軸方向である。
画像座標系では、原点Ocはイメージセンサの右上端の画素であり、Xp座標は原点OcからXc軸方向への座標であり、Yp座標は原点OcからYc軸方向への座標である。
よって、原点Ocから(Pxs,Pys)番目における画素のカメラ座標系で表した座標は、(f,Pxs,Pys,1)Tとなる。但し、Pは、イメージセンサ上の画素間間隔を表す。Tは、ベクトル又は行列の転置を示す。
図6は、本実施形態に係る世界座標系とカメラ座標系の一例を示す。
図6において、Xw軸、Yw軸、Zw軸は各々世界座標系の座標軸を示し、Xc軸、Yc軸、Zc軸は各々カメラ座標系の座標軸を示す。Xw軸は水平面に沿って車体2の前方に向かう座標軸である。Yw軸は車体2の前方に対し水平面に沿って左方に向かう座標軸である。Zw軸は車体2の鉛直方向に向かう座標軸である。
ロール角θとはXw軸を中心に回転する角度である。ピッチ角φとはYw軸方向を中心に回転する角度である。パン角ρとはZw軸を中心に回転する角度である。
また、世界座標系を基準としたカメラの光軸のロール角θをロール角ずれ量、ピッチ角φをピッチ角ずれ量、パン角ρをパン角ずれ量という。世界座標系を基準としたカメラの取り付け位置を(Xc,Yc,Zc)をカメラずれ量という。このXcを横ずれ量、Ycを縦ずれ量、Zcを高さという。即ち、光軸補正量とは、横ずれ量Xc、縦ずれ量Yc、高さZc、パン角ずれ量ρ、ピッチ角ずれ量φ又はロール角ずれ量θの総称である。
さらに世界座標系においてZw方向の座標(高さ)がゼロ(Zw=0)の平面に座標を射影する行列Tz0は次式で与えられる。
これにより、光軸補正部1221は、前方監視カメラ211の光軸ずれ量を補償する。このようにして補償された画像を射影マスタ画像と呼び、光軸補正部122は射影マスタ画像を特徴点抽出部1223に出力する。
光軸補正量が未設定の際には、光軸補正部1221は、上述の座標変換を行わずに、入力されたマスタ画像を特徴点抽出部1223に出力する。
光軸補正部1222−2〜1222−7は、光軸補正量を補償したスレーブ画像(以下、射影スレーブ画像)を特徴点抽出部1223に各々出力する。
光軸補正量が未設定又は未入力の際には、光軸補正部1222−2〜1222−7は、上述の座標変換を行わずに、各スレーブ画像を特徴点抽出部1223に出力する。
ここで、特徴点抽出部1223が特徴点を抽出する処理について説明する。
図7は、本実施形態において画像信号から特徴点を抽出する処理を示すフローチャートである。
(ステップS102)特徴点抽出部1223は、セル毎にステップS103〜S104の処理を繰り返し、画像内の全セルについて処理が完了した後、ステップS105に進む。
(ステップS103)特徴点抽出部1223は、特徴点抽出部1223は、各セルに含まれる画素(i,j)毎に、輝度値L(i,j)の勾配の大きさm(i,j)とその勾配の方向ψ(i,j)を算出する。
(ステップS104)特徴点抽出部1223は、勾配の方向θ(i,j)の区間(例えば、45度間隔、計8区間)毎に、セルにおける勾配の大きさm(i,j)の累積値(総和)をヒストグラムvcの要素として算出する。このヒストグラムvcは8次元のベクトルである。特徴点抽出部1223は、ヒストグラムvcごとに、その要素の最大値で除算して規格化する。
(ステップS105)特徴点抽出部1223は、セル毎に算出し規格化したヒストグラムvcの各要素をブロック毎にとりまとめ、SIFT特徴量vbを生成する。ここで、ブロックとは、複数のセル(例えば、横2セル×縦2セル;横8画素×縦8画素)から構成される画像の領域をいう。この例では、SIFT特徴量vbは、32次元(8×2×2)のベクトルである。
(ステップS107)特徴点抽出部1223は、識別値dbが予め設定された閾値よりも大きいブロックを特徴点が存在するブロックと判定し、そのブロックを代表する座標、例えば中心座標を特徴点の座標情報と定める。
特徴点ペア探索部1224は、射影マスタ画像から抽出された特徴点と対応する射影スレーブ画像から抽出された特徴点とのペアを探索する。
図8は、本実施形態に係るマスタ画像と視界重複スレーブ画像の一例を示す概念図である。本実施形態では、視界重複スレーブ画像は、広角前方監視カメラ212が撮影した画像である。
図8の中上段は、前方監視カメラ211が撮影した画像(マスタ画像)の一例を示す。図8の中下段は、広角前方監視カメラ212が撮影した画像(視界重複スレーブ画像)の一例を示す。
図8の右上段は、同図中段の一点破線で描かれた円(一点破線円)内の部分であって、マスタ画像に基づく射影マスタ画像において抽出された特徴点(星印)を含む部分を示す。図8の右下段は、同図中段の一点破線円内の部分であって、視界重複スレーブ画像に基づく射影スレーブ画像において抽出された特徴点(星印)を含む部分を示す。
特徴点ペア探索部1224は、当該差分に基づく二乗誤差が最小となる特徴点ペア及び光軸補正量を画像補正量と決定する。
図10は、本実施形態に係るマスタ画像と視界分離スレーブ画像の一例を示す概念図である。本実施形態では、視界分離スレーブ画像は、左右前方死角監視カメラ213、左後方監視カメラ214、右後方監視カメラ215、及び後方監視カメラ217が各々撮影した画像である。但し、図10は、視野分離スレーブ画像の一例として右後方死角監視カメラ215が撮影した画像を示す
なお、本実施形態では、車室内監視カメラ216が撮影した画像を視界分離カメラ間特徴点ペア探索の対象としない。
図10の中上段は、前方監視カメラ211が撮影した画像(マスタ画像)の一例を示す。図10の中下段は、車室内監視カメラ216が撮影した画像(視界分離スレーブ画像)の一例を示す。
図10の右上段は、同図中上段の一点破線円にマスタ画像に基づく射影マスタ画像から抽出された特徴点(星印)を含む部分を示す。図10の右下段は、同図中下段の一点破線円内に視界重複スレーブ画像に基づく射影スレーブ画像から抽出された特徴点(星印)を含む部分を示す。
即ち、図10は、前方監視カメラ211の視界は車両2の前方を向き、右後方死角監視カメラ215の視界は車両2の右後方を向いており、両者が重複しないことを示す。
そこで、特徴点ペア検索部1224は、視界分離カメラ間特徴点ペア探索を行う前に、車両CANバスインタフェース124から入力された車両情報に基づいてマスタ画像から抽出された特徴点の座標を予測する。
図11の左段は、路面上を走行する車両2が備える前方監視カメラ211(マスタカメラ)の視界(破線)と右後方死角監視カメラ215(スレーブカメラ)の視界(実線)を示す。横軸は、世界座標系のx座標、縦軸はy座標を示す。また、x座標の右上から右下に向かう破線の矢印は、その起点から車両情報に基づき当該矢印の終点となる位置を予測位置と定めることを示す。
図11の右段は、射影マスタ画像及び射影スレーブ画像であって、同図左段の一点破線で示される領域を拡大した部分を表す。同図右段において、白塗りの縦長の長方形は、射影マスタ画像が示すラインマーカを示し、当該底辺に特徴点を有することを示す。また、破線の縦長の長方形は、予測後の射影スレーブ画像が示すラインマーカを示し、当該底辺に特徴点を有することを示す。
そこで、特徴点ペア検索部1224は、射影マスタ画像から抽出された特徴点から予め定められた範囲内にある、予測後の射影スレーブ画像の特徴点を候補特徴点と定める。そして、特徴点ペア探索部1224は、当該抽出された特徴点の座標と候補特徴点の座標との差を最小とする、候補特徴点及び画像補正量を定める。
即ち、時間ΔT後の時刻における世界座標(x’1,y’1,1)Tは特徴点のペアを探索する際のカメラずれ量の初期値となる。ここで、特徴点ペア検索部1224は、補正された特徴点の座標と射影スレーブ画像から抽出された特徴点の座標が近似するように、時間ΔTをカメラ毎の設計値に基づき速度vに反比例するように定めてもよい。これにより、特徴点のペアを探索するための特徴点の組み合わせ数や画像補正量の範囲を限定し、演算量を低減することができる。
特徴点ペア検索部1224は、他のスレーブカメラが撮影した画像信号に基づく視野分離スレーブ画像についても同様な処理を行う。
また、特徴点ペア検索部1224は、決定したスレーブカメラ毎の画像補正量を各々対応する光軸補正部1222−2〜7に出力する。
画像圧縮部1225は、生成した圧縮画像信号をデータ入出力部1226に出力する。
データ入出力部1226は、入力された圧縮画像信号及び画像補正量をカメラ毎に同期して画像バスインタフェース127へ出力する。
データ入出力部1226は、入力された圧縮画像信号、画像補正量、車両情報及びイベント情報を画像記憶部129へ出力する。データ入出力部1226は、画像記憶部129へ圧縮画像信号と画像補正量を出力する際、カメラ毎にこれらを同期させる。
データ入出力部1226は、画像記憶部129から、圧縮画像信号、画像補正量、車両情報及びイベント情報が入力される。
図12は、本実施形態に係る画像処理を示すフローチャートである。
(ステップS201)カメラインタフェース1211はマスタカメラ121から撮影した画像を表すマスタ画像が入力され、入力されたマスタ画像を光軸補正部1221に出力する。カメラインタフェース1211〜1217は、カメラ122〜127から撮影した画像を表すスレーブ画像が各々入力され、入力されたスレーブ画像を光軸補正部1222−2〜1222−7に出力する。その後、ステップS202に進む。
(ステップS202)光軸補正部1221は、前方監視カメラインタフェース1211をから入力されたマスタ画像を構成する各画素の座標に対し、予め設定した光軸補正量に基づく行列Tz1を用いて光軸補正を行う。光軸補正部1221は、上述の光軸補正において入力された画像信号における各画素の座標をカメラ座標系から世界座標系に座標変換する。光軸補正部1221は、光軸補正を施した画像信号(射影マスタ画像)を特徴点抽出部1223に出力する。
光軸補正部1222−2〜1222−7は、カメラインタフェース1212〜1217から入力されたスレーブ画像を構成する各画素の座標に対し、特徴点ペア探索部1224から入力された光軸補正量に基づく行列Tz1を用いて光軸補正を行う。光軸補正部1222−2〜1222−7は、上述の光軸補正において入力された画像信号における各画素の座標をカメラ座標系から世界座標系に座標変換する。光軸補正部1222−2〜1222−7は、光軸補正を施したマスタ画像信号(射影マスタ画像)を特徴点抽出部1223に出力する。その後、ステップS202に進む。
特徴点抽出部1223は、射影マスタ画像、射影スレーブ画像及びこれらの画像から抽出された特徴点の座標情報を特徴点ペア探索部1224に出力する。その後、ステップS204に進む。
(ステップS205)特徴点ペア探索部1224は、特徴点抽出部1223から入力された射影マスタ画像の特徴点と、視界分離スレーブ画像に基づく射影スレーブ画像の特徴点とのペアを探索する処理(視界分離カメラ間特徴点ペア探索)を行う。視界分離カメラ間特徴点ペア探索については後述する。その後、ステップS206に進む。
画像圧縮部1225は、特徴点ペア探索部1224から入力された画像信号を圧縮符号化し圧縮画像信号を生成する。画像圧縮部1225は、生成した圧縮画像信号をデータ入出力部1226に出力する。その後、ステップS207に進む。
データ入出力部1226は、入力された圧縮画像信号及び画像補正量をカメラ毎に同期して画像バスインタフェース127へ出力する。
データ入出力部1226は、入力された圧縮画像信号、画像補正量、車両情報及びイベント情報をカメラ毎に同期して画像記憶部129へ出力する。その後、一連の処理を終了する。
図13は、本実施形態に係る視界重複カメラ間特徴点ペア探索を示すフローチャートである。
(ステップS301)特徴点ペア探索部1224は、設計値に基づくスレーブカメラの光軸補正量を初期値として設定する。また、特徴点ペア探索部1224は、マスタ画像から抽出された特徴点から予め設定された範囲内にあり、対向する特徴点の候補となる候補特徴点及び光軸補正量を探索する範囲を設定する。その後、ステップS302に進む。
(ステップS304)特徴点ペア探索部1224は、ステップS303において変換した座標と射影マスタ画像から抽出された特徴点の座標との差分を算出する。その後、ステップS305に進む。
(ステップS305)特徴点ペア探索部1224は、光軸補正量を更新する。その後、ステップS302に進む。
(ステップS306)特徴点ペア探索部1224は、ステップS304において算出した差分に基づく二乗誤差が最小となる特徴点ペア及び光軸補正量を画像補正量と決定する。
その後、ステップ205に進む。
図14は、本実施形態に係る視界分離カメラ間特徴点ペア探索を示すフローチャートである。視界分離カメラ間特徴点ペア探索は、図13に示す視界重複カメラ間特徴点ペア探索のステップS301の代わりに、ステップS310及びステップS311を有し、終了後にステップS206へ進む。
(ステップS311)特徴点ペア探索部1224は、マスタ画像から抽出された特徴点の出現時間ΔT後における世界座標を、現在の世界座標、入力された速度情報及びヨーレート情報に基づいて例えば式(5)を用いて推定する。特徴点ペア探索部1224は、推定した特徴点に基づき、当該特徴点から予め設定された範囲内にあり、対向する特徴点の候補となる候補特徴点を定める。及び光軸補正量を探索する範囲を設定する。
また、特徴点ペア探索部1224は、設計値に基づくスレーブカメラの光軸補正量を、光軸補正量の初期値として設定し、光軸補正量を探索する範囲を設定する。その後、ステップS302に進む。ステップS302−S306において視野分離スレーブ画像に対して行う処理は、図11においてステップS302−S306において視野重複スレーブ画像に対して行う処理と同様である。その後、ステップS206に進む。
本実施形態では、光軸補正部1221は、上述の生成した光軸補正マスタ画像を画像圧縮部1225に出力し、光軸補正部1222−2〜1222−7は、入力されたスレーブ画像を各々画像圧縮部1225に出力してもよい。このとき、画像圧縮部1225は、入力された光軸補正マスタ画像及びスレーブ画像を各々、入力されたカメラ毎の画像信号として圧縮して圧縮画像信号を生成してもよい。
本実施形態では、特徴点抽出部1223は、SIFT特徴量を用いる方法の代わりに、エッジ抽出により抽出したエッジに基づき特徴点を抽出してもよい。
本実施形態では、画像処理装置10は、さらに当該装置や車両2の外部との通信を可能にする通信インタフェースを備えてもよい。当該通信インタフェースは、外部からの要求信号を入力したとき、画像記録部130から画像信号と対応するイベント情報及び車両情報を読出し、外部に出力してもよい。これにより、本実施形態に係る画像処理装置10は、サービス工場や車両所有者向けにモニタ画像と付随するイベント情報及び車両情報を提供する。
また、本実施形態によれば、1つの画像の特徴点と他の画像の特徴点の位置関係に基づき画像補正値を算出する。これらの特徴点により各画像の位置関係が代表されるため、画像補正値の算出が容易になる。
また、本実施形態によれば、他の画像の特徴点を1つの画像の特徴点から予め定められた範囲内において探索するため、探索にかかる演算量を低減することができる。
また、上述した実施形態における画像処理装置の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。画像装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
このような構成のもとで画像処理システム1が備えるカメラを少数(例えば前方監視カメラ2個)に制限することにより、経済的に本実施形態に係る画像処理システム1を構成することもできる。
1211…前方監視カメラインタフェース、
1212…広角前方監視カメラインタフェース、
1213…左右前方死角監視カメラインタフェース、
1214…左後方監視カメラインタフェース、
1215…右後方監視カメラインタフェース、
1216…車室内監視カメラインタフェース、1217…後方監視カメラインタフェース、
122…画像処理部、1221…光軸補正部、1222−2〜1222−7…光軸補正部、1223…特徴点抽出部、1224…特徴点ペア探索部、1225…画像圧縮部、
1226…データ入出力部
124…車両CANバスインタフェース、127…画像バスインタフェース、
129…サービスインタフェース、130…画像記録部、
211…前方監視カメラ、212…広角前方監視カメラ、
213…左右前方死角監視カメラ、214…左後方監視カメラ、
215…右後方監視カメラ、216…車室内監視カメラ、217…後方監視カメラ、
24…車両CANバス、241…ヨーレートセンサ、242…速度センサ
27…画像バス、270…画像補正利用部、
271…認識装置、272…警告装置、273…表示装置、
Claims (5)
- 各々画像を取得する複数の画像取得部と、
車両の移動状態を示す車両情報を取得する車両情報取得部と、
前記複数の画像取得部のうち1つの画像取得部が取得した第1の画像と、他の画像取得部が取得した第2の画像との位置関係に基づき画像補正量を算出する画像補正量算出部と
を備え、
前記画像補正量算出部は、前記車両情報に基づいて推定した前記位置関係に基づき前記画像補正量を算出する
ことを特徴とする画像処理装置。 - 前記画像から特徴点を抽出する特徴点抽出部を備え、
前記画像補正量算出部は、前記位置関係として前記第1の画像の特徴点と前記第2の画像の特徴点の位置関係を算出すること
を特徴とする請求項1に記載の画像処理装置。 - 前記画像補正量算出部は、
前記第2の画像の特徴点を前記第1の画像の特徴点から予め定められた範囲内において探索することを特徴とする請求項2に記載の画像処理装置。 - 各々画像を取得する複数の画像取得部と、車両の移動状態を示す車両情報を取得する車両情報取得部とを備える画像処理装置における画像処理方法において、
前記画像処理装置が、前記複数の画像取得部のうち1つの画像取得部が取得した第1の画像と、他の画像取得部が取得した第2の画像との位置関係を算出する第1の過程
を有し、
前記第1の過程は、前記車両情報に基づいて推定した前記位置関係に基づき前記画像補正量を算出することを特徴とする画像処理方法。 - 各々画像を取得する複数の画像取得部と、車両の移動状態を示す車両情報を取得する車両情報取得部とを備える画像処理装置のコンピュータに、
前記画像処理装置が、前記複数の画像取得部のうち1つの画像取得部が取得した第1の画像と、他の画像取得部が取得した第2の画像との位置関係を算出する手順、
を実行させるための画像処理プログラムであって、
前記手順は、前記車両情報に基づいて推定した前記位置関係に基づき前記画像補正量を算出することを特徴とする画像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011046423A JP5663352B2 (ja) | 2011-03-03 | 2011-03-03 | 画像処理装置、画像処理方法、及び画像処理プログラム |
US13/410,038 US20120257056A1 (en) | 2011-03-03 | 2012-03-01 | Image processing apparatus, image processing method, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011046423A JP5663352B2 (ja) | 2011-03-03 | 2011-03-03 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012185540A JP2012185540A (ja) | 2012-09-27 |
JP5663352B2 true JP5663352B2 (ja) | 2015-02-04 |
Family
ID=46965808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011046423A Expired - Fee Related JP5663352B2 (ja) | 2011-03-03 | 2011-03-03 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20120257056A1 (ja) |
JP (1) | JP5663352B2 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6081570B2 (ja) * | 2013-02-21 | 2017-02-15 | 本田技研工業株式会社 | 運転支援装置、および画像処理プログラム |
EP2803552A3 (en) * | 2013-05-13 | 2015-06-03 | China Engineering Consultants, Inc. | Multi-computer-vision recognition system for level crossing obstacle |
KR101751362B1 (ko) * | 2013-08-23 | 2017-06-27 | 주식회사 만도 | 야간 카메라 영상 저장 장치 및 그 영상 저장 방법 |
US9437000B2 (en) * | 2014-02-20 | 2016-09-06 | Google Inc. | Odometry feature matching |
JP6282193B2 (ja) * | 2014-07-28 | 2018-02-21 | クラリオン株式会社 | 物体検出装置 |
US10516815B2 (en) * | 2014-12-01 | 2019-12-24 | Northrop Grumman Systems Corporation | Image processing system |
JP6564577B2 (ja) * | 2015-02-16 | 2019-08-21 | 修一 田山 | 自動車における近接体警報知装置 |
EP3299240A4 (en) * | 2015-05-19 | 2019-01-30 | LG Electronics Inc. | DEVICE FOR ASSISTING THE DRIVING OF A VEHICLE AND VEHICLE |
JP6699427B2 (ja) * | 2015-11-17 | 2020-05-27 | 株式会社Jvcケンウッド | 車両用表示装置および車両用表示方法 |
WO2017086057A1 (ja) * | 2015-11-17 | 2017-05-26 | 株式会社Jvcケンウッド | 車両用表示装置および車両用表示方法 |
WO2017122552A1 (ja) * | 2016-01-15 | 2017-07-20 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに画像処理システム |
US11277558B2 (en) * | 2016-02-01 | 2022-03-15 | Magna Electronics Inc. | Vehicle vision system with master-slave camera configuration |
JP6313355B2 (ja) * | 2016-03-31 | 2018-04-18 | 株式会社Subaru | 車両周囲監視装置 |
JP6789767B2 (ja) * | 2016-11-11 | 2020-11-25 | スタンレー電気株式会社 | 監視システム |
US20200250003A1 (en) | 2017-12-28 | 2020-08-06 | Intel Corporation | Visual fog |
KR101996169B1 (ko) * | 2018-01-12 | 2019-07-03 | 숭실대학교산학협력단 | 카메라 변위를 고려한 가시광 통신 기반의 차량 위치 추정 방법 및 장치 |
DE102018215136B4 (de) * | 2018-09-06 | 2021-03-25 | Robert Bosch Gmbh | Verfahren zum Auswählen eines Bildausschnitts eines Sensors |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005024754A1 (ja) * | 2003-09-02 | 2005-03-17 | Fujitsu Limited | 車載用画像処理装置 |
JP4600357B2 (ja) * | 2006-06-21 | 2010-12-15 | トヨタ自動車株式会社 | 測位装置 |
JP4690266B2 (ja) * | 2006-08-08 | 2011-06-01 | 富士通株式会社 | 撮像装置 |
JP2008187564A (ja) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | カメラ校正装置及び方法並びに車両 |
JP4854619B2 (ja) * | 2007-07-18 | 2012-01-18 | ダイハツ工業株式会社 | 障害物認識装置 |
JP4442661B2 (ja) * | 2007-08-29 | 2010-03-31 | オムロン株式会社 | 3次元計測方法および3次元計測装置 |
JP5083137B2 (ja) * | 2008-09-11 | 2012-11-28 | 三菱自動車工業株式会社 | 運転支援装置 |
-
2011
- 2011-03-03 JP JP2011046423A patent/JP5663352B2/ja not_active Expired - Fee Related
-
2012
- 2012-03-01 US US13/410,038 patent/US20120257056A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2012185540A (ja) | 2012-09-27 |
US20120257056A1 (en) | 2012-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5663352B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
KR101647370B1 (ko) | 카메라 및 레이더를 이용한 교통정보 관리시스템 | |
CN108496178B (zh) | 用于估计未来路径的系统和方法 | |
EP2851880B1 (en) | Method, system and storage medium for controlling an image capture device, in particular of a door station | |
EP3007099B1 (en) | Image recognition system for a vehicle and corresponding method | |
JP6766844B2 (ja) | 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置 | |
JP5714940B2 (ja) | 移動体位置測定装置 | |
US9659497B2 (en) | Lane departure warning system and lane departure warning method | |
JP6270102B2 (ja) | 移動面境界線認識装置、これを用いた移動体機器制御システム、移動面境界線認識方法及び移動面境界線認識用プログラム | |
CN107273788B (zh) | 在车辆中执行车道检测的成像系统与车辆成像系统 | |
CN109196304B (zh) | 物体距离检测装置 | |
JP5163165B2 (ja) | 車両周辺画像処理装置及び車両周辺状況提示方法 | |
JPWO2017115732A1 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラム | |
JP2000293693A (ja) | 障害物検出方法および装置 | |
JP2006318062A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
JP2018503195A (ja) | 物体検出方法及び物体検出装置 | |
KR102163774B1 (ko) | 영상 인식 장치 및 그 방법 | |
JP2008026999A (ja) | 障害物検出システム、及び障害物検出方法 | |
JP2008165595A (ja) | 障害物検出方法、障害物検出装置、障害物検出システム | |
JP2013069045A (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
JP4752319B2 (ja) | 画像認識装置及び画像認識方法 | |
JP4742695B2 (ja) | 視線認識装置、及び視線認識方法 | |
JP2021103410A (ja) | 移動体及び撮像システム | |
JP5891751B2 (ja) | 画像間差分装置および画像間差分方法 | |
JP2019200776A (ja) | 車両認識装置および車両認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140228 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140303 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5663352 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |