JP4906628B2 - 監視用カメラの補正装置 - Google Patents

Description

本発明は、車両に搭載される監視カメラの補正装置に係り、特に、カメラ取付位置の変化に起因した画像のずれ補正に関する。

特許文献１には、車載カメラの取付位置の変化を検出する環境認識装置が開示されている。この位置変化を検出するために、位置的な基準を与えるマーク（１点）がカメラの撮像エリア内に設置される。マークとしては、例えば、自車両のフロントガラスに固着されたマークや車検シール、自車両のボンネットに取り付けられたマスコット、或いは、天井の一部等が用いられる。そして、カメラから出力された撮像画像からマークの位置が逐次抽出され、本来の位置とのずれ量が算出される。このずれ量に応じた画像補正を行うことで、走行時の振動、物体との接触、経時的変化等に起因したカメラ取付位置の変化を補正することができる。

特開平８−１６９９９号公報

しかしながら、上述した特許文献１では、単一の部位（１点）のみに着目して、カメラ取付位置の変化を検出しているので、検出精度に問題があった。

そこで、本発明は、カメラ取付位置の変化に起因した画像の位置ずれを適切に補正することである。

かかる課題を解決するために、本発明は、カメラと、基準パターン記憶部と、比較パターン算出部と、画像補正部とを有し、車両に搭載される監視用カメラの補正装置を提供する。カメラは、監視エリアを撮像することによって撮像画像を出力する。基準パターン記憶部は、基準パターンを記憶する。この基準パターンは、撮像画像のずれ補正を行う際の位置的基準を与えるためのものであり、監視エリア内における既知の位置に存在する第１の特定部位と、監視エリア内における第１の特定部位とは異なる既知の位置に存在する第２の特定部位との初期的な位置的関係をモデル化したものである。比較パターン算出部は、カメラから出力された撮像画像上において、第１の特定部位と第２の特定部位とを抽出し、これらの抽出された第１の特定部位と第２の特定部位との位置的関係をモデル化した比較パターンを算出する。画像補正部は、比較パターンの画像上の位置が基準パターンの画像上の位置と一致するように、撮像画像のずれ補正を行う。第１の特定部位は車両における直線状の部位とし、第１の特定部位の直線成分を抽出することによって、比較パターンを算出する。

ここで、本発明において、比較パターン算出部は、第１の特定部位および第２の特定部位のそれぞれの直線成分を抽出する直線成分抽出部と、第１の特定部位の直線成分と、第２の特定部位の直線成分との交点を算出する交点算出部とを有し、比較パターンとして、交点の画像上の位置を用いることが好ましい。

また、本発明において、比較パターン算出部は、第２の特定部位の形状成分を特徴点として抽出する形状成分抽出部を有し、比較パターンとして、直線成分と特徴点との位置的関係を用いることが好ましい。

さらに、本発明において、カメラは、監視エリアとしての自車両後側方を撮像し、第１の特定部位は、撮像画像の撮像範囲に位置する自車両の少なくともサイドピラーまたはサイドドアウェザーストリップであることが好ましい。

本発明によれば、監視エリア内の既知の位置に存在する複数の特定部位間の位置的関係に基づいて、カメラ取付位置の経時的変化を検出する。したがって、１点のみで検出を行う場合と比較して、カメラ取付位置の変化を精度よく検出でき、これに起因した画像の位置ずれを適切に補正することが可能になる。また、特に直線状の部位を第１の特定部位とした場合、撮像画像上における直線成分の抽出と、それを用いた比較パターンの算出とを簡単な演算で高速に行うことができる。

具体的なシステム構成の説明に先立ち、本実施形態に係る画像ずれの補正手法について、図１から図４に示す撮像画像を例に説明する。これらの撮像画像は、車両のドアミラー近傍に取り付けられた監視カメラによって撮像されたものであり、これに基づいて、監視エリア（自車両の後側方）内に存在する対象物（他車両等）の監視が行われる。このような車載カメラでは、車両走行時の振動、物体との接触、経時的変化等に起因して、その取付位置（取付角度も含む）が本来の取付位置からずれてしまった場合、監視エリアを適切に撮像することができなくなってしまう。これを解消するためには、監視エリア内に位置的な基準を与える何らかの”基準部位”を設定して、この”基準部位”に対するずれ量を逐次モニタリングし、このずれ量に応じたキャリブレーション（補正）を行えばよい。以下、”基準部位”に関する条件について検討する。

図１は、場所による影響を説明するための撮像画像を示す図であり、同図（ａ）は車両走行時の撮像画像、同図（ｂ）は車両停車時の撮像画像をそれぞれ示す。カメラを自車両に設置した場合、場所がどのように変わっても自車両の側面は常時見え、かつ、その側面は監視エリア内の既知の位置に存在する。したがって、基準部位としては、場所の影響を受け難く既知の位置に存在するもの、具体的には、監視エリア内に映し出される自車両の部位を用いることが好ましい。

図２は、輝度による影響を説明するための撮像画像を示す図である。同図（ａ）に示すように、サイドウインドＡには後側方の他車両が映り込んでしまっており、サイドウインドＢおよび湾曲した側面ボディＣには白線が映り込んでしまっている。このような映り込みは、環境に応じて様々に変化する。したがって、輝度の影響を受け易いこれらの特定部位Ａ，Ｂ，Ｃを基準部位とすることは好ましくない。一方、同図（ｂ）に示すように、ルーフウェザーストリップＤおよびサイドドアウェザーストリップＥには、このような映り込みが生じておらず、輝度の影響を受け難い部分といえる。したがって、これらの特定部位Ｄ，Ｅは、環境が変わってもエッジ成分や形状成分が抽出し易く、基準部位に適している。

図３は、基準部位の設定場所を説明するための撮像画像を示す図である。上述した検討から明らかなように、キャリブレーションを行う際には、輝度の影響を受け難く、周辺とのエッジ（輝度差）が明確なゴム部を基準部位として用いて修正を行う（ゴム部自体には風景の映り込みは殆ど生じない）。このようなゴム部としては、サイドドアウェザーストリップを筆頭に、ルーフウェザーストリップ、Ｃピラー等を用いることができる他、例示した撮像画像では見えていないが、これ見えていることを条件としてＢピラー等を用いてもよい。

図４は、サイドドアウェザーストリップＥを主体としたマッチングの説明図である。自車両の側面を前後方向に直線状に延在するサイドドアウェザーストリップＥは、直線成分の検出確実性が最も高く、輝度による影響も最も受け難い部位なので、基準部位としての適格性に優れている。以下、基準部位として、サイドドアウェザーストリップＥを主体とし、これに他の特定部位を組み合わせた手法を３つ例示する。

（手法１）ルーフウェザーストリップ（直線成分）との組み合わせ
同図（ａ）に示すように、サイドドアウェザーストリップＥの直線成分を抽出するとともに、ルーフウェザーストリップＤの直線成分も抽出する。そして、これらの直線成分の位置的関係をモデル化したパターンを算出する。このパターンとしては、例えば、サイドドアウェザーストリップＥの直線成分を含む直線Ｌ１と、ルーフウェザーストリップＤの直線成分を含む直線Ｌ２との交点ｐ１を算出し、この交点ｐ１の位置（画像平面上の座標）を用いることができる。そして、初期的な位置的関係を示す基準パターンを基準に、実際の撮像画像ベースで算出された比較パターンの相対的なずれ量を算出する。比較パターンのずれは、走行時の振動、物体との接触、経時的変化等に起因したカメラ取付位置の変化に起因して生じる。そこで、比較パターンが基準パターンとマッチングするように、換言すれば、画像平面上における両者の位置が一致するように画像補正を行えば、カメラ取付位置の変化を補償することができる。

（手法２）Ｃピラー（直線成分）との組み合わせ
同図（ｂ）に示すように、サイドドアウェザーストリップＥ、ＣピラーＦの直線成分をそれぞれ抽出する。そして、これらの直線成分の位置的関係をモデル化したパターンを算出する。このパターンとしては、サイドドアウェザーストリップＥの直線成分を含む直線Ｌ１と、ＣピラーＦの直線成分を含む直線Ｌ３との交点ｐ２を算出し、この交点ｐ２の位置（画像平面上の座標）を用いることができる。そして、比較パターンが基準パターンとマッチングするように画像補正を行う。

（手法３）ルーフウェザーストリップ（形状成分）との組み合わせ
同図（ｃ）に示すように、サイドドアウェザーストリップＥの直線成分を抽出するとともに、ルーフウェザーストリップＤの形状成分を抽出する。そして、これらの成分の位置的関係をモデル化したパターンを算出する。そして、比較パターンが基準パターンとマッチングするように画像補正を行う。

（第１の実施形態）
本実施形態では、上述した手法１，２に係る補正手法を実装した補正装置を備え、車両に搭載される監視カメラシステムについて説明する。図５は、本実施形態に係る監視カメラシステム１のブロック構成図である。この監視カメラシステム１は、カメラ２と、画像メモリ３と、監視部４とによって構成された監視系を基本とし、これに、基準パターン記憶部５と、比較パターン算出部６と、画像補正部７とによって構成された補正系を追加した構成を有する。以下、一例として手法１を用いた場合について説明するが、手法２の場合であっても同様である。

カメラ２は、車両のドアミラー近傍に取り付けられている。このカメラ２は、監視エリアである自車両後側方の状況を所定の間隔で繰り返し撮像し、撮像画像を逐次出力する。カメラ２から出力された撮像画像は、画像メモリ３に逐次記憶される。監視部４は、画像メモリ３に記憶された１フレーム分の撮像画像を逐次読み出し、周知の画像認識手法を用いて、撮像画像から監視エリア内の対象物（例えば、他車両や歩行者）を所定の間隔で認識・監視する。そして、監視部４は、必要に応じて、ドライバへの注意や警告を促す。

一方、基準パターン記憶部５は、撮像画像のずれ補正を行う際の位置的基準を与える基準パターンを記憶する。この基準パターンは、監視エリア内における既知の位置に存在する複数の特定部位（位置的に互いに異なる）に関する初期的な位置的関係をモデル化したものである。具体的には、特定部位（基準部位）としてサイドドアウェザーストリップＥおよびルーフウェザーストリップＤを用いる場合、図４（ａ）に示したように、２本の直線Ｌ１，Ｌ２の交点ｐ１に関する画像平面上の”本来”の位置（すなわち初期値としての座標）が基準モデルとして用いられる。ここでいう"本来”とは、走行時の振動、物体との接触、経時的変化等に起因したカメラ取付位置の変化が生じていない初期状態を意味する。

比較パターン算出部６は、画像メモリ３から１フレーム分の撮像画像を逐次読み出し、これに基づいた比較パターンをフレーム毎に算出する。この比較パターンは、上述した複数の特定部位に関する撮像画像平面上の位置的関係をモデル化したものであ。具体的には、まず、グレースケール変換部６ａは、１フレーム分の撮像画像をグレースケール画像（モノクロ画像）に変換する。つぎに、二値化部６ｂは、グレースケール画像を構成する多階調の輝度値を所定のしきい値で二値化して、二値化画像を生成する。そして、エッジ強調部６ｃは、サイドドアウェザーストリップＥを抽出するための前処理として、二値化部６ｂによって生成された二値化画像のエッジを強調する処理を行う。このようなエッジ強調処理としては、例えばソーベルフィルタを用いることができる。周知のように、ソーベルフィルタとは、ノイズを抑えながらエッジを抽出する方法における平滑化の際、中央に重みを付けた平均化を行うフィルタである。一方、パターン認識部６ｄは、ルーフウェザーストリップＤを抽出するための前処理として、二値化部６ｂによって生成された二値化画像から（白→黒→白）の変化パターンを有する画像領域を抽出する。図４（ａ）のルーフウェザーストリップＤ近傍の画像領域では、ルーフウェザーストリップＤ自体は黒、その上部に映し出された空は白、その下部に映し出されたサイドウインドウは光の反射によって白であり、（白→黒→白）であることがわかる。

直線成分抽出部６ｅは、エッジ強調部６ｃから出力されたエッジ強調画像に基づいて、サイドドアウェザーストリップＥの直線成分を抽出するとともに、パターン認識部６ｄから出力されたパターン認識済画面に基づいて、ルーフウェザーストリップＤの直線成分を抽出する。そして、交点算出部６ｆは、図４（ａ）に示すように、サイドドアウェザーストリップＥの直線成分を含む直線Ｌ'１を算出するとともに、ルーフウェザーストリップＤの直線成分を含む直線Ｌ'２を算出する。そして、交点算出部６ｆは、これらの直線Ｌ'１，Ｌ'２の交点ｐ'１の座標を算出する。撮像画像ベースで算出された交点ｐ'１の座標は、比較パターンとして画像補正部７に出力される。

画像補正部７は、比較パターンの画像上の位置が基準パターンの画像上の位置と一致するように、撮像画像のずれ補正を行う。具体的には、基準パターンとしての交点ｐ１の座標が基準パターン記憶部５から読み出され、これが比較パターンとしての交点ｐ'１の座標と比較される。ここで、図４（ａ）に示した交点ｐ'１が同図に示した交点ｐ１と一致する場合には、カメラ２は本来の取付位置のままであることを意味する（補正不要）。これに対して、交点ｐ'１が交点ｐ１からずれている場合には、カメラ２の取付位置に変化が生じていることを意味する（補正要）。この場合、２つの交点ｐ１，ｐ'１間のベクトル分を相殺するように、撮像画像のずれ補正を行う。ずれ補正の具体的手法としては、例えば、カメラ２の姿勢を機械的に修正する手法や、画像メモリ３のアドレス変換を行う方法等が挙げられる。

このように、本実施形態によれば、監視エリア内の既知の位置に存在する複数の特定部位間の位置的関係に基づいて、カメラ取付位置の経時的変化を検出する。したがって、これを１点のみで行う場合と比較して、カメラ取付位置の経時的変化を精度よく検出でき、これに起因した画像ずれを適切に補正することが可能になる。

また、本実施形態によれば、直線状の部位を特定部位（基準部位）として用いる場合、ハフ変換等による撮像画像上の直線成分の抽出と、それを用いた比較パターンの算出とを簡単な演算で高速に行うことができる。特に、自車両後側方を撮像・監視する場合、自車両側面に存在するサイドドアウェザーストリップ等を基準部位として用いれば、車両に特別なマークを設置しなくても基準部位を精度よく抽出することができる。

（第２の実施形態）
本実施形態では、上述した手法３に係る補正手法を実装した補正装置を備えた監視システムについて説明する。図６は、本実施形態に係る監視システム１のブロック構成図である。図５の構成との相違点は、比較パターン算出部６の一部にあるので、同一のブロックについては同一の符号を付して、ここでの説明を省略する。

サイドドアウェザーストリップＥに関しては、第１の実施形態と同様、エッジ強調部６ｃおよび直線成分抽出部６ｅによる処理を経て、サイドドアウェザーストリップＥの直線成分が抽出される。一方、ルーフウェザーストリップＤに関しては、形状成分抽出部６ｇによって、その形状成分の抽出およびグループ化によって、特徴点が算出される。そして、サイドドアウェザーストリップＥの直線成分と、ルーフウェザーストリップＤの特徴点との位置的関係が比較パターンとして出力される。

画像補正部７は、比較パターンと、基準パターン記憶部５から読み出された基準パターンとに基づいて、撮像画像のずれ補正を行う。本実施形態における基準パターンは、サイドドアウェザーストリップＥの直線成分の本来の位置と、ルーフウェザーストリップＤの特徴点の本来の位置とをモデル化したものである。

本実施形態によれば、複数の基準部位に関する直線成分の抽出と形状成分の抽出との併用によって、上述した第１の実施形態と同様の効果を奏する。

なお、上述した各実施形態では、自車両の後側方を監視する監視カメラシステムを例に説明したが、本発明はこれに限定されるものではなく、これ以外の各種監視カメラシステム（車載用であるか否かを問わない）に適用することが可能である。

場所による影響を説明するための撮像画像を示す図 輝度による影響を説明するための撮像画像を示す図 基準部位の設定場所を説明するための撮像画像を示す図 サイドドアウェザーストリップを主体としたマッチングの説明図 第１の実施形態に係る監視カメラシステムのブロック構成図 第２の実施形態に係る監視カメラシステムのブロック構成図

符号の説明

１ 監視カメラシステム
２ カメラ
３ 画像メモリ
４ 監視部
５ 基準パターン記憶部
６ 比較パターン算出部
６ａ グレースケール変換部
６ｂ 二値化部
６ｃ エッジ強調部
６ｄ パターン認識部
６ｅ 直線成分抽出部
６ｆ 交点算出部
６ｇ 形状成分抽出部
７ 画像補正部

Claims (4)

1. 車両に搭載される監視用カメラの補正装置において、
   監視エリアを撮像することによって撮像画像を出力するカメラと、
   前記撮像画像のずれ補正を行う際の位置的基準を与えるために、前記監視エリア内における既知の位置に存在する第１の特定部位と、前記監視エリア内における前記第１の特定部位とは異なる既知の位置に存在する前記第２の特定部位との初期的な位置的関係をモデル化した基準パターンを記憶する基準パターン記憶部と、
   前記カメラから出力された前記撮像画像上において、前記第１の特定部位と前記第２の特定部位とを抽出し、当該抽出された第１の特定部位と第２の特定部位との位置的関係をモデル化した比較パターンを算出する比較パターン算出部と、
   前記比較パターンの画像上の位置が前記基準パターンの画像上の位置と一致するように、前記撮像画像のずれ補正を行う画像補正部とを有し、
   前記第１の特定部位は車両における直線状の部位とし、前記第１の特定部位の直線成分を抽出することによって、前記比較パターンを算出することを特徴とする監視用カメラの補正装置。
2. 前記比較パターン算出部は、
   前記第１の特定部位および前記第２の特定部位のそれぞれの直線成分を抽出する直線成分抽出部と、
   前記第１の特定部位の直線成分と、前記第２の特定部位の直線成分との交点を算出する交点算出部とを有し、
   前記比較パターンとして、前記交点の画像上の位置を用いることを特徴とする請求項１に記載された監視カメラの補正装置。
3. 前記比較パターン算出部は、前記第２の特定部位の形状成分を特徴点として抽出する形状成分抽出部を有し、
   前記比較パターンとして、前記直線成分と前記特徴点との位置的関係を用いることを特徴とする請求項１に記載された監視カメラの補正装置。
4. 前記カメラは、前記監視エリアとしての自車両後側方を撮像し、
   前記第１の特定部位は、前記撮像画像の撮像範囲に位置する自車両の少なくともサイドピラーまたはサイドドアウェザーストリップであることを特徴とする請求項１から３のいずれかに記載された監視カメラの補正装置。

Images