JP3494434B2 - 駐車支援装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両周辺を画像で
認識することにより車両の駐車を支援する装置であり、
より特定的には、車両から撮像された画像により立体物
までの距離を算出し、車両周辺の情報を運転者に伝達す
る装置に関する。

【０００２】

【従来の技術】従来、自動車等の車両においては、その
車両周囲の障害物を検知し、上記障害物に衝突する危険
度を判定して運転者に警報を発したり、上記障害物との
距離を運転者に示したり、その距離に応じて自動的にブ
レーキを作動させて上記車両を停止させる等の技術が考
えられている。上記障害物の検知手段の１つとして、車
両に搭載されたカメラで撮像された画像による画像認識
技術を用いた距離検出装置がある。この距離検出装置の
一例として、特開平５−１１４０９９号公報で開示され
た技術がある。以下、当該距離検出装置について説明を
する。

【０００３】図１１および図１２は、特開平５−１１４
０９９号公報で開示された距離検出装置を示す図であ
る。なお、図１１は、カメラと被写体との関係を示す図
であり、図１２は、当該距離検出装置のブロック図であ
る。以下、図１１および図１２を用いて、当該距離検出
装置の説明を行う。

【０００４】当該距離検出装置では、自動車等の車両に
車外の設定範囲内の対象を撮像する撮像系としてステレ
オ光学系が取り付けられる。このステレオ光学系は、例
えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた
複数のカメラにより構成され、それぞれ上記車両の車室
内天井前方に取り付けられる。ここでは、上記カメラを
２つで構成し、上記車両前方に向かって右側のカメラを
右カメラ、左側を左カメラとして説明する。

【０００５】図１１において、右カメラと左カメラとの
取り付け間隔をｓとして、右カメラと左カメラとの位置
から垂線距離Ｄにある点Ｐが撮影される。また、２台の
カメラの焦点距離を共に焦点距離ｆとすると、点Ｐの像
はそれぞれのカメラについて焦点位置から焦点距離ｆ離
れた投影面に撮像される。この時、右カメラの像の位置
から左カメラの像の位置までの距離は、ｓ＋ｔとなり、
このｔをずれ量とすると、距離Ｄは以下の式で求めるこ
とができる。 Ｄ＝ｓ・ｆ／ｔ すなわち、ずれ量ｔにより、距離Ｄを求めることができ
る。

【０００６】次に、上記ずれ量ｔを算出する処理につい
て説明する。図１２において、ステレオ光学系１００で
撮像された左右のアナログ画像データは、それぞれ画像
変換部２０１に入力される。画像変換部２０１では、上
記アナログ画像データをそれぞれデジタル画像データに
変換し、ハミング距離計算部２０２に出力する。このハ
ミング距離計算部２０２では、画像変換部２０１からの
左右の画像データに対し、左右の画像のずれ量を決定す
るハミング距離Ｈを画素を１つずつずらしながら次々と
計算する。次に、最小・最大値検出部２０３では、ハミ
ング距離計算部２０２で計算されたハミング距離Ｈの中
から、ハミング距離Ｈの最小値Ｈｍｉｎおよび最大値Ｈ
ｍａｘを検出し、最小値Ｈｍｉｎとなるずれ量を、求め
るずれ量ｔとする。

【０００７】このように、当該距離検出装置では、車両
に搭載したステレオカメラで撮像した２枚の画像を処理
して上記ずれ量ｔを求めることにより、障害物等の三次
元位置を計測し、上記障害物との衝突・接触の可能性を
判断して警報を発する等の運転支援を行うことができ
る。

【０００８】

【発明が解決しようとする課題】しかしながら、このよ
うな車載のステレオ光学系で撮像した画像による画像認
識技術を用いた距離検出装置では、上記ステレオ光学系
を構成する複数のカメラの、車両に取り付ける角度、方
向等を互いに合わせなければならなかった。したがっ
て、上記車両に取り付ける角度、方向、間隔等は、厳し
い精度が要求され、また、その取り付け位置データを予
めステレオ画像処理装置に入力しなければならないた
め、ステレオ光学系を形成することが困難であった。ま
た、上述したように、ハミング距離Ｈの計算では、同一
像を検出するために右画像に対して左画像が探索され、
これを右画像全部について処理される必要がある。ま
た、ハミング距離Ｈの計算では、上記探索を画素を１つ
ずつずらしながらこの処理を繰り返さなければならない
ため、計算量が非常に多くハードウェアの構成も複雑と
なる。また、障害物との距離を運転者に伝える手段は、
距離数値や実際の障害物とはかけ離れた画像等が使われ
ることが多いため、距離感を運転者にイメージさせにく
かった。

【０００９】それ故に、本発明の目的は、車両への撮像
装置の取り付けが容易であり、画像処理に要する計算量
も少なく、運転者に障害物との距離感覚を確実に伝達で
きる駐車支援装置を提供することである。

【００１０】

【課題を解決するための手段および発明の効果】上記目
的を達成するために、本発明は、以下に述べるような特
徴を有している。第１の発明は、駐車時に車両周辺を撮
像し、その撮像された画像から車両周辺の立体物の情報
を運転者に伝達する駐車支援装置であって、車両の移動
中に、単一のカメラによって、異なる第１および第２の
地点での周辺画像を、時系列的に視差付けされた第１お
よび第２の画像として撮像する撮像装置と、第１および
第２の画像から、それぞれの画像に撮像された立体物を
検出し特定する立体物特定部と、第１の地点から第２の
地点までの車両の移動データを算出する車両位置算出部
と、立体物の第１および第２の画像上での位置と、車両
の移動データとを用いて、車両から立体物までの距離を
算出する立体物距離算出部と、撮像装置によって撮像さ
れた画像および立体物距離算出部で算出されたデータに
基づいて、運転者に伝達するための第３の画像を生成す
る画像生成部とを備え、 立体物特定部は、第１の画像を
第２の地点に射影変換した第４の画像を生成し、第４の
画像と第２の画像との差分により、立体物を検出し特定
する。

【００１１】第２の発明は、駐車時に車両周辺を撮像
し、その撮像された画像から車両周辺の立体物の情報を
運転者に伝達する駐車支援装置であって、 車両の移動中
に、単一のカメラによって、異なる第１および第２の地
点での周辺画像を、時系列的に視差付けされた第１およ
び第２の画像として撮像する撮像装置と、 第１および第
２の画像から、それぞれの画像に撮像された立体物を検
出し特定する立体物特定部と、 第１の地点から第２の地
点までの車両の移動データを算出する車両位置算出部
と、 立体物の第１および第２の画像上での位置と、車両
の移動データとを用いて、車両から立体物までの距離を
算出する立体物距離算出部と、 撮像装置によって撮像さ
れた画像および立体物距離算出部で算出されたデータに
基づいて、運転者に伝達するための第３の画像を生成す
る画像生成部とを備え、 立体物特定部は、第２の画像を
第１の地点に射影変換した第４の画像を生成し、第４の
画像と第１の画像との差分により、立体物を検出し特定
する。

【００１２】第１または第２の発明によれば、単一の撮
像装置によって、車両周辺を異なった２地点から時系列
的に視差付けされた２つの画像を撮像し、上記２地点間
の車両の移動データを算出することにより、２つの画像
に撮像された立体物に対して三角測量の原理で正確に上
記立体物までの距離を算出することができる。これによ
り、撮像装置は１つで構成することができ、従来の距離
検出装置を構成する２つの撮像装置で必要であった、互
いの取り付け角度、方向、間隔等を合わせなくてよく、
容易に撮像装置を車両に取り付けることができる。ま
た、立体物距離算出部で算出されるデータは、車両から
の距離が正確に算出されているため、第３の画像内では
歪むことなく正確な距離で表示することができる。さら
に、上記距離データを付加した画像を運転者に伝達する
ことにより、運転者に上記車両から上記立体物までの距
離感覚を掴みやすくさせることができる。また、実際に
撮像した画像と、他の地点で撮像した画像を射影変換し
た画像とを差分することにより、立体物に対する歪み部
分が残るため、容易に画像内の立体物を検出し特定する
ことができる。

【００１３】第３の発明は、第１または第２の発明に従
属する発明であって、立体物距離算出部は、第１および
第２の画像から、それぞれの画像に撮像された立体物の
エッジを検出し、第１および第２の画像に撮像された同
一のエッジの座標データと、車両の移動データとを用い
て、車両から立体物のエッジまでの距離を算出する。

【００１４】第３の発明によれば、車両の複雑な動きに
対しても、２つの画像における同一のエッジの座標デー
タと、車両の移動データとから容易に立体物までの距離
を算出することができる。

【００１５】第４の発明は、第３の発明に従属する発明
であって、立体物距離算出部は、車両の移動データを用
いて、第１および第２の画像に撮像された同一のエッジ
の位置を予想し、予想されるエッジの位置を画像分析す
ることにより同一のエッジを検出する。

【００１６】第４の発明によれば、車両の移動データが
予め算出されているため、２つの画像同士の撮像位置関
係は明確になっている。これにより、それぞれの画像内
のどの部分に同一のエッジが撮像されているか予想する
ことが可能であるため、２つの画像の中で、同一のエッ
ジを探索する計算については、予想される部分を画像分
析することにより、従来より計算量を少なくすることが
でき、ハードウェアの構成も簡単にすることができる。

【００１７】第５の発明は、第１または第２の発明に従
属する発明であって、画像生成部は、撮像装置で撮像さ
れた画像をアフィン変換を用いて車両上方からの鳥瞰図
画像に変換し、鳥瞰図画像に、立体物距離算出部で算出
されたデータを付加して第３の画像を生成する。

【００１８】第５の発明によれば、上記車両の上方から
見た鳥瞰図画像に、上記立体物までの距離データを付加
し運転者に伝達することにより、運転者に上記車両から
上記立体物までの距離感覚を掴みやすくさせることがで
きる。

【００１９】第６の発明は、第５の発明に従属する発明
であって、画像生成部は、立体物距離算出部で算出され
たデータの中から、車両に近い部位を視覚的に強調する
ことを特徴とする。

【００２０】第６の発明によれば、立体物距離算出部で
算出されたデータの中から、車両に近い部位に、色や線
幅等を他の画像と容易に判別できるように強調表示する
ことにより、さらに、運転者に接近している立体物に対
する注意を促すことができる。

【００２１】第７の発明は、第５の発明に従属する発明
であって、画像生成部は、立体物の種別毎に対応するモ
デル画像を記憶した立体物モデル集から立体物距離算出
部で算出されたデータに基づいて判別される立体物の種
類 に対応するモデル画像を選出し、鳥瞰図画像にその選
出されたモデル画像を貼り付けた第３の画像を生成す
る。

【００２２】第７の発明によれば、実際の画像に近いモ
デルを立体物として鳥瞰図画像に貼り付け表示すること
により、さらに、運転者に立体物に対する注意を促すこ
とができ、上記立体物との距離感覚をさらに掴みやすく
させることができる。

【００２３】第８の発明は、第５の発明に従属する発明
であって、画像生成部は、第３の画像に車両の位置およ
び寸法を表す車両のモデル画像を固定して貼り付けて表
示することを特徴とする。

【００２４】第８の発明によれば、運転者の車両に撮像
装置を搭載している場合、上記撮像装置では運転者の車
両の全容を撮像することができず、運転者は第３の画像
のみでは上記車両と立体物との距離感覚が掴みにくい。
したがって、上記車両の車両モデルを上記第３の画像に
固定して表示することにより、運転者に上記車両と上記
立体物との距離感覚を掴みやすくさせることができる。

【００２５】第９の発明は、第１または第２の発明に従
属する発明であって、車両の移動データは、車両の直線
移動距離と車両の回転角度とを含み、車両位置算出部
は、車両に取り付けられた舵角センサとパルスカウンタ
を介した車輪速センサとからのデータに基づいて、移動
距離と回転方向とを算出する。

【００２６】第９の発明によれば、舵角センサによる車
両回転角度と車輪速センサによる車輪回転数とから、車
両移動データとして、車両の直線移動距離と回転角度と
を算出することができる。

【００２７】第１０の発明は、第１または第２の発明に
従属する発明であって、撮像装置は、車両の後方に向け
て取り付けられる。

【００２８】第１０の発明によれば、運転者の死角とな
りやすく、駐車時に視野の使用頻度が高い車両後部に撮
像装置を取り付けることにより、運転者の死角が減少
し、また駐車時に有効に利用することができる。また、
後方の視野が狭く死角が多い大型車両の後部に上記撮像
装置を取り付けることにより、さらに効果が期待でき
る。

【００２９】第１１の発明は、第１または第２の発明に
従属する発明であって、第３の画像を、運転者に伝達す
るディスプレイをさらに備える。

【００３０】第１１の発明によれば、運転者に第３の画
像をディスプレイで伝達することにより、その画像は現
実の画像に近似しているため、距離感覚を運転者に掴み
やすくさせることができる。

【００３１】第１２の発明は、第１または第２の発明に
従属する発明であって、立体物距離算出部で算出される
車両から立体物までの距離が、予め設定された距離より
短いときに、音を発生するスピーカ装置をさらに備え
る。

【００３２】第１３の発明は、第１または第２の発明に
従属する発明であって、立体物距離算出部で算出される
車両から立体物までの距離が、予め設定された距離より
短いときに、光を発生する発光装置をさらに備える。

【００３３】第１２および第１３の発明によれば、上記
第３の画像に加えて、予め車両との接触の危険性に応じ
て設定されたしきい値以下の距離に上記車両が立体物に
接近した場合に、音あるいは光により運転者にさらに伝
達することにより、運転者に対して上記立体物への接触
に関する警告を与えることができる。

【００３４】第１４の発明は、第１または第２の発明に
従属する発明であって、撮像装置は、車両の運転者の手
動操作に応答して撮像を開始する。

【００３５】第１４の発明によれば、運転者の手動操作
により撮像装置の撮像が開始されるので、運転者は駐車
支援が必要な時のみ駐車支援装置を作動させることがで
きる。

【００３６】第１５の発明は、第１または第２の発明に
従属する発明であって、撮像装置は、予め設定された走
行速度に車両が減速したときに撮像を開始する。

【００３７】第１６の発明は、第１または第２の発明に
従属する発明であって、撮像装置は、車両が後退すると
きに撮像を開始する。

【００３８】第１５および第１６の発明によれば、車両
の走行速度や後退を検知することにより、車両の状態が
駐車モードか否か判定できるため、上記車両が駐車モー
ドの場合のみ自動的に駐車支援装置を作動させることが
できる。

【００３９】

【発明の実施の形態】図１〜図１０は、本発明の実施形
態に係る駐車支援装置を説明する図である。なお、図１
は当該駐車支援装置の全体構成図、図２は当該駐車支援
装置の回路ブロック図、図３は当該駐車支援装置の全体
の動作を示すフローチャート、図４は立体物の特定の動
作を示すフローチャート、図５は立体物の特定のための
画像処理方法を示す説明図、図６は立体物までの距離算
出の動作を示すフローチャート、図７は立体物からエッ
ジ検出する説明図、図８は車両直進時の立体物との距離
算出方法を示す説明図、図９は回転を含んだ車両移動時
の立体物との距離算出方法を示す説明図、図１０は運転
者に立体物との距離を伝達するための画像作成方法を示
す説明図である。以下、図１〜図１０を参照して、本発
明の実施形態について説明する。

【００４０】図１において、本発明の実施形態に係る駐
車支援装置は、自動車などの車両１に搭載されており、
撮像装置１０と画像処理装置２０とディスプレイ３０と
舵角センサ４０と車輪速センサ５０とパルスカウンタ６
０とを備えている。また、当該駐車支援装置は、その作
動を制御する作動制御装置（図示しない）を備えてい
る。撮像装置１０は、例えば電荷結合素子（ＣＣＤ）等
の固体撮像素子を用いた１台のカメラにより構成され、
上記カメラが車両１の後方に向けて取り付けられる。上
記カメラで撮像された画像は、画像処理装置２０に入力
される。また、舵角センサ４０は、車両１の舵輪角度デ
ータを検出するために取り付けられており、舵角センサ
４０で検出された舵角データが画像処理装置２０に入力
される。また、車輪速センサ５０は、車両１の走行距離
を検出するために取り付けられており、車輪速センサ５
０で検出された車輪回転数データがパルスカウンタ６０
を介して画像処理装置２０に入力される。

【００４１】画像処理装置２０は、入力されたデータを
用いて、車両１後方の立体物が特定されたデータと車両
１から上記立体物までの距離とを算出する。次に、画像
処理装置２０は、上記画像を運転者が上記立体物との距
離感覚が掴みやすい上方からの鳥瞰図画像に変換した
後、上記鳥瞰図画像に上記立体物の特定および距離デー
タを付加し、ディスプレイ３０に上記鳥瞰図画像を表示
する。なお、ディスプレイ３０については、車両１が予
め設定したしきい値以下の距離まで上記立体物に接近し
た時に、運転者に警告を与えるためのスピーカ装置や発
光装置等を併設してもかまわない。

【００４２】次に、画像処理装置２０の内部構成につい
て説明する。図２において、画像処理装置２０は、アナ
ログデジタルコンバータ（以下ＡＤＣと称す）２１、フ
レームメモリ２２および２３および２７、ＣＰＵ２４、
ＲＡＭ２５、ＲＯＭ２６、コントローラ２８を備えてい
る。ＡＤＣ２１は、撮像装置１０で撮像されたアナログ
画像をデジタル画像に変換し、そのデジタル画像データ
をフレームメモリ２２および２３に送る。フレームメモ
リ２２および２３は、上記デジタル画像データを記憶し
ＣＰＵ２４に送る。なお、フレームメモリ２２および２
３には、それぞれ異なった地点で撮像された画像データ
が記憶される。ＲＯＭ２６は、画像変換や車両１の移動
位置を算出するプログラム等を記憶しており、そのプロ
グラムをＲＡＭ２５に展開する。また、ＲＡＭ２５は、
上記移動位置の算出等のワークエリアとして使われる。
ＣＰＵ２４は、前述したデジタル画像データと舵角デー
タと車輪回転数データとを用いて、ＲＡＭ２５上のプロ
グラムにしたがって画像処理する。この画像処理では、
車両１後方の上記立体物が特定されたデータと車両１か
ら上記立体物までの距離とを算出し、上記デジタル画像
をそれらのデータが付加された上方からの鳥瞰図画像に
変換する。その後、上記鳥瞰図画像は、フレームメモリ
２７に記憶され、コントローラ２８で制御される表示タ
イミングにしたがってディスプレイ３０に出力され、デ
ィスプレイ３０に表示される。

【００４３】次に、画像処理装置２０の全体の動作につ
いて、フローチャートを用いて説明する。なお、各ステ
ップの詳細については後述で説明する。図３において、
ＣＰＵ２４は、運転者が当該駐車支援装置の作動制御装
置である作動ＳＷをＯＮしたか否かを判断する（ステッ
プＳ１１０）。上記作動ＳＷがＯＮされている場合、Ｃ
ＰＵ２４は作動を開始し、ステップＳ１２０に進む。上
記作動ＳＷがＯＦＦの場合、当該駐車支援装置は動作せ
ず終了する。次に、ＣＰＵ２４は、車両後方が撮像され
た画像内で立体物を特定し（ステップＳ１２０）、特定
された上記立体物に対して、上記車両から上記立体物ま
での距離を算出する（ステップＳ１３０）。その後、Ｃ
ＰＵ２４は、上記車両後方が撮像された画像を、上記車
両上方からの鳥瞰図画像に変換する（ステップＳ１４
０）。そして、ＣＰＵ２４は、上記鳥瞰図画像に上記立
体物が特定されたデータと上記車両から上記立体物まで
の距離のデータを加え、上記立体物を上記鳥瞰図画像内
で強調表示し、運転者に伝達する（ステップＳ１５
０）。最後に、ＣＰＵ２４は、運転者が上記作動ＳＷを
ＯＦＦしたか判断する（ステップＳ１６０）。上記作動
ＳＷがＯＦＦされている場合は、当該駐車支援装置の動
作は終了し、上記作動ＳＷが継続してＯＮされている場
合は、ＣＰＵ２４はステップＳ１２０からの動作を繰り
返す。

【００４４】なお、上記作動制御装置については、上記
車両の変速機のリバース信号や予め設定されたしきい値
以下に上記車両速度が減速したことを検出することによ
り、自動的に当該駐車支援装置が作動を開始するように
してもよい。また、ステップＳ１６０の当該駐車支援装
置の作動終了についても、上記車両のキーＳＷのＯＦＦ
と連動させてもいいし、ＣＰＵ２４が予め設定されたし
きい値以上に上記車両速度が到達したことを検出するこ
とにより、自動的に当該駐車支援装置が作動を終了する
ようにしてもよい。

【００４５】次に、上述した各ステップの詳細について
説明する。まず、図３におけるステップＳ１２０の立体
物の特定方法について、図２および図４および図５を用
いて説明する。

【００４６】前述したように、図４は、図３のステップ
Ｓ１２０の立体物の特定方法を示すサブルーチンを表す
フローチャートである。図２および図４において、ま
ず、撮像装置１０は、車両がａ地点にある時に撮像した
アナログ画像Ａを、ＡＤＣ２１に送り、ＡＤＣ２１は上
記アナログ画像Ａをデジタル画像Ａに変換した後、上記
デジタル画像Ａをフレームメモリ２２に記憶する（ステ
ップＳ１２１）。次に、ＣＰＵ２４は、上記車両に取り
付けられている舵角センサ４０からの舵角データと車輪
速センサ５０からの車輪回転数データとを用いて、上記
車両がａ地点からｂ地点まで移動したときの、上記車両
の直線移動距離ΔＤと上記車両の回転角度Ｒとを算出す
る（ステップＳ１２２）。その後、ＣＰＵ２４は、上記
車両の直線移動距離ΔＤが予め設定したしきい値以上か
否か判断する（ステップＳ１２３）。ＣＰＵ２４は、ａ
地点からｂ地点までの上記車両の直線移動距離ΔＤが予
め設定されたしきい値未満の場合は、ステップＳ１２２
を繰り返し、直線移動距離ΔＤが上記しきい値以上の場
合は、ステップＳ１２４に進む。次に、撮像装置１０
は、車両がｂ地点にある時に撮像したアナログ画像Ｂ
を、ＡＤＣ２１に送り、ＡＤＣ２１は上記アナログ画像
Ｂをデジタル画像Ｂに変換した後、上記デジタル画像Ｂ
をフレームメモリ２３に記憶する（ステップＳ１２
４）。

【００４７】ステップＳ１２５以降については、図５を
用いて説明する。図５（ａ）は前述した画像Ａを、図５
（ｂ）は画像Ｂを示しており、それぞれの画像Ａおよび
Ｂは、立体物２と地面に描かれている白線３ａおよび３
ｂとを含んでいる。ＣＰＵ２４は、ステップＳ１２２で
求められた直線移動距離ΔＤと回転角度Ｒとを用いて、
上記車両がａ地点にある時に撮像された画像Ａを、ｂ地
点に射影変換し画像Ｃを生成する（ステップＳ１２
５）。すなわち、ＣＰＵ２４は、上記車両がａ地点にあ
る時に撮像された画像Ａを、上記車両の移動データを用
いてｂ地点から撮像されたように画像変換し、画像Ｃを
算出することになる。図５（ｃ）は、このようにして作
成された画像Ｃを示している。図５（ｂ）と図５（ｃ）
とを比較すると、図５（ｃ）で示される画像Ｃは、地面
に描かれた白線３ａおよび３ｂは画像Ｂと一致するよう
に変換されるが、立体物２は歪んだ形状に変換される。
これは、画像Ａを用いた上記射影変換は、立体物２が白
線３ａおよび３ｂと同一平面にあるように見なし、変換
するためである。

【００４８】次に、ＣＰＵ２４は、画像Ｂと画像Ｃとの
差分を算出する（ステップＳ１２６）。図５（ｄ）は、
画像Ｂと画像Ｃとの差分が算出された結果である。前述
したように、画像Ｃは立体物２に歪みが生ずるため、画
像Ｂの立体物２との差が領域４ａおよび４ｂとして残
る。また、白線３ａおよび３ｂは、差分の結果では残ら
ない。すなわち、画像Ｂと画像Ｃとが差分されることに
より、ＣＰＵ２４は立体物２のみ特定することができ
る。その後、ＣＰＵ２４は、上述のように特定された立
体物データを出力する（ステップＳ１２７）。

【００４９】次に、図３におけるステップＳ１３０の車
両から立体物までの距離算出方法について、図２および
図６〜図９を用いて説明する。なお、前述したように、
図６は、図３のステップＳ１３０の車両から立体物まで
の距離算出方法を示すサブルーチンを表すフローチャー
トである。

【００５０】図２および図６において、ＣＰＵ２４は、
フレームメモリ２２に記憶された画像Ａのデータと、フ
レームメモリ２３に記憶された画像Ｂのデータと、前述
のように算出された立体物が特定されたデータとを用い
て、それぞれの画像ＡおよびＢ内で特定された上記立体
物に対してエッジ検出を行う（ステップＳ１３１）。図
７は、車両１を特定された上記立体物とし、車両１がエ
ッジ検出された画像の一例である。車両１の画像は、画
像内の輝度分布パターン（色を用いてもかまわない）が
分析され、隣接画素間の輝度差が予め設定されたしきい
値以上で判定されることにより、図７（ａ）のように複
数のエッジ６ａ〜６ｆが検出される。図７（ｂ）は、抽
出されたエッジ６ａ〜６ｆのみを分かりやすく表示した
図である。このように、ＣＰＵ２４は、画像ＡとＢとを
特定された上記立体物に対してエッジ検出し、次のステ
ップＳ１３２に進む。

【００５１】図６において、ＣＰＵ２４は、前述のステ
ップＳ１３１で画像ＡおよびＢ内で検出された上記エッ
ジの中から、同一エッジを検出する（ステップＳ１３
２）。この同一エッジの検出は、従来のハミング距離の
算出等の方法を用いて、画像内の輝度あるいは色のパタ
ーンが画像ＡとＢとの間で比較されることにより行われ
る。ただし、ＣＰＵ２４は、それぞれの画像ＡおよびＢ
が撮像された地点と角度とが、既に上記車両の直線移動
距離ΔＤと上記車両の回転角度Ｒとして算出しているた
めに、画像Ａのエッジが画像Ｂのどの部分にあるか予測
が可能であるので、予測される部分を画像分析すること
により、上記同一エッジの検出に要する計算量は従来よ
り少なくなる。

【００５２】次に、ＣＰＵ２４は、上記ステップＳ１３
２で検出された上記同一エッジに対して、それぞれの画
像内での距離を算出する（ステップＳ１３３）。この距
離は、それぞれの画像の中心位置を基準として、各エッ
ジまでの距離あるいは座標等として算出される。

【００５３】ステップＳ１３４については、図８および
図９を用いて説明する。図８は、前述したように、上記
車両直進時（または後進時）における上記車両から立体
物までの距離算出方法である。すなわち、上記車両が回
転移動を含まずにＺ方向に移動する場合の距離算出方法
である。以下、図８を用いて、当該距離算出方法につい
て説明する。

【００５４】図８において、当該距離算出方法を、撮像
装置１０が搭載された上記車両から立体物７のエッジ上
の点Ｐまでの距離Ｄを算出する方法として説明する。こ
こで、立体物７ａおよびそのエッジ上の点Ｐａは、ａ地
点にある上記車両に対する立体物７および点Ｐの位置を
示している。また、立体物７ｂおよびそのエッジ上の点
Ｐｂは、ｂ地点にある上記車両に対する立体物７および
点Ｐの位置を示している。すなわち、図８は、撮像装置
１０の位置を基準にした場合、上記車両がａ地点からｂ
地点まで直線移動距離ΔＤだけ移動したために、上記立
体物７ａおよび点Ｐａが直線移動距離ΔＤだけ移動し、
立体物７ｂおよび点Ｐｂの位置に変わったことを示して
いる。本来、図８には、立体物７を固定し、撮像装置１
０が搭載された上記車両がＺ方向に直線移動距離ΔＤだ
け移動した図が記載されるべきであるが、説明を簡単に
するために、撮像装置１０の位置を固定して、立体物７
および点Ｐが直線移動距離ΔＤだけ移動したように記載
し説明する。

【００５５】また、撮像装置１０の焦点距離をｆとする
と、立体物７および点Ｐの像は、撮像装置１０の焦点位
置から焦点距離ｆ離れた投影面に写る。すなわち、立体
物７ａおよび点Ｐａの像は、それぞれ立体物７’ａおよ
び点Ｐ’ａとして上記画像Ａに写る。また立体物７ｂお
よび点Ｐｂの像は、それぞれ立体物７’ｂおよび点Ｐ’
ｂとして上記画像Ｂに写る。なお、図８には、説明を簡
単にするために、画像ＡおよびＢを合成した画像を記載
しているが、当該駐車支援装置の動作では上記画像の合
成はしなくてもかまわない。

【００５６】次に、上記車両から立体物７のエッジ上の
点Ｐまでの距離Ｄの算出方法を説明する。撮像装置１０
により撮像された画像ＡおよびＢのそれぞれの中心をＯ
とし、それぞれの画像内の中心Ｏから点Ｐ’ａまでの距
離をｕ、点Ｐ’ａから点Ｐ’ｂまでの距離をｖとする
と、距離Ｄは、 Ｄ＝ΔＤ・ｕ／ｖ となる。ここで、上記車両の直線移動距離ΔＤは、前述
のステップＳ１２２で求められているので、ＣＰＵ２４
はそれぞれの画像内で点Ｐの距離を算出すれば、撮像装
置１０から点Ｐまでの距離を算出することができる。な
お、上記エッジは点の集まりと考えられるため、ＣＰＵ
２４は前述のように点Ｐまでの距離算出をエッジ全体に
行うことにより、上記車両から上記エッジまでの上記エ
ッジ全体の距離分布を算出することができる。

【００５７】図９は、前述したように、上記車両が回転
を含んだ移動をした時の、上記車両から上記立体物まで
の距離算出方法を示す説明図である。以下、図９を用い
て、当該距離算出方法について説明する。

【００５８】図９において、車両１は、ａ地点からｂ地
点に直線移動距離ΔＤと回転角度Ｒ（図示せず）との移
動をしたことを示しており、それぞれａ地点の車両１を
車両１ａ、ｂ地点の車両１を車両１ｂとして記載されて
いる。また、車両１は、撮像装置１０が搭載されてお
り、ａ地点における撮像装置１０ａの光軸座標をＸａ、
Ｙａ、Ｚａとし、ｂ地点における撮像装置１０ｂの光軸
座標をＸｂ、Ｙｂ、Ｚｂとする。ここで、Ｚ方向は撮像
装置１０の光軸方向であり、Ｘ方向は水平方向、Ｙ方向
は垂直方向を示している。また、距離算出対象物は、立
体物７のエッジ上の点Ｐであり、以下、車両１ｂから点
Ｐまでの距離Ｄｂを算出する方法について説明する。

【００５９】前述したように、ＣＰＵ２４は、ステップ
Ｓ１２２で上記車両の回転角度Ｒと直線移動距離ΔＤと
を算出しており、回転角度Ｒを３×３の正規直交行列で
表し、直線移動距離ΔＤをオフセットベクトルで表す
と、次のようになる。

【数１】

【数２】 ここで、ａ地点における撮像装置１０ａにより撮像され
た画像Ａ内の点Ｐの座標を（ｘ’ａ，ｙ’ａ）とし、ｂ
地点における撮像装置１０ｂにより撮像された画像Ｂ内
の点Ｐの座標を（ｘ’ｂ，ｙ’ｂ）とする。また、撮像
装置１０の焦点距離をｆとし、ａ地点の撮像装置１０ａ
から点Ｐまでの距離をＤａ、ｂ地点の撮像装置１０ｂか
ら点Ｐまでの距離をＤｂとすると、

【数３】

【数４】

【数５】 の関係式が導かれる。この方程式を使って、距離Ｄｂを
求めると、

【数６】 となる。

【００６０】このように、上記車両が回転を含んだ移動
をした場合でも、ＣＰＵ２４は２地点におけるそれぞれ
の画像内の点Ｐの座標を算出し、２地点間の直線移動距
離ΔＤと回転角度Ｒとのデータから、上記車両から点Ｐ
までの距離を算出することができる。なお、前述とした
ように、上記エッジは点の集まりと考えられるため、Ｃ
ＰＵ２４は点Ｐまでの距離算出をエッジ全体に行うこと
により、上記車両から上記エッジまでの上記エッジ全体
の距離分布を算出することができる。

【００６１】このように、ＣＰＵ２４は、上記車両の回
転角度Ｒと直線移動距離ΔＤとを用いて、上記車両から
上記エッジまでの距離を算出する（ステップＳ１３
４）。

【００６２】次に、ＣＰＵ２４は、ステップＳ１３１で
検出された上記エッジについて、全て上記車両からの距
離算出が終了したか確認する（ステップＳ１３５）。全
ての上記エッジに対して、距離算出が終了している場合
は、ステップＳ１３８に進む。一方、距離算出が終了し
ていない上記エッジがある場合は、ステップＳ１３６に
進む。

【００６３】そして、ＣＰＵ２４は、距離算出が終了し
ていない上記エッジが、ステップＳ１３２で同一エッジ
として検出されたエッジか確認し（ステップＳ１３
６）、同一エッジとして検出されたエッジの場合、ステ
ップＳ１３３からのフローを繰り返す。また、ＣＰＵ２
４は、距離算出されていないエッジが、一方の画像で検
出されたエッジのみになった場合は、ステップＳ１３７
に進み、上記エッジを画像から消去し、ステップＳ１３
８に進む。

【００６４】最後に、ＣＰＵ２４は、前述のように算出
された上記車両から各エッジまでの距離データとその形
状データとを出力し（ステップＳ１３８）フローを終了
する。

【００６５】次に、図３におけるステップＳ１４０の上
記車両の上から見た画像αの作成方法について説明す
る。図２において、ＣＰＵ２４は、フレームメモリ２３
に記憶された画像Ｂのデータを用いて、この画像Ｂにア
フィン変換等の画像変換処理を加えることにより、上記
車両の上から見た鳥瞰図画像αに変換する（ステップＳ
１４０）。この時、前述したように、画像Ｂ内の立体物
は、画像αに歪んだ形状で変換されるが、ＣＰＵ２４は
既に特定された立体物として他と区別して検出している
ので、そのデータを利用して上記立体物を画像αから削
除する。

【００６６】次に、図３におけるステップＳ１５０の車
両の上から見た画像αに立体物を強調表示する方法につ
いて説明する。図１０は、前述したように、当該強調表
示により作成された画像を説明する図である。以下、図
１０を用いて当該強調表示方法について説明する。

【００６７】図１０（ａ）は、前述したｂ地点から撮像
装置１０により撮像された画像Ｂを示している。なお、
画像Ｂには、立体物２ａおよび２ｂと地面に描かれた白
線３とが撮像されている。前述したステップＳ１４０で
は、ＣＰＵ２４は、この画像Ｂを上記車両の上から見た
鳥瞰図画像αに変換しているが、立体物２ａおよび２ｂ
は歪んだ形状に変換され正確に表すことができないた
め、上記立体物を画像αから削除している。そこで、Ｃ
ＰＵ２４は、画像αに上記立体物を現実の距離感覚に合
った形状に強調表示して追加する（ステップＳ１５
０）。ここでは、ＣＰＵ２４は、前述したステップＳ１
３８で出力される上記立体物のエッジまでの距離データ
とその形状データとを用いて、上記立体物を画像αに追
加する。以下、画像αに追加される立体物データについ
て説明する。

【００６８】ここで、上記立体物のまでの距離算出ステ
ップＳ１３０で、ＣＰＵ２４は、上記立体物のエッジを
検出し、全てのエッジに対して上記車両からの距離を算
出している。ステップＳ１５０では、ＣＰＵ２４は、こ
のエッジ形状データと上記車両から各エッジまでの距離
データとを、画像αに追加する。図１０（ｂ）は、立体
物２ａおよび２ｂのエッジデータ８０ａおよび８０ｂ
を、画像αに追加した画像βである。エッジデータ８０
ａおよび８０ｂは、上記車両からの距離が正確に算出さ
れているため、画像β内においても歪むことなく正確に
表示される。また、ＣＰＵ２４は、画像βに表示するエ
ッジデータ８０ａおよび８０ｂの中で、上記車両に近い
エッジやエッジ先端部を、色あるいは線幅等を他の画像
と容易に判別できるように強調表示することにより、運
転者に注意を促すようにしてもよい。

【００６９】なお、車両モデル９０は、上記車両の位置
および寸法を表示している。ここで、上記車両は、上記
撮像装置が搭載されているため、上記撮像装置では上記
車両の全容を撮像することができない。したがって、画
像βには上記車両の画像が撮像されないため、運転者
は、エッジデータ８０ａおよび８０ｂと上記車両との距
離感覚が掴みにくい。そこで、運転者に上記距離感覚を
掴みやすくさせるために、ＣＰＵ２４は、画像βに車両
モデル９０を固定して表示する。この車両モデル９０
は、予め上記撮像装置と上記車両との取り付け位置デー
タ、および上記車両の寸法データを設定することにより
作成される。また、ＣＰＵ２４は、上述した舵角センサ
４０のデータを用いて、上記車両に対する誘導経路と走
行予想軌跡９１とを、画像βに表示してもかまわない。
なお、このようにして作成された画像βは、図２におけ
るＣＰＵ２４から出力され、フレームメモリ２７に記憶
される。

【００７０】図１０（ｃ）は、画像βをさらに運転者の
距離感覚を掴みやすくした画像γである。この画像γ
は、画像βのエッジデータ８０ａおよび８０ｂに代え
て、立体物モデル８１ａおよび８１ｂが貼り付け表示さ
れている。この立体物モデル８１ａおよび８１ｂは、Ｃ
ＰＵ２４がエッジデータ８０ａおよび８０ｂの形状等に
より立体物の種類を判別し、予め駐車時に想定される車
両、壁、柱、人等の立体物モデルを記憶した立体物モデ
ル集から選出する。なお、立体物の種類判別が困難な部
位については、立体物領域として表示してもいいし、エ
ッジデータのままでもかまわない。このように、画像β
に、実際の画像に近い立体物モデルが立体物として貼り
付け表示されることにより、運転者は上記立体物と上記
車両との距離感覚がさらに掴みやすくなる。また、ＣＰ
Ｕ２４は、上述した舵角センサ４０のデータを用いて、
上記車両に対する誘導経路と走行予想軌跡９１とを、画
像γに表示してもかまわない。なお、このように作成さ
れた画像γも、図２におけるＣＰＵ２４から出力され、
フレームメモリ２７に記憶される。

【００７１】前述した画像βおよび画像γのどちらがＣ
ＰＵ２４から出力されるかの判断は、運転者の意志によ
り切り替えるようにしてもいいし、上記エッジデータと
上記立体物モデルとの一致状況により、ＣＰＵ２４が自
動判断し出力するようにしてもいい。

【００７２】このように、本発明の実施形態に係る駐車
支援装置では、単眼の撮像装置を車両に固定し、２地点
から時系列的に異なった画像を撮像することにより、立
体物に対して三角測量を行う。したがって、当該駐車支
援装置は、従来の距離検出装置を構成する２つの撮像装
置で必要であった、車両への取り付け角度、方向、間隔
等の厳しい取り付け精度が必要なく、撮像装置も１つで
構成することができる。また、２つの画像内で同一の像
を探索する計算についても、当該駐車支援装置では、車
両の移動距離、方向等が予め算出されているため、画像
内で上記像が表示されている場所が推定することが可能
であり、この推定により従来より計算量を少なくするこ
とができ、ハードウェアの構成も簡単にすることができ
る。さらに、運転者に立体物データを伝える装置は、車
両周辺を鳥瞰図画像で表現し、立体物も正確な距離で、
かつ、歪みのない画像で表現できるため、上記車両と上
記立体物との距離感覚を運転者に掴みやすくさせること
ができる。また、撮像装置を死角の多い大型車両の後部
に取り付けることにより、さらに、当該駐車支援装置を
有効に活用できることは言うまでもない。

【図面の簡単な説明】

【図１】本発明の実施形態に係る駐車支援装置の全体構
成図である。

【図２】本発明の実施形態に係る駐車支援装置の回路ブ
ロック図である。

【図３】本発明の実施形態に係る駐車支援装置の全体の
動作を示すフローチャートである。

【図４】本発明の実施形態に係る駐車支援装置の立体物
の特定の動作を示すフローチャートである。

【図５】本発明の実施形態に係る駐車支援装置の立体物
の特定のための画像処理方法を示す説明図である。

【図６】本発明の実施形態に係る駐車支援装置の立体物
の距離算出の動作を示すフローチャートである。

【図７】本発明の実施形態に係る駐車支援装置の立体物
からエッジ検出する説明図である。

【図８】本発明の実施形態に係る駐車支援装置の車両直
進時の立体物との距離算出方法を示す説明図である。

【図９】本発明の実施形態に係る駐車支援装置の回転を
含んだ車両移動時の立体物との距離算出方法を示す説明
図である。

【図１０】本発明の実施形態に係る駐車支援装置の運転
者に立体物との距離を伝達するための画像作成方法を示
す説明図である。

【図１１】従来の特開平５−１１４０９９号公報で開示
された距離検出装置のカメラと被写体との関係を示す図
である。

【図１２】従来の特開平５−１１４０９９号公報で開示
された距離検出装置のブロック図である。

【符号の説明】

１、５…車両 ２、７…立体物 ３…白線 ４…領域 ６、８０…エッジ １０…撮像装置 ２０…画像処理装置 ２１…ＡＤＣ ２２、２３、２７…フレームメモリ ２４…ＣＰＵ ２５…ＲＡＭ ２６…ＲＯＭ ２８…コントローラ ３０…ディスプレイ ４０…舵角センサ ５０…車輪速センサ ６０…パルスカウンタ ８１、９０…モデル ９１…走行予想軌跡

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ Ｂ６０Ｒ 21/00 Ｂ６０Ｒ 21/00 ６２６Ｄ ６２６Ｇ Ｇ０６Ｔ 7/00 Ｇ０６Ｔ 7/00 Ｃ 7/60 １８０ 7/60 １８０Ｂ Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ // Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ (56)参考文献 特開 平11−105686（ＪＰ，Ａ) 特開 平10−119672（ＪＰ，Ａ) 特開 平５−61410（ＪＰ，Ａ) 特開2001−10428（ＪＰ，Ａ) 特開2001−10427（ＪＰ，Ａ) 特開2000−182027（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) B60R 21/00 G06T 7/00 G06T 7/60 H04N 7/18 G08G 1/16

Claims (16)

(57)【特許請求の範囲】
1. 【請求項１】 駐車時に車両周辺を撮像し、その撮像さ
   れた画像から前記車両周辺の立体物の情報を運転者に伝
   達する駐車支援装置であって、 前記車両の移動中に、単一のカメラによって、異なる第
   １および第２の地点での周辺画像を、時系列的に視差付
   けされた第１および第２の画像として撮像する撮像装置
   と、 前記第１および第２の画像から、それぞれの画像に撮像
   された前記立体物を検出し特定する立体物特定部と、 前記第１の地点から前記第２の地点までの前記車両の移
   動データを算出する車両位置算出部と、 前記立体物の前記第１および第２の画像上での位置と、
   前記車両の移動データとを用いて、前記車両から前記立
   体物までの距離を算出する立体物距離算出部と、 前記撮像装置によって撮像された画像および前記立体物
   距離算出部で算出されたデータに基づいて、前記運転者
   に伝達するための第３の画像を生成する画像生成部とを
   備え、 前記立体物特定部は、 前記第１の画像を前記第２の地点に射影変換した第４の
   画像を生成し、 前記第４の画像と前記第２の画像との差分により、前記
   立体物を検出し特定する 、駐車支援装置。
2. 【請求項２】 駐車時に車両周辺を撮像し、その撮像さ
   れた画像から前記車両周辺の立体物の情報を運転者に伝
   達する駐車支援装置であって、 前記車両の移動中に、単一のカメラによって、異なる第
   １および第２の地点での周辺画像を、時系列的に視差付
   けされた第１および第２の画像として撮像する撮像装置
   と、 前記第１および第２の画像から、それぞれの画像に撮像
   された前記立体物を検出し特定する立体物特定部と、 前記第１の地点から前記第２の地点までの前記車両の移
   動データを算出する車両位置算出部と、 前記立体物の前記第１および第２の画像上での位置と、
   前記車両の移動データとを用いて、前記車両から前記立
   体物までの距離を算出する立体物距離算出部と、 前記撮像装置によって撮像された画像および前記立体物
   距離算出部で算出されたデータに基づいて、前記運転者
   に伝達するための第３の画像を生成する画像生成部とを
   備え、 前記立体物特定部は、 前記第２の画像を前記第１の地点に射影変換した第４の
   画像を生成し、 前記第４の画像と前記第１の画像との差分により、前記
   立体物を検出し特定する、駐車支援装置。
3. 【請求項３】 前記立体物距離算出部は、 前記第１および第２の画像から、それぞれの画像に撮像
   された前記立体物のエッジを検出し、 前記第１および第２の画像に撮像された同一の前記エッ
   ジの座標データと、前記車両の移動データとを用いて、
   前記車両から前記立体物のエッジまでの距離を算出す
   る、請求項１または２に記載の駐車支援装置。
4. 【請求項４】 前記立体物距離算出部は、 前記車両の移動データを用いて、前記第１および第２の
   画像に撮像された同一の前記エッジの位置を予想し、 予想される前記エッジの位置を画像分析することにより
   同一の前記エッジを検出する、請求項３に記載の駐車支
   援装置。
5. 【請求項５】 前記画像生成部は、 前記撮像装置で撮像された画像をアフィン変換を用いて
   前記車両上方からの鳥瞰図画像に変換し、 前記鳥瞰図画像に、前記立体物距離算出部で算出された
   データを付加して前記第３の画像を生成する、請求項１
   または２に記載の駐車支援装置。
6. 【請求項６】 前記画像生成部は、前記立体物距離算出
   部で算出されたデータの中から、前記車両に近い部位を
   視覚的に強調することを特徴とする、請求項５に記載の
   駐車支援装置。
7. 【請求項７】 前記画像生成部は、立体物の種別毎に対
   応するモデル画像を記憶した立体物モデル集から前記立
   体物距離算出部で算出されたデータに基づいて判別され
   る前記立体物の種類に対応する前記モデル画像を選出
   し、前記鳥瞰図画像に当該選出されたモデル画像を貼り
   付けた前記第３の画像を生成する、請求項５に記載の駐
   車支援装置。
8. 【請求項８】 前記画像生成部は、前記第３の画像に前
   記車両の位置および寸法を表す車両のモデル画像を固定
   して貼り付けて表示することを特徴とする、請求項５に
   記載の駐車支援装置。
9. 【請求項９】 前記車両の移動データは、前記車両の直
   線移動距離と前記車両の回転角度とを含み、 前記車両位置算出部は、前記車両に取り付けられた舵角
   センサとパルスカウンタを介した車輪速センサとのデー
   タに基づいて、前記移動距離と前記回転方向とを算出す
   る、請求項１または２に記載の駐車支援装置。
10. 【請求項１０】 前記撮像装置は、前記車両の後方に向
    けて取り付けられる、請求項１または２に記載の駐車支
    援装置。
11. 【請求項１１】 前記第３の画像を、前記運転者に伝達
    するディスプレイをさらに備える、請求項１または２に
    記載の駐車支援装置。
12. 【請求項１２】 前記立体物距離算出部で算出される前
    記車両から前記立体物までの距離が、予め設定された距
    離より短いときに、音を発生するスピーカ装置をさらに
    備える、請求項１または２に記載の駐車支援装置。
13. 【請求項１３】 前記立体物距離算出部で算出される前
    記車両から前記立体物までの距離が、予め設定された距
    離より短いときに、光を発生する発光装置をさらに備え
    る、請求項１または２に記載の駐車支援装置。
14. 【請求項１４】 前記撮像装置は、前記車両の運転者の
    手動操作に応答して撮像を開始する、請求項１または２
    に記載の駐車支援装置。
15. 【請求項１５】 前記撮像装置は、予め設定された走行
    速度に前記車両が減速したときに撮像を開始する、請求
    項１に記載の駐車支援装置。
16. 【請求項１６】 前記撮像装置は、前記車両が後退する
    ときに撮像を開始する、請求項１または２に記載の駐車
    支援装置。