JP6279282B2

JP6279282B2 - 立体物確認装置及び立体物確認プログラム

Info

Publication number: JP6279282B2
Application number: JP2013211336A
Authority: JP
Inventors: 智宣市川; 康則広沢
Original assignee: Tokai Rika Co Ltd; Toyota Motor Corp
Current assignee: Tokai Rika Co Ltd; Toyota Motor Corp
Priority date: 2013-10-08
Filing date: 2013-10-08
Publication date: 2018-02-14
Anticipated expiration: 2033-10-08
Also published as: JP2015074318A

Description

本発明は、車両近傍に存在する立体物を確認する立体物確認装置及び立体物確認プログラムに関する。

車両にカメラを搭載して撮影して得られる撮影画像に基づいて、障害物を検出する技術が知られている。

例えば、特許文献１では、車両が停車しようとする第１のタイミングで撮影装置からの画像を記憶装置に記憶すると共に、車両の発車直前の第２のタイミングで撮影装置から与えられた画像と記憶装置内の画像とを比較し、また発車直後の極低速状態で、撮影装置で撮影された画像を記憶装置に記憶しながら、一定距離だけ進行する毎に所定の湾曲座標で各サンプル点の画素値の差分を演算し、その比較または演算の結果に基づいて車両周辺の障害物の有無を判断することが提案されている。

特開２００４−２２１８７１号公報

しかしながら、特許文献１の技術では、第１のタイミングと第２のタイミングの撮影結果に基づいて停車時に移動する障害物を検出することができるが、停車時には移動しない障害物を検出することができないため、改善の余地がある。

本発明は、上記事実を考慮して成されたもので、停車時に立体物の有無を検出することを可能にした立体物確認装置を提供することを目的とする。

上記目的を達成するために請求項１に記載の発明は、予め定めた格納位置及び展開位置の２位置に移動可能な電動格納式のドアミラーに設けられ、各々の位置から車両の側方を撮影する撮影手段と、車両の停車中に、前記格納位置の前記撮影手段の撮影画像を取得した後に、前記展開位置の前記撮影手段の撮影画像を取得する取得手段と、前記取得手段によって取得された各々の撮影画像をそれぞれ規格化するための補正を行って比較し、ずれる部分の有無により立体物を検出する検出手段と、を備えている。

請求項１に記載の発明によれば、撮影手段では、予め定めた格納位置及び展開位置の２位置に移動可能な電動格納式のドアミラーに設けられて、車両の側方が撮影される。また、取得手段では、格納位置の撮影手段の撮影画像を取得した後に、展開位置の撮影手段の撮影画像が取得される。

また、検出手段では、取得手段によって取得された各々の撮影画像が比較され、ずれる部分の有無により立体物が検出される。すなわち、２位置から撮影された撮影画像は、異なる方向から撮影されるため、撮影画像の位置合わせを行って比較すれば、撮影画像中に立体物が存在する場合には、立体物の部分がずれているので、撮影画像のずれを検出することで立体物を検出することができる。これによって停車中でも立体物の有無を検出することが可能となる。

なお、撮影手段は、請求項２に記載の発明のように、魚眼レンズを備えてもよい。すなわち、通常のレンズよりも魚眼レンズの方が広範囲を撮影することができるので、立体物の有無の検出を通常のレンズで撮影した撮影画像よりも広範囲に検出することができる。

また、検出手段は、請求項３に記載の発明のように、規格化するための補正として、取得手段によって取得された各々の撮影画像に対して俯瞰変換を行うと共に、各々の撮影画像の位置合わせを行って各々の撮影画像を比較するようにしてもよい。

また、本発明は、請求項４に記載の発明のように、アスペクト比が長い方が車両前後方向になるように、取得手段によって取得された各々の撮影画像を表示する表示手段を更に備えるようにしてもよい。

また、本発明は、請求項５に記載の発明のように、前記検出手段によって立体物が検出された場合に、前記撮影手段によって撮影された撮影画像中の検出した立体物を強調表示し、かつ警報を発して報知する報知手段を更に備えてもよい。
また、本発明は、コンピュータを、請求項１〜５の何れか１項に記載の立体物確認装置における前記取得手段及び前記検出手段として機能させるための鏡面制御プログラムとしてもよい。

以上説明したように本発明によれば、停車時に立体物の有無を検出することを可能にした立体物確認装置を提供することができる、という効果がある。

本発明の実施の形態に係る立体物確認装置の構成を示すブロック図である。ドアミラーの格納状態と展開状態における立体物の撮影例を示す図である。（Ａ）はドアミラーを展開状態で撮影した撮影画像の一例を示し、（Ｂ）はドアミラーを格納状態で撮影した撮影画像の一例を示す図である。（Ａ）はドアミラーを格納状態で撮影した撮影画像の一例を示す図であり、（Ｂ）は（Ａ）の撮影画像の俯瞰変換後の撮影画像の一例を示す図であり、（Ｃ）は俯瞰変換後の撮影画像を回転した画像を示す図である。（Ａ）はドアミラーを展開状態で撮影した撮影画像の一例を示す図であり、（Ｂ）は（Ａ）の撮影画像の俯瞰変換後の撮影画像の一例を示す図であり、（Ｃ）はドアミラーの２位置の撮影画像の比較結果の一例を示す図である。本実施の形態に係る立体物確認装置において、立体物確認プログラムを実行することによりＥＣＵで行われる立体物確認処理の流れの一例を示すフローチャートである。（Ａ）は停車時に立体物の確認ができなかった場合の立体物への接触を示す図であり、（Ｂ）は本実施の形態に係る立体物確認装置により立体物の確認ができることで立体物を回避した発進ができることを示す図である。（Ａ）は検出用カメラを取り付ける部材を車両側面に対して移動して２位置で撮影可能とした例を示す図であり、（Ｂ）は検出用カメラ自体を２位置に移動可能なように構成して、２位置で撮影可能とした例を示す図である。

以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。図１は、本発明の実施の形態に係る立体物確認装置の構成を示すブロック図である。

立体物確認装置１０は、図１に示すように、撮影画像に基づいて立体物を検出するための制御を行うＥＣＵ（Electronic Control Unit）１２を備えている。

ＥＣＵ１２は、ＣＰＵ１２Ａ、ＲＯＭ１２Ｂ、ＲＡＭ１２Ｃ、及びＩ／Ｏ（入出力インタフェース）１２Ｄがそれぞれバス１２Ｅに接続されたマイクロコンピュータで構成されている。

ＲＯＭ１２Ｂには、撮影画像から車両周辺の立体物を検出するためのプログラムや各種テーブル、数式等の各種データなどが記憶されており、ＲＯＭ１２Ｂに記憶されたプログラムをＲＡＭ１２Ｃに展開してＣＰＵ１２Ａが実行することにより、車両周辺の立体物の検出が行われる。なお、ＲＯＭ１２Ｂに記憶されるプログラムとしては、一例として後述する立体物検出プログラムが記憶される。

Ｉ／Ｏ１２Ｄには、検出用カメラ（左側検出用カメラ１４Ｌ及び右側検出用カメラ１４Ｒ）１４、格納駆動部（右側格納駆動部１６Ｒ及び左側格納駆動部１６Ｌ）１６、モニタ１８、及びブザー２０が接続されている。

左側検出用カメラ１４Ｌ及び右側検出用カメラ１４Ｒは、本実施の形態では、魚眼レンズを適用した検出用カメラがドアミラーに設けられている。そして、自動車の周辺（本実施形態では、自動車の側方）を撮影して撮影結果をＥＣＵ１２に出力する。これによりＥＣＵ１２が撮影結果に基づいて、自動車の側方の立体物を検出する処理を行うようになっている。

格納駆動部１６は、図２の点線で示すように、ドアミラー２２を折りたたんだ格納位置と、図２の実線で示すように、ドアミラー２２を展開した展開位置とに移動する。

モニタ１８には、検出用カメラ１４の撮影結果や、撮影結果に基づいて検出された立体物の位置等が表示可能とされている。

ブザー２０は、撮影結果に基づいて立体物を検出した場合に、立体物が存在することを報知するための警報音を発生可能とされている。

ＥＣＵ１２は、ドアミラー２２を格納した格納状態で検出用カメラ１４によって撮影を行う共に、格納駆動部１６を駆動してドアミラー２２を展開した展開状態まで移動させて、検出用カメラ１４によって撮影を行うことにより、図２の実線矢印及び点線矢印で示すように、２位置で撮影を行うように制御する。

また、ＥＣＵ１２は、２位置の撮影結果をそれぞれ規格化（画像の位置を合わせる）するための補正を行って比較して、差分を抽出することにより、立体物の有無を検出する。すなわち、撮影位置が異なることによって立体物が存在する場合には、画像に差異が生じるので、これを検出することにより、停車中に立体物の有無を検出することができる。

ここで、立体物の検出方法についてさらに具体的に説明する。図３（Ａ）はドアミラー２２を展開状態で撮影した撮影画像の一例を示し、図３（Ｂ）はドアミラー２２を格納状態で撮影した撮影画像の一例を示す図である。なお、図３は、駐車する枠線の撮影結果を示す。

ドアミラー２２を格納状態で検出用カメラ１４で撮影した撮影結果と、ドアミラー２２を展開状態で検出用カメラ１４で撮影した撮影結果を比較すると、検出用カメラ１４の位置がずれるため、図３（Ａ）、（Ｂ）に示すように、位置ずれが発生する。本実施の形態では、撮影位置のずれによって、立体物が存在する場合には、立体物が存在する位置が撮影画像上でずれることを利用して立体物の有無を検出する。

具体的には、ドアミラー２２を格納状態で検出用カメラ１４で撮影して撮影結果を一旦保存する。

本実施の形態では、魚眼レンズを用いて広域範囲を撮影するため、撮影画像が魚眼レンズの形状に応じて歪んだ画像となり、例えば、図４（Ａ）に示すような撮影画像となる。

そこで、俯瞰変換を行うことにより、歪んだ画像を歪みのない画像に補正すると共に、上から見た画像に変換する。例えば、図４（Ａ）の太線部分を俯瞰変換した結果を図４（Ｂ）に示す。

また、ドアミラー２２を格納状態で撮影したため、ドアミラー２２を展開状態で撮影した撮影結果と比較するために、図４（Ｃ）に示すように、俯瞰変換後の撮影画像を回転する。回転角度は、ドアミラー２２の回転角度に応じて予め定めた回転角度で回転してドアミラーを展開状態で撮影した撮影画像と位置合わせを可能にする。

また、ドアミラー２２を展開状態に移動して、検出用カメラ１４によって撮影して撮影画像を保存する。図５（Ａ）にドアミラー２２を展開状態で撮影した撮影画像の一例を示す。

ドアミラー２２を展開状態で撮影した撮影画像についても俯瞰変換を行うことにより、魚眼レンズによる歪みを補正すると共に、上から見た画像に変換する。例えば、図５（Ａ）の太線部分を俯瞰変換した結果を図５（Ｂ）に示す。

そして、ドアミラー２２を格納状態で撮影して俯瞰変換及び回転を行った撮影画像と、ドアミラー２２を展開状態で撮影して俯瞰変換した撮影画像と、比較する。

ここで、立体物が存在する場合には、図５（Ｃ）に示すように、立体物に対応する対象が撮影画像上でずれているので、２つの撮影画像の差分を抽出してずれが発生する部分がある場合に、立体物が存在すると判断することができる。そして、立体物の存在が検出された場合に、モニタ１８に立体物を表示したり、ブザー２０によって警報を発生することで運転者に立体物の存在を報知することができる。

続いて、上述のように構成された本実施の形態に係る立体物確認装置１０のＥＣＵ１２で行われる具体的な処理について説明する。図６は、本実施の形態に係る立体物確認装置１０において、立体物確認プログラムを実行することによりＥＣＵ１２で行われる立体物確認処理の流れの一例を示すフローチャートである。

ステップ１００では、ドアミラー２２を格納状態で検出用カメラ１４による撮影が行われ、得られた撮影画像Ａが保存されてステップ１０２へ移行する。

ステップ１０２では、保存された撮影画像Ａが俯瞰変換されてステップ１０４へ移行する。すなわち、魚眼レンズによって画像の歪みが補正されると共に、上から見た画像に変換されてステップ１０４へ移行する。

ステップ１０４では、俯瞰変換後の撮影画像Ａがドアミラー２２が展開状態で撮影した撮影画像と比較するために回転されてステップ１０６へ移行する。

ステップ１０６では、格納駆動部１６の駆動が制御されてドアミラー２２が展開状態となるまで移動されてステップ１０８へ移行する。

ステップ１０８では、ドアミラー２２が展開状態で検出用カメラ１４による撮影が行われ、得られた撮影画像Ｂが保存されてステップ１１０へ移行する。

ステップ１１０では、保存された撮影画像Ｂが俯瞰変換されてステップ１１２へ移行する。すなわち、ステップ１０２と同様に、画像の歪みが補正されると共に、上から見た画像に変換されてステップ１１２へ移行する。

ステップ１１２では、俯瞰変換後の撮影画像Ａと撮影画像Ｂとが比較されてステップ１１４へ移行する。例えば、俯瞰変換後の撮影画像Ａと撮影画像Ｂの差分を算出することにより比較する。

ステップ１１４では、撮影画像Ａと撮影画像Ｂを比較した結果、ずれる部分があるか否か判定される。例えば、俯瞰変換後の撮影画像Ａと撮影画像Ｂの差分の算出結果からずれる部分があるか否かを判定し、該判定が否定された場合には立体物がないものとしてそのまま処理を終了する。なお、ここで、立体物が車両周囲に存在しないことを表す画像や撮影画像等をモニタに表示するようにしてもよい。

一方、ステップ１１６では、立体物が存在すると判定して警報が発生されて一連の処理を終了する。例えば、ブザー２０を発音して、撮影画像をモニタ１８に表示して立体物の位置を強調表示する。これにより、運転者は停車状態で立体物の有無を確認することができる。なお、モニタ１８に撮影画像を表示する際には、アスペクト比が長い方が、車両前後方向になるように撮影画像をモニタ１８に表示することにより、車両側面の広範囲にわたる立体物の確認が可能となる。

従って、停車時に立体物を確認することができなかったときには、図７（Ａ）に示すように、運転席から見え難い高さの立体物の存在に気づかぬまま発進して、立体物に衝突してしまったところ、本実施の形態では、上述したように処理を行うことで、立体物を確認することができる。これによって、図７（Ｂ）に示すように、停車時に立体物が存在する場合には、接触しないように、ハンドルを戻して前進することができ、立体物との接触を避けることができる。

なお、上記の実施の形態では、検出用カメラ１４を電動格納式のドアミラー２２に設けて、格納状態と、展開状態との２位置でそれぞれ撮影を行って、２つの撮影画像を比較することによって、立体物を検出するようにしたが、２位置を撮影できればよいので、電動格納式のドアミラー２２の格納／展開位置ではなく、検出用カメラ１４をドアミラー２２上で２位置に移動可能として、検出用カメラ１４を移動して２位置で撮影するようにしてもよい。或いは、電動格納式のドアミラー２２でなくてもよい。例えば、検出用カメラ１４によって車両後方を含む周囲を撮影してモニタ１８等に撮影結果を表示する周辺確認装置に適用するようにしてもよい。この場合には、図８（Ａ）に示すように、検出用カメラ１４を取り付ける部材２４を車両側面に対して移動して格納位置（図８（Ａ）の点線）と展開位置（図８（Ａ）の実線）の２位置で撮影可能とするようにしてもよいし、図８（Ｂ）に示すように、検出用カメラ１４自体を２位置に移動可能なように構成して、２位置で撮影するようにしてもよい。また、複数の検出用カメラを車両側面の異なる位置に設けて２位置の撮影画像を得るようにしてもよい。

また、上記の実施の形態では、魚眼レンズを適用した検出用カメラ１４を用いたが、これに限るものではなく、通常のレンズを適用したカメラを用いるようにしてもよい。この場合には、撮影範囲は狭くなるが魚眼レンズを起因とする歪みの補正が不要となるため、立体物の検出の処理速度を向上することが可能となる。

また、上記の実施の形態におけるＥＣＵ１２で行われる図６の処理は、プログラムとして記憶媒体に記憶して流通させるようにしてもよい。

さらに、上記の実施の形態では、一例としてブザー２０を発音して、撮影画像をモニタ１８に立体物を強調表示することにより警報を行うようにしたが、警報はこれに限るものではなく、例えば、モニタ１８の代わりにインジケータの点滅や点灯等による警報でもよいし、ブザー２０の代わりに音声でもよい。また、警報は、立体物が存在すると判定し、さらに車両情報（例えば、舵角、シフトポジション、車速等）により接触の可能性があると判断した場合のみ警告するようにしてもよい。

１０立体物確認装置
１２ＥＣＵ
１４検出用カメラ
１６格納駆動部
１８モニタ
２０ブザー
２２ドアミラー

Claims

予め定めた格納位置及び展開位置の２位置に移動可能な電動格納式のドアミラーに設けられ、各々の位置から車両の側方を撮影する撮影手段と、
車両の停車中に、前記格納位置の前記撮影手段の撮影画像を取得した後に、前記展開位置の前記撮影手段の撮影画像を取得する取得手段と、
前記取得手段によって取得された各々の撮影画像をそれぞれ規格化するための補正を行って比較し、ずれる部分の有無により立体物を検出する検出手段と、
を備えた立体物確認装置。
前記撮影手段は、魚眼レンズを備えた請求項１に記載の立体物確認装置。
前記検出手段は、規格化するための補正として、前記取得手段によって取得された各々の撮影画像に対して俯瞰変換を行うと共に、各々の撮影画像の位置合わせを行って各々の撮影画像を比較する請求項１又は請求項２に記載の立体物確認装置。
アスペクト比が長い方が車両前後方向になるように、前記取得手段によって取得された各々の撮影画像を表示する表示手段を更に備えた請求項１〜３の何れか１項に記載の立体物確認装置。
前記検出手段によって立体物が検出された場合に、前記撮影手段によって撮影された撮影画像中の検出した立体物を強調表示し、かつ警報を発して報知する報知手段を更に備えた請求項１〜４の何れか１項に記載の立体物確認装置。
コンピュータを、請求項１〜５の何れか１項に記載の立体物確認装置における前記取得手段及び前記検出手段として機能させるための立体物確認プログラム。