WO2015186294A1

WO2015186294A1 - 車載画像処理装置

Info

Publication number: WO2015186294A1
Application number: PCT/JP2015/002349
Authority: WO
Inventors: 下村　修; 直輝川嵜; 博彦柳川
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2014-06-02
Filing date: 2015-05-08
Publication date: 2015-12-10
Anticipated expiration: 2016-12-02
Also published as: DE112015002593T5; JP6459226B2; JP2015227139A

Abstract

　ＥＣＵ（１０）は、自車両の周辺を撮影するリアカメラ（２１）から取得した画像を用いて、駐車区間を構成する駐車枠を検出するＥＣＵ（１０）である。そして、ＥＣＵ（１０）は、リアカメラ（２１）から画像を取得する画像取得部（１１０）を備えている。また、ＥＣＵ（１０）は、画像取得部（１１０）が取得した画像から直線を検出する直線検出部（１１１）を備えている。また、ＥＣＵ（１０）は、直線検出部（１１１）が検出した複数の直線から選択された２つの直線によって構成される直線の組が所定の条件を満たす場合、当該直線の組を駐車枠候補として検出する駐車枠候補検出部（１１２）を備えている。また、ＥＣＵ（１０）は、駐車枠候補を構成する直線と自車両の走行経路とのなす角の直交度が所定の範囲内となる駐車枠候補を、駐車枠として検出する駐車枠検出部（１１３）を備えている。

Description

車載画像処理装置

関連出願の相互参照

　本出願は、２０１４年６月２日に出願された日本出願番号２０１４－１１４２０５号に基づくもので、ここにその記載内容を援用する。

　本開示は、車載画像処理装置に関する。

　従来、車両に搭載された撮像装置から画像を取得し、その画像に対して画像処理を行うことで、直線を検出する車載画像処理装置が知られている。そして、車載画像処理装置は、検出した直線から駐車区間を構成する駐車枠を検出する。

　しかしながら、上記に示した車載画像処理装置では、具体的に駐車区間を構成する駐車枠を検出する方法に関して記載がない。そこで、本発明者らは、検出された直線から任意の２本の直線を組み合わせ、その２本の直線の組が駐車枠かどうかを検出する方法を試みた。その結果、２本の直線の組を検出するだけの方法では、道路に描かれた矢印や横断歩道などを、駐車枠として誤検出してしまう場合があることを本発明者は新たに見出した。

特開２０１３－１９３５４５号公報

　本開示は、上記点を鑑みてなされたもので、その目的は、より正確に駐車枠を検出することが出来る、車載画像処理装置を提供することである。

　本発明者らは、駐車区間が自車両の走行経路に対して、略直交する線によって構成されることに新たに着目し、以下の開示を創作した。

　本開示の一態様による自車両の周辺を撮影する撮像装置から取得した画像を用いて、駐車区間を構成する駐車枠を検出する車載画像処理装置は、撮像装置から画像を取得する画像取得部と、画像取得部が取得した画像から複数の直線を検出する直線検出部と、直線検出部が検出した複数の直線から選択された２つの直線によって構成される直線の組が所定の条件を満たす場合、当該直線の組を駐車枠候補として検出する駐車枠候補検出部と、駐車枠候補を構成する直線と自車両の走行経路とのなす角の直交度が所定の範囲内となる駐車枠候補を、駐車枠として検出する駐車枠検出部とを備えている。

　上記装置によると、自車両の走行経路に対して略直交する可能性が低い、道路の矢印や横断歩道などを駐車枠として誤検出してしまうことが低減される。一方、自車両の走行経路に対して略直交する可能性が高い駐車区間を形成する駐車枠をより正確に検出することが出来る。

　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、本開示の第１実施形態において、自車両に撮像装置が取り付けられている様子を示している図であり、図２は、第１実施形態における、車載画像処理装置の構成を説明するための図であり、図３は、第１実施形態における、車載画像処理装置が自車両の走行経路を検出する様子を説明する図であり、図４は、第１実施形態における、車載画像処理装置が駐車枠を検出する様子を示す図であり、図５は、第１実施形態において、車載画像処理装置が行う処理の流れを説明するためのフローチャートであり、図６は、第１実施形態において、車載画像処理装置が駐車枠候補を検出する流れを説明するフローチャートであり、図７は、第１実施形態において、車載画像処理装置が駐車枠を検出する流れを説明するフローチャートであり、図８は、第１実施形態において、検出された駐車枠がユーザに通知される流れを説明するフローチャートであり、図９は、本開示の第２実施形態において、車載画像処理装置が駐車枠を検出する様子を示す図であり、図１０は、本開示の第３実施形態において、現在の時刻に車載画像処理装置が駐車枠を検出する際の自車両の周辺環境を示す図であり、図１１は、第３実施形態において、過去の時刻に車載画像処理装置が駐車枠を検出する様子を示す図であり、図１２は、第３実施形態において、現在の時刻に車載画像処理装置が駐車枠を検出する様子を示す図であり、図１３は、本開示の第４実施形態において、直線同士の幅と駐車枠らしさの確率との関係を示す図であり、図１４は、第４実施形態において、直線同士の平行の程度と駐車枠らしさの確率との関係を示す図であり、図１５は、第４実施形態において、直交度と駐車枠らしさの確率との関係を示す図である。

　以下、図面を参照しながら本開示を実施するための複数の形態を説明する。各形態において、先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において、構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を参照し適用することができる。

　（第１実施形態）
　図１に示すように、本実施形態における撮像装置であるリアカメラ２１は、自車両１の後部に設置される。また、リアカメラ２１は、車両左右方向の中央部に設置される。

　図２に示すように、本実施形態における、車載画像処理装置は、ＥＣＵ１０である。

　ＥＣＵ１０は、リアカメラ２１、車速センサ２３、舵角センサ２４、及び表示装置３０と接続されている。

　リアカメラ２１にはＣＣＤカメラが用いられ、自車両１の後方の景色を撮影する。

　車速センサ２３は、自車両１の車速を検出するセンサである。そして、舵角センサ２４は、自車両１の前輪の舵角を検出するセンサである。

　表示装置３０は、液晶等のディスプレイと制御部とを有している。そのため、制御部はＥＣＵ１０から画像信号を受信し、受信した画像信号に応じた画像をディスプレイに表示する。

　ＥＣＵ１０は、マイクロコンピュータ１１とメモリ１２とを備えている。ＥＣＵ１０は、リアカメラ２１、車速センサ２３、及び舵角センサ２４から各種情報を取得する。そして、ＥＣＵ１０は、取得した情報に基づいて演算処理を行う。具体的な処理の内容については、後述する。

　また、ＥＣＵ１０は、表示装置３０に画像信号を出力する。そして、表示装置３０は、ＥＣＵ１０から受信した画像信号に基づいて、画像を表示する。

　メモリ１２は、マイクロコンピュータ１１と接続されている。メモリ１２は、不揮発性メモリなどから構成されており、マイクロコンピュータ１１が演算した処理の結果等を記憶することが出来る。本実施形態における駐車枠記憶部は、メモリ１２に相当する。

　マイクロコンピュータ１１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えている。ＣＰＵは、ＲＡＭやＲＯＭに記憶されたプログラムに基づいて、各種演算処理を行う。

　本実施形態において、マイクロコンピュータ１１は、画像取得部１１０、直線検出部１１１、駐車枠候補検出部１１２、及び駐車枠検出部１１３の役割を担っている。

　画像取得部１１０は、リアカメラ２１から所定の時間間隔で画像を取得する。所定の時間間隔は適宜設定することが出来る。また、画像取得部１１０は、取得した画像を鳥の視点から見た鳥瞰座標に変換し、鳥瞰画像を生成する。

　直線検出部１１１は、画像取得部１１０が生成した鳥瞰画像に対してハフ変換を行うことで直線検出を行う。具体的に、直線検出部１１１は、まず画像取得部１１０が生成した鳥瞰画像に対して、エッジ検出を行う。エッジ検出は、画像内において、輝度が鋭く変化する点であるエッジ点を検出するものである。そして、直線検出部１１１は、検出した複数のエッジ点のそれぞれを対象として、画像内の位置座標（ｘ、ｙ）について、ハフ変換式ρ＝ｘ・ｃｏｓθ＋ｙ・ｓｉｎθを満たす（ρ、θ）の組を抽出する。ここで、ハフ変換式の値θは、位置座標（ｘ、ｙ）を通る直線がｘ軸に対してなす角度に相当し、値ρは、位置座標（ｘ、ｙ）を通る直線に原点から下した垂線の長さに相当する。そして、（ρ、θ）に基づいて、直線が検出される。

　駐車枠候補検出部１１２は直線検出部１１１が取得した複数の直線から、任意の２本の直線を選択する。そして、その２本の直線によって構成される直線の組が所定の条件を満たす場合、駐車枠候補検出部１１２は、その直線の組を駐車枠候補として検出する。本実施形態における所定の条件は、上記直線の組における２つの直線のなす角の平行の程度が所定の範囲内に属しているかどうかである。具体的な、平行の程度の所定の範囲の値は、角度０°～４５°または、１３５°～１８０°である。また、所定の条件は、上記直線の組における直線間の幅が、所定の範囲内かどうかである。本実施形態における、具体的な幅の範囲は、１．８ｍから３．０ｍである。そして、駐車枠候補検出部１１２は、直線検出部１１１が検出した複数の直線の全ての組み合わせについて、上記所定の条件を満たすかどうかを判定し、駐車枠候補を検出する。

　駐車枠検出部１１３は、駐車枠候補検出部１１２が検出した駐車枠候補から、駐車枠を検出する。具体的に、駐車枠検出部１１３は、駐車枠候補検出部１１２が検出した駐車枠候補から、任意の駐車枠候補を選択する。そして、その駐車枠候補検出部１１２を構成する直線と自車両１の走行経路とのなす角の直交度が所定の範囲内に属するかどうかを検出する。そして、駐車枠検出部１１３は上記なす角が所定の範囲内に属していると判定した場合、その駐車枠候補を駐車枠として検出する。本実施形態における、直交度の所定の範囲の具体的な値は角度４５°～１３５°である。

　車両を駐車するための駐車領域は、自車両１の走行経路に対して、側面に位置することが多い。そして、その駐車領域における、車両１台分の駐車区間は、車両の走行経路に対して略直交する２本の直線によって駐車枠として区切られていることが多い。本実施形態におけるＥＣＵ１０は、自車両１の走行経路と駐車区間を構成する駐車枠の直線とのなす角の直交度が所定の範囲に属するかどうかを判定するため、駐車枠をより正確に検出することが出来る。

　本実施形態における、自車両１の走行経路の決定の方法について説明する。駐車枠検出部１１３は、あるタイミング時刻Ｔにおける自車両１の車速を車速センサ２３から検出する。また、駐車枠検出部１１３は、上記時刻Ｔにおける自車両１の舵角を、舵角センサ２４から検出する。そして、駐車枠検出部１１３が前回駐車枠を行ったタイミングである時刻Ｔ－１は既知である。従って、駐車枠検出部１１３は、ある時刻Ｔ－１からある時刻Ｔの間の自車両１の進行方向及び移動量を含んだ走行経路を検出することが出来る。そして、その走行経路に対して直交する方向に、所定の幅を持たせたものが、間隔ΔＴにおける自車両１の走路となる。この走路は、時刻Ｔにおいて画像取得部１１０が取得する画像と重畳することができ、その例を図３に示す。

　図３は、ある時刻Ｔにおいて画像取得部１１０が取得した画像である。

　走路７０は、時刻Ｔ－１から時刻Ｔの間における、自車両１の走路を示している。そして、走路７１は、時刻Ｔ－２から時刻Ｔ－１の間における、自車両１の走路を示している。走路７２は、時刻Ｔ－３から時刻Ｔ－２の間における、自車両１の走路を示している。そして、走行経路７０１は、時刻Ｔ－１から時刻Ｔの間における、自車両１の進行方向及び移動量を示している。所定の幅７０２は、走行経路７０１と直交し、所定の幅を持つ。

　また、走行経路７１１は、時刻Ｔ－２から時刻Ｔ－１の間における、自車両１の進行方向及び移動量を示している。所定の幅７１２は、走行経路７１１と直交し、所定の幅を持つ。

　また、走行経路７２１は、時刻Ｔ－３から時刻Ｔ－２の間における、自車両１の進行方向及び移動量を示している。所定の幅７２２は、走行経路７２１と直交し、所定の幅を持つ。

　次に、図４を用いて、ＥＣＵ１０が、駐車枠を検出する具体的な様子を説明する。

　図４は、あるタイミングである時刻Ｔにおけるリアカメラ２１が撮影した画像を用いて画像取得部１１０が生成した、鳥瞰画像を示している。まず、鳥瞰画像には矢印４０が存在している。また、鳥瞰画像には、横断歩道５０が存在している。また、鳥瞰画像には、駐車区間６０及び駐車区間６１が存在している。この中から、ＥＣＵ１０は、駐車区間６０及び駐車区間６１を構成する駐車枠を検出する。

　また、この鳥瞰画像には、時刻Ｔ－１から時刻Ｔの間における、自車両１の走路７０及び走行経路７０１の情報が含まれている。また、過去のタイミングである時刻Ｔ－２から時刻Ｔ－１の間における、自車両１の走路７１及び走行経路７１１の情報が含まれている。また、過去のタイミングである時刻Ｔ－３から時刻Ｔ－２の間における自車両１の、走路７２及び走行経路７２１の情報が含まれている。

　まず、直線検出部１１１は、上記で説明した方法を用いて、生成された鳥瞰画像から直線を検出する。すると、直線検出部１１１は、矢印４０を構成する直線である、直線４０ａと直線４０ｂとを検出する。また、直線検出部１１１は、横断歩道５０を構成する直線である直線５０ａと直線５０ｂとを検出する。また、直線検出部１１１は、駐車区間６０を構成する直線である、直線６０ａと直線６０ｂとを検出する。また、直線検出部１１１は駐車区間６１を構成する直線６１ａと６１ｂとを検出する。直線検出部１１１は、画像から他の直線も検出するが、説明の簡略化のために省略する。そのため、直線検出部１１１は、画像から８本の直線を検出する。

　なお、直線６０ａと６０ｂとの間の幅は２．５ｍである。また、直線６１ａと６１ｂとの間の幅は２．５ｍである。また、直線５０ａと５０ｂとの間の幅は２．０ｍである。そして、直線４０ａと直線４０ｂとの間の幅は２．０ｍである。

　次に、駐車枠候補検出部１１２が、駐車枠候補を検出する様子を説明する。

　まず、直線６０ａと直線６０ｂとを直線の組とした場合の例に、駐車枠候補検出部１１２が駐車枠候補を検出する様子を説明する。この時、駐車枠候補検出部１１２は、直線６０ａと直線６０ｂとの平行の程度を判定する。すると、駐車枠候補検出部１１２は、直線６０ａと直線６０ｂとのなす角の平行の程度が所定の範囲内に属しているかどうかを判定する。すると、直線６０ａと直線６０ｂとのなす角の平行の程度は所定の範囲内に属している。また、駐車枠候補検出部１１２は、直線６０ａと直線６０ｂとの間の幅が所定の範囲内に属しているかどうかを判定する。すると、この幅は２．５ｍであるため、駐車枠候補検出部１１２は、直線６０ａと直線６０ｂとの直線間の幅が、所定の範囲を満たしていると判定する。このように、所定の条件を満たしているため、駐車枠候補検出部１１２は、直線６０ａと直線６０ｂとの直線の組を、駐車枠候補として検出する。

　次に、駐車枠候補検出部１１２が、直線４０ａと直線６０ａとを直線の組とした場合の例に、駐車枠候補として検出されない様子を説明する。この時、駐車枠候補検出部１１２は、直線４０ａと直線６０ａとの平行の程度を判定する。すると、直線４０ａと直線６０ａとのなす角はほぼ直交であり、平行の程度は所定の範囲内に属していない。そのため、直線４０ａと直線６０ａとの組は、駐車枠候補として検出されない。

　同様にその他の直線の組み合わせに、上記処理を行った結果、今回、駐車枠候補として検出される直線の組は４組である。１つ目は、直線４０ａと直線４０ｂとの組である。２つ目は、直線６０ａと直線６０ｂとの組である。３つ目は直線６１ａと直線６１ｂとの組である。４つ目は、直線５０ａと直線５０ｂとの組である。

　次に、いくつかの例を説明することで、本実施形態におけるＥＣＵ１０が駐車区間を構成する駐車枠を検出する様子を説明する。

　１つ目の例として、駐車枠検出部１１３が、直線６０ａと直線６０ｂとによって構成される駐車枠候補が、駐車区間を構成する駐車枠かどうかを判定する様子を示す。駐車枠検出部１１３は、自車両１の走行経路７０１と直線６０ａとのなす角を検出する。この時、なす角はほぼ９０°であり、なす角の直交度は所定の範囲である４５°～１３５°に属している。そのため、駐車枠検出部１１３は、直線６０ａと直線６０ｂとによって構成される駐車枠候補を、駐車枠として検出する。

　また、駐車枠検出部１１３が、直線４０ａと直線４０ｂとによって構成される駐車枠候補が駐車枠かどうかを検出する様子を示す。駐車枠検出部１１３は、走行経路７０１と直線４０ａとのなす角を検出する。すると、そのなす角は、ほぼ０°となり、所定の範囲である４５°～１３５°を満たさない。従って、駐車枠検出部１１３は、直線４０ａと直線４０ｂとによって構成される駐車枠候補を駐車枠として検出しない。

　また、駐車枠検出部１１３が、直線５０ａと直線５０ｂとによって構成される駐車枠候補が駐車枠かどうかを検出する様子を示す。駐車枠検出部１１３は、走行経路７０１と直線５０ａとのなす角を検出する。すると、そのなす角は、ほぼ０°となり、所定の範囲である４５°～１３５°を満たさない。従って、駐車枠検出部１１３は、直線５０ａと直線５０ｂとによって構成される駐車枠候補を駐車枠として検出しない。

　以上のように、本実施形態におけるＥＣＵ１０は、検出された駐車枠候補を構成する直線と自車両１の走行経路７０１とのなす角の直交度が、所定の範囲内に属するかどうかを判定する。そのため、矢印４０や横断歩道５０を駐車枠として誤検出してしまうことを防ぐことが出来る。

　なお、走行経路７１１や走行経路７２１に基づいた駐車枠の検出は、過去のタイミングにてすでに行われている。すなわち、時刻Ｔ－１に画像取得部１１０が生成した鳥瞰画像上における駐車枠は、走行経路７１１と駐車枠候補とのなす角の直交度が所定の範囲内に属するかどうかに基づいて検出される。また、時刻Ｔ－２に画像取得部１１０が生成した鳥瞰画像上における駐車枠は、走行経路７２１と駐車枠候補とのなす角の直交度が所定の範囲内に属するかどうかに基づいて検出される。

　次に、図５～図７を用いて、本実施形態におけるＥＣＵ１０が行う処理の流れを説明する。

　図５に示すように、ステップＳ１０において、ＥＣＵ１０は駐車枠候補を検出する。そして、ステップＳ１１において、ＥＣＵ１０は、検出した駐車枠候補の中から、駐車枠を検出する。ステップＳ１２において、ＥＣＵ１０は、検出した駐車枠をユーザに通知する。

　図６は、ＥＣＵ１０が駐車枠候補を検出する具体的な処理の流れを示している。まず、ステップＳ１０１において、画像取得部１１０は、リアカメラ２１から画像を取得する。また、画像取得部１１０は、取得した画像を鳥の視点から見た画像である鳥瞰画像を生成する。その後、ステップＳ１０２に進む。

　ステップＳ１０２において、直線検出部１１１は、上記にて説明した方法で、生成された鳥瞰画像から直線を検出する。検出された直線は、メモリ１２に記憶される。このステップは鳥瞰画像上における、全ての直線が検出されるまで、行われる。その後、ステップＳ１０３に進む。

　ステップＳ１０３において、駐車枠候補検出部１１２は、直線検出部１１１が検出した直線から、任意の２本の直線を選択し直線の組とする。その後、ステップＳ１０４に進む。

　ステップＳ１０４において、駐車枠候補検出部１１２は、直線の組が所定の条件を満たすかどうかを検出する。具体的に駐車枠候補検出部１１２は、直線の組の直線の間が１．８ｍ～３．０ｍの範囲内に属しているかを判定する。また、駐車枠候補検出部１１２は、直線の組の直線同士の平行の程度が所定の範囲である、０°～４５°または１３５°～１８０°に属しているかどうかを判定する。直線の組が所定の条件を満たしている場合ステップＳ１０５に進み、そうでなければステップＳ１０６に進む。

　ステップＳ１０５において、駐車枠候補検出部１１２は、選択した直線の組を駐車枠候補としてメモリ１２に書き込む。その後、ステップＳ１０６に進む
　ステップＳ１０６において、駐車枠候補検出部１１２は、メモリ１２に記憶された直線の、全ての組み合わせについて駐車枠候補かどうかを調べたかどうかを検出する。すべての組み合わせについて判定した場合、この処理を終了し、そうでなければステップＳ１０３に戻る。

　図７は、ＥＣＵ１０が、検出した駐車枠候補の中から、駐車枠を検出する具体的な処理の流れを示している。ステップＳ１１１において、駐車枠検出部１１３は、上記で説明した方法にて自車両１の走行経路７０１を検出する。その後、ステップＳ１１２に進む。

　ステップＳ１１２において、駐車枠検出部１１３は、メモリ１２に記憶されている任意の駐車枠候補を選択する。その後、ステップＳ１１３に進む
　ステップＳ１１３において、駐車枠検出部１１３は、駐車枠候補を構成する直線の内少なくとも一方の直線と自車両１の走行経路７０１とのなす角の直交度が所定の範囲に属しているかどうかを判定する。所定の範囲内に属している場合ステップＳ１１４に進み、そうでなければステップＳ１１５に進む。

　ステップＳ１１４において、駐車枠検出部１１３は、選択している駐車枠候補を駐車枠としてメモリ１２に書き込む。また、駐車枠検出部１１３は、この駐車枠を検出した際の時刻をメモリ１２に書き込む。その後、ステップＳ１１５に進む。

　ステップＳ１１５において、駐車枠検出部１１３は、メモリ１２に記憶されている全ての駐車枠候補に対して、駐車枠検出処理を行ったかどうかを判定する。全ての駐車枠候補に対して処理を行った場合処理を終了し、そうでなければ、ステップＳ１１２に戻る。

　図８は、駐車枠検出部１１３が検出した駐車枠をユーザに通知する様子を示すフローチャートである。

　ステップＳ１２１において、ＥＣＵ１０は、メモリ１２から駐車枠を取得する。そして、取得した駐車枠を強調表示した状態で、自車両１の周辺画像を示す画像を生成する。具体的には、駐車枠を色つきマーカで囲う。そして、ＥＣＵ１０は、その画像を表示装置３０に送信する。そして、表示装置３０は、その画像を表示する。その後、ステップＳ１２２に進む。

　ステップＳ１２２において、ユーザはその画像において強調表示された駐車枠のうち、１つの駐車枠を選択する。その時に、ＥＣＵ１０は、ユーザが選択した駐車枠の情報を表示装置３０から受信する。その後、ステップＳ１２３に進む。

　ステップＳ１２３において、ＥＣＵ１０は、ユーザが選択した駐車枠のみを強調表示した画像を生成し、表示装置３０に送信する。そして、表示装置３０は、ユーザが選択した駐車枠のみを強調表示した画像を表示する。その後、処理を終了する。

　以下、第１実施形態におけるＥＣＵ１０の効果について説明する。

　本実施形態におけるＥＣＵ１０は、自車両１の周辺を撮影するリアカメラ２１から取得した画像を用いて、駐車区間を構成する駐車枠を検出するＥＣＵ１０である。そして、ＥＣＵ１０は、リアカメラ２１から画像を取得する画像取得部１１０を備えている。また、ＥＣＵ１０は、画像取得部１１０が取得した画像から直線を検出する直線検出部１１１を備えている。また、ＥＣＵ１０は、直線検出部１１１が検出した複数の直線から選択された２つの直線によって構成される直線の組が所定の条件を満たす場合、当該直線の組を駐車枠候補として検出する駐車枠候補検出部１１２を備えている。また、ＥＣＵ１０は、駐車枠候補を構成する直線と自車両１の走行経路７０１とのなす角の直交度が所定の範囲内となる駐車枠候補を、駐車枠として検出する駐車枠検出部１１３を備えている。

　このため、自車両１の走行経路７０１に対して直交する可能性が低い、道路の矢印４０や横断歩道５０などを駐車枠として誤検出してしまうことが低減される。一方、自車両１の走行経路７０１に対して直交する可能性が高い駐車区間を構成する駐車枠をより正確に検出することが出来る。

　（第２実施形態）
　第１実施形態において、駐車枠検出部１１３は、自車両１の走行経路と駐車枠候補とのなす角の直交度が所定の範囲内に属しているかどうかに基づいて、駐車枠を検出していた。

　第２実施形態における駐車枠検出部１１３は、自車両１の走行経路に対しての直交度が所定の範囲内に属する駐車枠候補でも、自車両１の過去または現在の走路上に位置している駐車枠候補は、駐車枠として検出することを禁止する。

　なお、本実施形態におけるＥＣＵ１０の構成は、第１実施形態と同様であるので説明を省略する。

　図９は、あるタイミング時刻Ｔにおいて、本実施形態における画像取得部１１０が生成した鳥瞰画像を示している。

　第１実施形態と異なる点は、横断歩道５０の長手方向に直線５０１と直線５０２とが存在している所である。そして、直線５０１と５０２との幅は、２．５ｍである。

　この状況において、本実施形態におけるＥＣＵ１０は、以下の処理を行う。

　まず、直線検出部１１１は、直線５０１と直線５０２とを検出する。そして、駐車枠候補検出部１１２は、直線５０１と直線５０２とによって構成される直線の組を、駐車枠候補として検出する。

　次に駐車枠検出部１１３は、直線５０１と直線５０２との直線の組により構成される駐車枠候補と自車両１の走行経路７０１とのなす角の直交度が、所定の範囲に属するかどうかを判定する。

　具体的に、駐車枠検出部１１３は、直線５０１と自車両１の走行経路７０１とのなす角の直交度が４５°～１３５°に属しているかどうかを判定する。すると、なす角は９０°であるため、所定の範囲内に属している。そのため、この時点において駐車枠検出部１１３は、直線５０１と直線５０２とによって構成される駐車枠候補を駐車枠として検出してしまう可能性がある。

　本実施形態の駐車枠検出部１１３は、更に直線５０１が自車両１の過去または現在の走路上に位置しているかどうかを検出する。すなわち、駐車枠検出部１１３は、直線５０１が走路７０、走路７１または走路７２に位置しているかどうかを判定する。そして、直線５０１がいずれかの走路に位置している場合、駐車枠検出部１１３は、直線５０１と直線５０２とによって構成される駐車枠候補を、駐車枠として検出することを禁止する。今回の場合、直線５０１は、走路７２上に位置している。そのため、駐車枠検出部１１３は、直線５０１と直線５０２とによって構成される駐車枠候補を駐車枠として検出することを禁止する。

　このように、本実施形態における駐車枠検出部１１３は、自車両１の走路上に位置している駐車枠候補を駐車枠として検出することを禁止する。

　横断歩道５０のように、自車両１の走路上には、自車両１の走行経路と略直交する駐車枠候補が出現することがある。しかし、駐車区間を構成する駐車枠が、自車両１の走路上に出現することは、実際にはほとんどありえない。

　本実施形態のＥＣＵ１０は、仮に自車両１の走路上に、自車両１の走行経路と直交する駐車枠候補が検出されたとしても、そのような駐車枠候補を駐車枠として誤検出してしまうことを防ぐことが出来る。

　以下、第２実施形態におけるＥＣＵ１０の効果について説明する。

　駐車枠検出部１１３は、駐車枠候補のうち、走行経路に対して所定の幅を持つ走路上に位置する駐車枠候補を駐車枠として検出することを禁止すること。

　駐車区間が自車両１の走路上に出現することはほとんどない。仮に自車両１の走行経路とのなす角がする駐車枠候補が自車両１の走路上に検出されても、本実施形態のＥＣＵ１０は上記特徴的な構成により、その駐車枠候補を駐車枠として誤検出してしまうことを防ぐことが出来る。

　（第３実施形態）
　第３実施形態におけるＥＣＵ１０は、あるタイミングにおいて駐車枠を検出する際に、あるタイミングより過去のタイミングに検出した駐車枠を参照する。そして、現在画像上に存在する駐車枠候補とメモリ１２から取得した過去に検出された駐車枠とが対応している場合、その駐車枠候補を駐車枠として検出する。

　現在の駐車枠候補とメモリ１２から取得した駐車枠とが対応しているかどうかは、以下のような処理を行うことで検出される。

　まず、駐車枠検出部１１３は、メモリ１２から駐車枠と、過去に検出された際の画像上の位置座標を取得する。そして、現在のタイミングと駐車枠が検出された過去のタイミングと間に、自車両１が走行した走行経路を検出する。そして、駐車枠検出部１１３は、メモリ１２から取得した駐車枠の過去の位置座標と上記走行経路とに基づいて、現在の画像上において駐車枠が存在するはずの位置座標を特定することが出来る。

　そして、特定された位置座標に駐車枠候補が存在する場合、駐車枠検出部１１３は、その駐車枠候補を駐車枠として検出する。

　具体的な例を、図１０、図１１、図１２を用いて説明を行う。

　図１０の破線が示す自車両１は、時刻Ｔ－１における自車両１を示している。そして、実線の自車両１は、時刻Ｔにおける自車両１を示している。自車両１は、時刻Ｔ－１から時刻Ｔの間に、走行経路７０１のように進行する。

　図１１は、時刻Ｔ－１における画像取得部１１０が生成する鳥瞰画像を示している。そして、図１２は、時刻Ｔにおける画像取得部１１０が生成する鳥瞰画像を示している。

　まず、図１１に示すように時刻Ｔ－１において、駐車枠検出部１１３は、直線６１ａと直線６１ｂとの組を駐車枠として検出する。そして、その駐車枠はメモリ１２に記憶される。

　次に、図１２に示すように時刻Ｔにおいて、駐車枠候補検出部１１２は、直線６１ａと直線６１ｂとの組を駐車枠候補として検出する。そして、駐車枠検出部１１３は、その駐車枠候補が駐車枠かどうかを判定する。すると、その駐車枠候補と自車両１の現在の走行経路７０１との直交度が所定の範囲に属していないので、駐車枠検出部１１３は、その駐車枠候補を駐車枠として検出しない。

　本実施形態の駐車枠検出部１１３は、更に以下の処理を行う。まず、駐車枠検出部１１３は、メモリ１２に記憶されている駐車枠を検出する。つまり、駐車枠検出部１１３は、直線６１ａと直線６１ｂとの組を検出する。次に、駐車枠検出部１１３は、直線６１ａと直線６１ｂとの組が駐車枠として検出された時刻Ｔ－１から、現在の時刻Ｔまでの走行経路を検出する。つまり、今回の場合、走行経路７０１である。そして、駐車枠検出部１１３は、過去の時刻Ｔ－１において、駐車枠が検出された位置座標と走行経路７０１とに基づいて、現在の駐車枠が存在するはずの位置座標を特定する。

　そして、駐車枠検出部１１３は、現在の時刻Ｔにおいて検出された駐車枠候補のうち、上記の方法で特定した駐車枠が存在するはずの位置座標と一致する駐車枠候補を、駐車枠として検出する。すなわち、時刻Ｔ－１において、駐車枠として検出された直線６１ａと６１ｂとの組は、時刻Ｔにおいても駐車枠として検出されることになる。

　このように、本実施形態における駐車枠検出部１１３は、過去に一旦駐車枠として検出された駐車枠候補については、その駐車枠候補と現在の走行経路との直交度が所定の範囲を満たさなくても、駐車枠として検出することが出来る。

　以下に第３実施形態におけるＥＣＵ１０の効果について説明する。

　走行経路は、駐車枠検出部１１３が駐車枠の検知を前回行ったタイミングから現在迄に、自車両が進んだ走行経路であって、ＥＣＵ１０は駐車枠検出部１１３が過去に検出した駐車枠を記憶するメモリ１２を備えている。駐車枠検出部１１３は、直交度が所定の範囲内となる駐車枠候補に加え、メモリ１２が記憶している駐車枠と対応する駐車枠候補を駐車枠として検出する。

　自車両１の進行方向が変化すると、自車両１の走行経路は変化する。そのため、あるタイミングにおいて、駐車枠として検出された駐車枠候補が、次のタイミングでは、自車両１の走行経路対するなす角の直交度が所定の範囲内に属さず、駐車枠として検出されない可能性がある。本実施形態におけるＥＣＵ１０は、一旦駐車枠として検出された駐車枠候補は、その後走行経路に対するなす角の直交度が所定の範囲内に属さなくなっても、駐車枠として検出することが出来る。

　（第４実施形態）
　上記実施形態においては、直線の組が所定の幅を満たし、かつ平行の程度が所定の範囲内に属する直線の組が、駐車枠候補として検出される。そして、駐車枠候補のうち、少なくとも一方の直線と走路との直交度が所定の範囲内に属しているものを全て同じ駐車枠として扱った。

　本実施形態では、検出された駐車枠の内、より駐車枠の可能性が高いかどうかを判定するために、検出された駐車枠には駐車枠らしさの確率が設定される。

　具体的には、図１３～図１５に示すように、各パラメータに対して確率が設定される。

　まず、図１３は、上記直線の組の直線同士の幅と駐車枠らしさの確率との関係を示している。直線同士の幅が、１．８ｍから３．０ｍの範囲内の場合、駐車枠らしさの確率は１と設定される。そして、１．５ｍ以下及び３．５ｍ以上は、駐車枠らしさの確率が０と設定される。そして、枠幅をｘ１、駐車枠らしさの確率をＡとした時、１．５ｍ～１．８ｍの範囲内での確率Ａは、所定の式、例えばＡ＝（１／０．３）×（ｘ１－１．５）により求められる。そして、３．０ｍから３．５ｍの範囲での確率Ａは、所定の式、例えばＡ＝２×（ｘ１－３．０）により求められる。

　図１４は、直線の組の直線同士の平行の程度と駐車枠らしさの確率との関係を示している。平行の程度をｘ２、駐車枠らしさの確率をＢとした時、平行の程度０°から４５°の範囲における確率Ｂは、所定の式、例えばＢ＝（１／４５）×（４５－ｘ２）により求められる。そして、平行の程度４５°から１３５°の範囲においては、駐車枠らしさの確率Ｂは０となる。そして、平行の程度１３５°から１８０°の範囲における駐車枠らしさの確率Ｂは、所定の式、例えばＢ＝（１／４５）×（ｘ２－１３５）により求められる。

　図１５は、直線の組の少なくとも一方の直線と自車両１の走行経路７０１との直交度と、駐車枠らしさの確率との関係を示している。直交度をｘ３とし、駐車枠らしさの確率をＣとすると、直交度０°から４５°の範囲内において、駐車枠らしさの確率Ｃ＝０となる。そして、直交度４５°から９０°の範囲内において、駐車枠らしさの確率Ｃは、所定の式、例えばＣ＝（１／４５）×（ｘ３―４５）により求められる。直交度９０°から１３５°の範囲内において、駐車枠らしさの確率Ｃは、所定の式、例えばＣ＝（１／４５）×（１３５－ｘ３）により求められる。

　そして、確率Ａ、Ｂ及びＣは、以下の計算式に基づいて統合され、最終的な駐車枠らしさの統合確率Ｅが検出される。

　２つの確率を統合する、確率統合演算式を以下に示す。まず、上記確率ＡとＢとの統合確率をＤとした場合、統合確率をＤは、所定の式、例えばＤ＝（Ａ×Ｂ）／（Ａ×Ｂ＋（１－Ａ）×（１－Ｂ））により求められる。そして、上記確率統合演算式を、統合確率Ｄと直交度の確率Ｃとにも同様に適用し、ＤとＣとの統合確率をＥとすると、総合確率Ｅは、所定の式、例えばＥ＝（Ｄ×Ｃ）／（Ｄ×Ｃ＋（１－Ｄ）×（１－Ｃ））により求められる。この統合確率Ｅが、ＡとＢとＣとの統合確率である。

　上記確率統合演算式を用いることで、駐車枠検出部１１３は、駐車枠候補同士のうち、どちらがより駐車枠らしいかどうかを判断できると共に、計算された駐車枠らしさの確率を用いて、駐車枠らしさの確率が閾値を超えたかどうかを判定することが出来る。例えば、駐車枠検出部１１３は、駐車枠らしさが５０％以上であるもののうち、より駐車枠らしい駐車枠候補を検出することが出来る。

　仮に、単純な確率の掛け合わせにした場合は、駐車枠検出部１１３は、駐車枠らしさの確率を掛け合わせるほど、最終的な駐車枠らしさの確率は減少してしまう。すなわち、駐車枠候補同士のうち、どちらがより駐車枠らしいかどうかのみしか判断できない。

　具体的な例を示す。直線同士の枠幅が２．３ｍ、平行の程度０°であり、直線の組の直線と走路との直交度が９０°となる直線の組のそれぞれの確率は、Ａ＝１、Ｂ＝１、Ｃ＝１となる。そのため、統合確率Ｅ＝１となる。

　そして、直線同士の枠幅が１．６ｍ、平行の程度３０°であり、直線の組の直線と走路との直交度が７０°の場合、直線の組のそれぞれの確率は、Ａ＝１／３、Ｂ＝３／７、Ｃ＝５／９となり、統合確率Ｅ＝１５／４７となる。そして、検出された駐車枠の中でも、統合確率Ｅが高い方がより、駐車枠の可能性がある。

　以下に第４実施形態におけるＥＣＵ１０の効果について説明する。

　所定の条件は、直線同士の幅の長さが所定の範囲内に属することと、直線同士のなす角の平行の程度が所定の範囲内に属することである。そして、駐車枠検出部１１３は、幅の長さに基づいて設定される駐車枠らしさの確率と、平行の程度に基づいて設定される駐車枠らしさの確率と、直交度に基づいて設定される駐車枠らしさの確率とを統合した確率に基づき、駐車枠を検出する。

　このように、本実施形態のＥＣＵ１０は、検出する駐車枠に対して、駐車枠の可能性を示す確率を設定する。このため、本実施形態におけるＥＣＵ１０は、駐車区間を構成する駐車枠である可能性がより高い駐車枠を検出することが出来る。

　（他の実施形態）
　以上、開示の好ましい実施形態について説明したが、開示は上述した実施形態に何ら制限されることなく、以下に例示するように種々変形して実施することが可能である。各実施形態で具体的に組合せが可能であることを明示している部分同士の組合せばかりではなく、特に組合せに支障が生じなければ、明示してなくとも実施形態同士を部分的に組み合せることも可能である。

　上記第１実施形態において、駐車枠候補との直交度の判定が行われるのは、現在の走行経路だけであるが、過去の走行経路との比較も行うようにしてもよい。具体的には、第１実施形態において、時刻Ｔに画像取得部１１０が取得した画像における駐車枠候補と走行経路７１１とのなす角の直交度が所定の範囲に属しているかどうかを判定するようにしてもよい。更に、時刻Ｔに画像取得部１１０が取得した画像における駐車枠候補と走行経路７２１とのなす角の直交度が所定の範囲に属しているかどうかを判定するようにしてもよい。

　また、上記第３実施形態において、直進する走行経路、および舵角を変化させる走行経路の両経路において、ＥＣＵ１０は、走行経路と駐車枠候補との直交度に基づいて駐車枠の検知を行っていた。本開示はこれに限るものではなく、自車両１が直進している際の走行経路と駐車枠候補との直交度に基づいて駐車枠を検知されるようにし、自車両１が直進していない場合の走行経路に基づいて駐車枠の検知を行なわれないようにしてもよい。駐車枠を探す必要がある状況は、自車両１が直進している場合がほとんどである。一方、自車両１のステアリングの舵角が切られている状態で、駐車枠を探す必要がある状況はほとんどない。そのため、自車両１のステアリングの舵角が切られた状態における走行経路に対して、直交度が所定の範囲を満たす駐車枠候補の直線は、駐車区間を形成する駐車枠ではない可能性が高い。そのため、上記の構成にすると、自車両１のステアリング舵角が切られている際に、ＥＣＵ１０が駐車枠を誤検出してしまうことを防ぐことが出来る。

　上記実施形態において、駐車枠候補が検出される際の所定の条件として、直線同士の平行の程度及び直線同士の幅を用いたが、これに限るものではない。

　例えば、直線同士の平行の程度または直線同士の幅のうち、どちらか一方のみを採用して、駐車枠候補が検出されるようにしてもよい。

　例えば、２本の直線の内、片方の直線の付近に、別の直線が存在しているかどうかを検出するようにしてもよい。

　また、２本の直線同士の線の一致度を比較するようにしてもよい。具体的に直線同士の一致度に関するパラメータとして、色、輝度、長さ、太さ、形状、コントラストなどである。上記パラメータを少なくとも１つ採用するようにしてもよい。更に言うと、各パラメータに対しても、上記第４実施形態で示したような駐車枠らしさを設定し、直線同士の幅、平行度及び直交度の駐車枠らしさに加えて、各パラメータの駐車枠らしさに基づいて、最終的な駐車枠らしさを計算するようにしてもよい。

　つまり、上記所定の条件は、直線同士の輝度が一致する、コントラストが一致する、長さが一致する、太さが一致する、色が一致する、及び直線同士の幅の長さが所定の範囲内に属する直線の組が連続して出現することを、少なくとも１つ満たすことである。

　駐車枠検出部は、輝度の一致度に基づいて設定される駐車枠らしさの確率、コントラストの一致度に基づいて設定される駐車枠らしさの確率、長さの一致度に基づいて設定される駐車枠らしさの確率、太さの一致度に基づいて設定される駐車枠らしさの確率、色の一致度に基づいて設定される駐車枠らしさの確率、及び直線同士の幅の長さが所定の範囲内に属する直線の組が連続している度合に基づいて設定される駐車枠らしさの確率のうち、少なくとも１つの駐車枠らしさの確率を統合した確率に基づき、駐車枠を検出してもよい。

　また、直線同士の幅や色が同じような、直線の組が複数個、所定方向に連続して出現しているかどうかを考慮して、駐車枠を検出するようにしてもよい。更に言うと、直線同士の幅や色が同じものが連続しているかどうかについて、駐車枠らしさを設定し、最終的な駐車枠らしさの計算に用いるようにしてもよい。

　また、駐車枠検出部１１３は、上記直線同士の幅や平行度などに基づき、駐車枠候補が横断歩道かどうかを判定する処理を行い、横断歩道と判定された駐車枠候補は、駐車枠として検出しないようにしてもよい。

　あるいは、駐車枠検出部１１３は、上記直線同士の幅や平行度などに基づき、駐車枠候補が文字かどうかを判定する処理を行い、文字と判定された駐車枠候補は、駐車枠として検出しないようにしてもよい。

　また、自車両１の走行経路の検出方法は上記実施形態に限るものではない。例えば、ＧＰＳに基づいて、各タイミングにおける自車両１の位置を特定し、その差分を利用して走行経路を求めるようにしてもよい。また、各タイミング間における任意のエッジ点の座標変化量に基づいて、自車両１の走行経路を計算するようにしてもよい。

　また、上記実施形態において、直交度の所定の範囲として４５°～１３５°としたが、当然これに限るものではなく、適宜設定することが出来る。例えば、８０°～１２０°としてもよい。同様に平行の程度や幅の長さの所定の範囲についても、適宜設定することが出来る。

　なお、上記実施形態において、走行経路は移動方向とその移動量との両方を含んでいたが、移動方向だけの情報を含むようにしてもよい。

　なお、上記実施形態における駐車枠検出部１１３は、画像取得部１１０が鳥瞰画像を生成する毎に駐車枠の検出を行っていたが、画像取得部１１０が所定回数鳥瞰画像を生成した後に、駐車枠の検出を行うようにしてもよい。

　なお、上記実施形態において、駐車枠記憶部はＥＣＵ１０内に設けられるメモリ１２としたが、ＥＣＵ１０とは別の装置の記憶媒体としてもよい。

　また、上記実施形態において、撮像装置はリアカメラ２１としたが、複数のカメラを自車両１に取り付けて、画像取得部１１０は複数のカメラから鳥瞰画像を生成するようにしてもよい。

　また、上記実施形態において、直線検出部１１１は画像取得部１１０が生成した鳥瞰画像に対して直線の検出を行った。これに限るものではなく、直線検出部１１１は、画像取得部１１０がリアカメラ２１から取得した画像に対して、歪処理を行った後の画像に対して直線検出を行うようにしてもよい。

　本開示に記載されるフローチャート、あるいは、フローチャートの処理は、複数の部（あるいはステップと言及される）から構成され、各部は、たとえば、Ｓ１０と表現される。さらに、各部は、複数のサブ部に分割されることができる、一方、複数の部が合わさって一つの部にすることも可能である。さらに、このように構成される各部は、サーキット、デバイス、モジュール、ミーンズとして言及されることができる。

　また、上記の複数の部の各々あるいは組合わさったものは、(i)　ハードウエアユニット（例えば、コンピュータ）と組み合わさったソフトウエアの部のみならず、(ii)　ハードウエア（例えば、集積回路、配線論理回路）の部として、関連する装置の機能を含みあるいは含まずに実現できる。さらに、ハードウエアの部は、マイクロコンピュータの内部に構成されることもできる。

　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範畴や思想範囲に入るものである。

Claims

　自車両の周辺を撮影する撮像装置から取得した画像を用いて、駐車区間を構成する駐車枠を検出する車載画像処理装置であって、
　前記撮像装置から画像を取得する画像取得部（１１０）と、
　前記画像取得部が取得した前記画像から複数の直線を検出する直線検出部（１１１）と、
　前記直線検出部が検出した複数の前記直線から選択された２つの直線によって構成される前記直線の組が所定の条件を満たす場合、当該直線の組を駐車枠候補として検出する駐車枠候補検出部（１１２）と、
　前記駐車枠候補を構成する前記直線と前記自車両の走行経路とのなす角の直交度が所定の範囲内となる前記駐車枠候補を、前記駐車枠として検出する駐車枠検出部（１１３）とを備えた車載画像処理装置。
　前記駐車枠検出部は、前記駐車枠候補のうち、前記走行経路に対して所定の幅を持つ走路上に位置する前記駐車枠候補を前記駐車枠として検出することを禁止する、請求項１に記載の車載画像処理装置。
　前記走行経路は、前記駐車枠検出部が前記駐車枠の検出を前回行ったタイミングから現在迄に、前記自車両が進んだ走行経路であって、
　前記駐車枠検出部が過去に検出した前記駐車枠を記憶する駐車枠記憶部（１２）をさらに備え、
　前記駐車枠検出部は、前記直交度が所定の範囲内となる前記駐車枠候補に加え、前記駐車枠記憶部が記憶している前記駐車枠と対応する前記駐車枠候補を、前記駐車枠として検出する、請求項１または２に記載の車載画像処理装置。
　前記所定の条件は、前記直線同士の幅の長さが所定の範囲内に属することと、前記直線同士のなす角の平行の程度が所定の範囲内に属することを満たすことであって、
　前記駐車枠検出部は、前記幅の長さに基づいて設定される駐車枠らしさの確率と、前記平行の程度に基づいて設定される駐車枠らしさの確率と、前記直交度に基づいて設定される駐車枠らしさの確率とを統合した確率に基づき、前記駐車枠を検出する、請求項１ないし３のいずれか１項に記載の車載画像処理装置。
　前記所定の条件は、更に、前記直線同士の輝度が一致する、コントラストが一致する、長さが一致する、太さが一致する、色が一致する、及び前記直線同士の幅の長さが所定の範囲内に属する直線の組が連続して出現することを、少なくとも１つ満たすことであって、
　前記駐車枠検出部は、更に、前記輝度の一致度に基づいて設定される駐車枠らしさの確率、前記コントラストの一致度に基づいて設定される駐車枠らしさの確率、前記長さの一致度に基づいて設定される駐車枠らしさの確率、前記太さの一致度に基づいて設定される駐車枠らしさの確率、前記色の一致度に基づいて設定される駐車枠らしさの確率、及び前記直線同士の幅の長さが所定の範囲内に属する直線の組が連続している度合に基づいて設定される駐車枠らしさの確率のうち、少なくとも１つの駐車枠らしさの確率を統合した確率に基づき、前記駐車枠を検出する請求項４に記載の車載画像処理装置。