JP6897258B2 - 傾斜検出装置 - Google Patents

Description

本開示は、境界線が設けられた路面の傾斜を検出する技術に関する。なお、本開示において、路面とは、公道やその他の道路のみならず、フェリーボート若しくは車両運搬船等の甲板又は駐車場など、車両が走行し得る面状の箇所の表面を全て含むものとする。また、本開示において、画像とは、カメラ等を介して取得される一般的な画像（すなわち、可視光の像）のみならず、レーザーレーダ等を介して取得される像（すなわち、可視光以外の電磁波の像）も含むものとする。

従来、路面に設けられた一対の境界線（例えば、白線）が閾値以上の平行度を有している場合、当該一対の境界線を、駐車枠を構成する境界線であると判定する技術が知られている。また、特許文献１には、前記一対の境界線が、自車両が置かれている路面に対して傾斜した路面に設けられている場合に、前記閾値を下げるという技術が提案されている。

特開２０１３−１３６６号公報

しかしながら、特許文献１における記載には、前記一対の境界線が設けられた路面が、自車両が置かれている路面に対して傾斜しているか否かを判定する技術が開示されていない。このため、特許文献１に記載の技術は、地図データ等によって前記傾斜しているか否かが予め分かっている場所では利用できても、未知の場所で前記技術を利用するためには改善の余地があった。本開示の一局面は、境界線が設けられた路面の、車両が置かれている路面に対する傾斜を検出する技術を提供することを目的としている。

本開示の一態様としての傾斜検出装置は、画像取得部（５）と、境界検出部（３Ｂ）と、移動取得部（７，３Ｈ）と、傾斜判定部（３Ｆ）と、を備える。画像取得部は、車両における特定の位置から前記車両の周辺を撮影した画像を取得するように構成されている。境界検出部は、前記画像取得部が取得した画像から、路面上に設けられた境界線の画像を検出するように構成されている。移動取得部は、前記車両の移動状態を取得するように構成されている。傾斜判定部は、前記車両が平面状の第１路面（Ｇ２）の上を移動する際、前記境界検出部により複数の時点に亘って境界線の画像が検出された路面を第２路面（Ｇ１）として、前記境界検出部が前記複数の時点でそれぞれ検出した境界線の画像と、前記複数の時点の間で前記移動取得部が取得した前記車両の移動状態とに基づき、前記第２路面が、前記第１路面に対して傾斜しているか否かを判定するように構成されている。

このような構成によれば、画像取得部は、車両における予め定められた所定位置から前記車両の周辺を撮影した画像を取得し、その画像から、境界検出部が、路面上に設けられた境界線の画像を検出する。傾斜判定部は、平面状の第１路面を前記車両が移動する際に、複数の時点に亘って境界検出部により境界線の画像が検出された路面（すなわち、第２路面）が傾斜しているか否かを判定する。この判定は、前記複数の時点でそれぞれ検出された境界線の画像と、前記複数の時点の間で取得された前記車両の移動状態とに基づいてなされる。このため、境界線が設けられた第２路面の、第１路面（すなわち、車両が置かれている路面）に対する傾斜を検出することができる。すなわち、前記傾斜の有無等により、各時点で検出された境界線の画像の変化と車両の移動状態との関係は変化する。傾斜判定手段は、そのことを利用して前記判定を行う。

なお、前記「平面状」とは、厳密な意味での平面に限るものではなく、前記と同様の効果を奏するのであれば厳密に平面でなくてもよい。例えば、第１路面に小さい凹凸や湾曲があっても、第２路面が第１路面に対して傾斜しているか否かの判断に影響を及ぼさない程度であれば、第１路面は実質的に平面状であるとみなすことができる。また、前記平面は傾斜した面であってもよい。また、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

第１実施形態の駐車枠検知システムの構成を表すブロック図である。 その駐車枠検知システムにおけるカメラの撮影区域を表す説明図である。 その駐車枠検知システムによる処理のフローチャートである。 路面と駐車区画とが同一平面状にある状態を表す模式図である。 その場合に見える白線の鳥瞰画像上の状態を表す説明図である。 路面に対して駐車区画が上方に傾斜している状態を表す模式図である。 その場合に見える白線の鳥瞰画像上の状態を表す説明図である。 路面に対して駐車区画が下方に傾斜している状態を表す模式図である。 その場合に見える白線の鳥瞰画像上の状態を表す説明図である。 図４の路面を車両が走行する際の実空間上の状態を表す平面図である。 その路面を車両が走行する際の鳥瞰画像上の状態を表す説明図である。 その鳥瞰画像上の状態の続きを表す説明図である。 その鳥瞰画像上の状態の更に続きを表す説明図である。 図６の路面を車両が走行する際の実空間上の状態を表す平面図である。 その実空間上の状態の続きを表す説明図である。 その実空間上の状態の更に続きを表す説明図である。 図６の路面を車両が走行する際の鳥瞰画像上の状態を表す説明図である。 その鳥瞰画像上の状態の続きを表す説明図である。 その鳥瞰画像上の状態の更に続きを表す説明図である。 図８の路面を車両が走行する際の鳥瞰画像上の状態を表す説明図である。 その鳥瞰画像上の状態の続きを表す説明図である。 その鳥瞰画像上の状態の更に続きを表す説明図である。 第２実施形態の駐車枠検知システムの構成を表すブロック図である。 その駐車枠検知システムによる処理のフローチャートである。 第３実施形態の駐車枠検知システムによる処理のフローチャートである。 第４実施形態の駐車枠検知システムによる処理のフローチャートである。

以下、図面を参照しながら、発明を実施するための形態を説明する。以下の説明において、駐車枠を構成する境界線としての駐車枠線は、駐車場の路面にペイントして設けられた白線によって構成されるものとするが、駐車枠線が黄線などの他色の線によって構成される場合や、複数の鋲の包絡線によって構成される場合であっても、以下の構成及び処理は同様に適用可能である。

［１．第１実施形態］
［１−１．構成］
傾斜検出装置の一例としての駐車枠検知システム１は、例えば図２に示す車両Ｃに搭載され、図１に示すように、画像処理部３を中心に構成されている。駐車枠検知システム１は、更に、撮影信号入力部５、車両信号入力部７、及び、メモリ９を備えている。

撮影信号入力部５は、車両に設けられた４台のカメラ１１Ｆ〜１１Ｌから撮影信号（すなわち、撮影した画像に応じた信号）を入力され、適宜の変換を施して画像処理部３へ送る。カメラ１１Ｆは、車両Ｃの前部（例えば、ボンネットの前部中央）に設けられ、図２に示す区域ＡＦ（すなわち、車幅範囲前方）における像を撮影する。カメラ１１Ｂは、車両Ｃの後部（例えば、ナンバープレートの上部中央）に設けられ、図２に示す区域ＡＢ（すなわち、車幅範囲後方）における像を撮影する。カメラ１１Ｒは、車両Ｃの右部（例えば、右側のサイドミラー下部）に設けられ、図２に示す区域ＡＲ（すなわち、車幅よりも右方向外側）における像を撮影する。カメラ１１Ｌは、車両Ｃの左部（例えば、左側のサイドミラー下部）に設けられ、図２に示す区域ＡＬ（すなわち、車幅よりも左方向外側）における像を撮影する。

なお、区域ＡＦ〜ＡＬは、一部が重複していてもよい。また、図２に示すような鳥瞰画像を作成するためには、カメラ１１Ｆ〜１１Ｌは斜め上方から路面を撮影した方が後の処理が容易になる場合があるが、これに限るものではない。カメラ１１Ｆ〜１１Ｌのいずれか又は全ては、車両Ｃの周辺を水平方向に撮影してもよく、鉛直方向に撮影してもよい。

図１に戻って、車両信号入力部７は、車両Ｃの車輪の回転速度を検出する車輪速センサ１３と、車両Ｃの操舵角を検出する操舵角センサ１５とに、図示省略した車内ＬＡＮ等介して接続されている。車両信号入力部７は、車輪速センサ１３から車輪の回転速度に応じた信号を入力される。また、車両信号入力部７は、操舵角センサ１５から操舵角に応じた信号を入力される。車両信号入力部７は、これらの信号に適宜の変換を施して画像処理部３へ送る。メモリ９は、前記撮影信号に応じた撮影画像等が一時的に記憶されるフレームバッファ等として機能する。

画像処理部３は、ＣＰＵと、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、半導体メモリ）と、を有する周知のマイクロコンピュータを中心に構成される。画像処理部３の各種機能は、ＣＰＵが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、半導体メモリが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、画像処理部３を構成するマイクロコンピュータの数は１つでも複数でもよい。

画像処理部３は、ＣＰＵがプログラムを実行することで実現される機能の構成として、鳥瞰変換部３Ａと、白線検出部３Ｂと、白線位置補正部３Ｃと、台形推定部３Ｄと、駐車枠候補判定部３Ｅと、傾斜判定部３Ｆと、進行方向判定部３Ｈと、出力部３Ｉと、を備える。画像処理部３を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。

鳥瞰変換部３Ａは、カメラ１１Ｆ〜１１Ｌから撮影信号入力部５を介して入力された撮影信号に基づき、各撮影信号に応じた画像を合成して、車両Ｃ及びその周辺を車両Ｃの真上から見た鳥瞰画像に変換する。例えば、鳥瞰変換部３Ａは、車両Ｃが置かれている路面を延長した平面上に各撮影信号に応じた画像を投影して、各カメラ１１Ｆ〜１１Ｌに応じた４つの前記投影後の画像を合成するものであってもよい。また、鳥瞰変換部３Ａは、その他の方法で前記鳥瞰画像への変換を行ってもよい。

白線検出部３Ｂは、鳥瞰画像におけるコントラストを参照して、白線の画像を検出する。例えば、白線検出部３Ｂは、鳥瞰画像において周囲よりも明るい部分が線状に配置されている場合に、その部分を白線とみなし、白線の画像を検出してもよい。また、白線検出部３Ｂは、その他の方法で白線の画像を検出してもよい。なお、白線検出部３Ｂは、鳥瞰画像に変換される前の各撮影信号に応じた画像のそれぞれから、白線の画像を検出してもよい。

白線位置補正部３Ｃは、車両信号入力部７を介して入力された車輪の速度及び操舵角の情報（すなわち、車両Ｃの移動状態）に基づき、白線の位置を補正する。例えば、白線位置補正部３Ｃは、前回白線が検出されて以降の車両Ｃの移動状態に応じて、その時点で白線が検出されるべき位置を推定してもよい。

台形推定部３Ｄは、白線検出部３Ｂによって検出された白線が台形になっていないか否かを推定する。言い換えれば、白線検出部３Ｂによって検出された白線の幅方向両縁が平行か否かを推定する。すなわち、白線がペイントされている路面が、車両Ｃが置かれている路面に対して傾斜していると、鳥瞰画像に変換された後の白線の幅方向両縁が非平行になる場合がある。台形推定部３Ｄは、そのような状況が発生しているか否かを推定する。

駐車枠候補判定部３Ｅは、白線検出部３Ｂによって検出された白線を駐車枠線候補として判定する。なお、駐車枠候補判定部３Ｅは、白線検出部３Ｂによって検出された白線のうちに、明らかに駐車枠線ではないと判定可能なものが存在する場合は、その白線を駐車枠線候補から除外する処理を実行してもよい。

傾斜判定部３Ｆは、車両Ｃが移動する際の白線の変化（例えば、鳥瞰画像上の位置又は向きの変化）に基づいて、車両Ｃが置かれている路面に対して白線がペイントされた路面が傾斜しているか否かを判定する。なお、傾斜判定部３Ｆは、判定中に車両Ｃが平面状の路面の上を移動しているものとみなして前記判定を実行する。

進行方向判定部３Ｈは、車両Ｃが前進しているのか後退しているのかといった進行方向を、車内ＬＡＮ等を介して取得した情報に基づいて判定する。例えば、進行方向判定部３Ｈは、シフトレバーの状態の情報を取得して進行方向を判定してもよく、カメラ１１Ｆ，１１Ｒから送られる画像を解析して進行方向を判定してもよく、その他の方法で進行方向を判定してもよい。また、車輪速センサ１３が車輪の回転方向も含めた速度（すなわち、±のある速度）を取得可能な場合、この進行方向判定部３Ｈは省略されてもよい。

出力部３Ｉは、傾斜判定部３Ｆの判定結果をソナーＥＣＵ１７に出力し、駐車枠候補判定部３Ｅ及び傾斜判定部３Ｆの判定結果を駐車制御ＥＣＵ１９に出力する。ソナーＥＣＵ１７は、ソナーを用いて車両Ｃの周辺の障害物を検出する周知のＥＣＵである。この種のＥＣＵは、車両Ｃが置かれている路面に対して上方に傾斜した斜面を障害物として誤検出する可能性があるが、傾斜判定部３Ｆの判定結果が入力されることによってそのような誤検出を抑制することができる。駐車制御ＥＣＵ１９は、車両Ｃの加減速及び操舵を自動で行って車両Ｃを駐車枠の内側へ誘導する自動駐車制御を実行してもよく、アシスト等の駐車支援制御を実行してもよい。駐車制御ＥＣＵ１９は、駐車枠候補判定部３Ｅ及び傾斜判定部３Ｆ判定結果を参照することにより、それらの制御を実行することができる。

なお、アシスト等の運転支援制御とは、操舵のみを実行する制御であってもよく、運転者によって操作された操舵角等が適切であるか否かを表示等によって指示する制御であってもよく、その他の運転支援制御であってもよい。

［１−２．処理］
次に、画像処理部３が実行する処理について、図３のフローチャートを用いて説明する。画像処理部３は、車両信号入力部７から入力される信号に応じた車両Ｃの進行速度が２０Ｋｍ／ｈ以下であるなど、車両Ｃが駐車場に入ったとみなせる条件が成立したときにこの処理を開始する。なお、車両Ｃが駐車場に入ったとみなせる条件は、これに限るものではない。例えば、ドライバが所定のスイッチ操作を行ったときに駐車場に入ったとみなしてもよく、カーナビゲーション装置等から入力される情報に基づいて駐車場に入ったか否かの判定がなされてもよい。

この処理では、画像処理部３は、先ず、白線検出部３Ｂとしての処理であるＳ１を実行し、鳥瞰画像又は各カメラ１１Ｆ〜１１Ｌの撮影画像におけるコントラスト等を参照することによって路面上の白線を検出する。続いて、画像処理部３は、白線位置補正部３Ｃとしての処理であるＳ２を実行し、既に駐車枠線として検出されている白線と斜面上の白線とのそれぞれの位置を、車両Ｃの移動量（すなわち、進行速度及び操舵角）に基づいて補正する。

なお、この補正は、車両Ｃが置かれている路面に対して同一平面上にある路面（以下、平坦面）にペイントされた白線に対しても、車両Ｃが置かれている路面に対して傾斜した路面（以下、斜面）にペイントされた白線に対しても、それぞれ実行される。また、このＳ２における処理では、必要に応じて、進行方向判定部３Ｈの判定結果も利用される。

続いて、画像処理部３は、台形推定部３Ｄとしての処理であるＳ３を実行し、Ｓ１にて検出された白線のうち、１本の白線の幅方向両縁が平行か否かを判定する。この処理は、処理対象の白線（すなわち、前記１本の白線）が斜面上の白線である可能性の有無を、次のように判定する処理である。

すなわち、図４に示すように、駐車枠線を示す白線Ｌがペイントされた駐車区画Ｇ１が、車両Ｃが置かれている路面Ｇ２と同一平面上に存在する場合、白線Ｌは、図５に示すような長方形状に、鳥瞰変換部３Ａによって投影される。なお、前記長方形状に構成された白線Ｌの短手方向が幅方向である。よって、白線Ｌの幅方向両縁、すなわち、図５の例で、ドライバから見て右側の縁ＬＲと左側の縁ＬＬとは、平行になる。

これに対し、図６に示すように、路面Ｇ２に対して駐車区画Ｇ１が上方に傾斜している場合、白線Ｌは、図７に示すような台形状に、鳥瞰変換部３Ａによって投影される。すなわち、白線Ｌが路面Ｇ２と同一平面上に投影されたとき、車両Ｃから離れるに従って白線Ｌの両縁ＬＲ，ＬＬの間隔が広くなる。逆に、図８に示すように、路面Ｇ２に対して駐車区画Ｇ１が下方に傾斜している場合、白線Ｌは、図９に示すような台形状に、鳥瞰変換部３Ａによって投影される。すなわち、白線Ｌが路面Ｇ２と同一平面上に投影されたとき、車両Ｃから離れるに従って白線Ｌの両縁ＬＲ，ＬＬの間隔が狭くなる。なお、図５，図７，図９では、白線Ｌの幅及び両縁ＬＲ，ＬＬの傾斜を、説明の便宜上誇張して描いている。

図３に戻って、両縁が平行な場合は、画像処理部３はＳ３にてＹＥＳと判定して、Ｓ４の処理を実行する。Ｓ４では、画像処理部３は、処理対象の白線が、既に駐車枠線候補として登録されている白線であるか否かを判定する。登録されている白線ではない（すなわち、ＮＯ）とＳ４にて画像処理部３が判定した場合は、画像処理部３は、駐車枠候補判定部３Ｅとしての処理であるＳ５を実行し、処理対象の白線を駐車枠線候補とした後、Ｓ６の処理を実行する。なお、Ｓ５では、画像処理部３は、処理対象の白線を無条件に駐車枠線候補としてもよいが、これに限るものではない。例えば、処理対象の白線が、明らかに駐車枠線ではないと判定可能な白線である場合は、画像処理部３は、当該白線を駐車枠線候補から除外する処理を実行してもよい。

一方、処理対象の白線が既に駐車枠線候補として登録されている白線である（すなわち、ＹＥＳ）とＳ４にて画像処理部３が判定した場合は、画像処理部３の処理はそのままＳ６へ移行する。Ｓ６では、画像処理部３は、Ｓ１にて検出された全ての白線に対して、Ｓ３から当該Ｓ６に至る処理が終了したか否かを判定する。

全ての白線に対してＳ３からＳ６に至る処理が終了していない（すなわち、ＮＯ）とＳ６にて画像処理部３が判定した場合は、画像処理部３は処理を前述のＳ３に戻し、他の１本の白線に対して前述の処理を実行する。

また、前述のＳ３にて、処理対象である１本の白線の幅方向両縁が平行でない（すなわち、ＮＯ）と画像処理部３が判定した場合は、画像処理部３は、Ｓ１１の処理を実行する。Ｓ１１では、画像処理部３は、前述のＳ４と同様に、処理対象の白線が既に駐車枠線候補として登録されている白線であるか否かを判定する。処理対象の白線が既に駐車枠線候補として登録された白線である（すなわち、ＹＥＳ）とＳ１１にて画像処理部３が判定した場合は、画像処理部３の処理は前述のＳ６へ移行する。

一方、既に駐車枠線候補として登録された白線ではない（すなわち、ＮＯ）とＳ１１にて画像処理部３が判定した場合は、画像処理部３は、Ｓ１２の処理を実行し、当該白線が既に検出された白線であるか否かを判定する。処理の開始時には、白線は検出されていないので、画像処理部３はＳ１２にてＮＯと判定してＳ１３の処理を実行する。Ｓ１３では、画像処理部３は、当該白線を斜面上の白線として登録して、前述のＳ６へ処理を移行させる。

既に検出されてＳ１３にて登録された白線である（すなわち、ＹＥＳ）とＳ１２にて画像処理部３が判定した場合、画像処理部３は、傾斜判定部３Ｆとしての処理であるＳ１４を実行する。画像処理部３は、Ｓ１４では、処理対象の白線が斜面上の駐車枠線候補であるか否かを判定する。この判定は、例えば、Ｓ１３にて既に登録されており、かつ、登録時とは白線の向き（例えば、東西南北に対する向き）が変化しているか否かによってなされてもよい。

図１０に平面図で示すように、白線Ｌ１，Ｌ２が非平行にペイントされた実空間を車両Ｃが矢印Ｆ方向に走行する際、図４に示したように駐車区画Ｇ１と路面Ｇ２とが同一平面上にあれば、鳥瞰画像は図１１，図１２，図１３に示すように順次変化する。すなわち、白線Ｌ１，Ｌ２の向きは変化せず、非平行な状態を維持する。

これに対し、図１４，図１５，図１６に平面図で順次示すように、白線Ｌ１，Ｌ２が平行にペイントされた実空間を車両Ｃが矢印Ｆ方向に走行する際、図６に示したように駐車区画Ｇ１が平面状の路面Ｇ２に対して上方に傾斜していれば、鳥瞰画像は図１７，図１８，図１９に示すように順次変化する。なお、実空間上の状態（例えば、車両Ｃの位置）が図１４に示す状態である場合の鳥瞰画像は図１７である。また、実空間上の状態が図１５に示す状態である場合の鳥瞰画像は図１８である。また、実空間上の状態が図１６に示す状態である場合の鳥瞰画像は図１８である。

このように、駐車区画Ｇ１が路面Ｇ２に対して上方に傾斜していると、車両Ｃの前方にある白線は、車両Ｃの車幅方向に離れるに従って車両Ｃの前方に延びるように傾いて鳥瞰画像上で認識される。また、車両Ｃの後方にある白線は車両Ｃの車幅方向に離れるに従って車両Ｃの後方に延びるように傾いて鳥瞰画像上で認識される。

図１４，図１５，図１６に平面図で順次示すように、白線Ｌ１，Ｌ２が平行にペイントされた実空間を車両Ｃが矢印Ｆ方向に走行する場合であっても、図８に示したように駐車区画Ｇ１が路面Ｇ２に対して下方に傾斜していれば、鳥瞰画像は図２０，図２１，図２２に示すように順次変化する。なお、実空間上の状態が図１４に示す状態である場合の鳥瞰画像は図２０である。また、実空間上の状態が図１５に示す状態である場合の鳥瞰画像は図２１である。また、実空間上の状態が図１６に示す状態である場合の鳥瞰画像は図２２である。

このように、駐車区画Ｇ１が路面Ｇ２に対して下方に傾斜していると、車両Ｃの前方にある白線は、車両Ｃの車幅方向に離れるに従って車両Ｃの後方に延びるように傾いて鳥瞰画像上で認識される。また、車両Ｃの後方にある白線は車両Ｃの車幅方向に離れるに従って車両Ｃの前方に延びるように傾いて鳥瞰画像上で認識される。

すなわち、白線Ｌ１，Ｌ２が斜面上の駐車区画Ｇ１上の白線である場合は、車両Ｃの移動に伴って白線の向きが変化する。このような白線の向きの変化は、Ｓ２にて車両移動量に応じて白線の位置が正確に補正された後でも検出される。そこで、Ｓ１４では、画像処理部３は、そのような原理を利用して、処理対象の白線が斜面上の駐車枠線候補であるか否かを判定する。なお、Ｓ１４では、画像処理部３は、白線の向きが変化したか否かに基づいて、当該白線がペイントされた路面が斜面であるか否かのみを判定してもよい。すなわち、画像処理部３は、斜面が上方に傾斜している下方に傾斜しているかは必ずしも判定しなくてもよい。

Ｓ１４にて斜面上の駐車枠線候補ではない（すなわち、ＮＯ）と画像処理部３が判定した場合は、画像処理部３は、そのまま前述のＳ６へ処理を移行させる。一方、斜面上の駐車枠線候補である（すなわち、ＹＥＳ）とＳ１４にて画像処理部３が判定した場合は、画像処理部３は、駐車枠候補判定部３Ｅとしての処理であるＳ１５を実行し、当該白線を斜面上の駐車枠線候補に登録した後、前述のＳ６へ処理を移行させる。

このように、Ｓ３からＳ６に至る処理を画像処理部３が繰り返し実行することにより、Ｓ１にて検出された全ての白線に対してＳ３からＳ６に至る処理が終了すると、画像処理部３はＳ１６の処理を実行する。Ｓ１６では、画像処理部３は、駐車枠線候補又は斜面上の駐車枠線候補として登録されている白線に基づき、駐車枠を検出する。なお、Ｓ１６では、画像処理部３は、対となる他の駐車枠線候補が存在するか否か等の、予め設定された判定条件に基づき、当該駐車枠線候補が駐車枠線であるか否かを判定してもよい。また、Ｓ１６にて、対となる駐車枠線候補が平行であるか否かを画像処理部３が前記判定条件として採用する場合、画像処理部３は、当該駐車枠線候補が斜面に存在するか否かに応じて、平行度に関する補正又は平行度に関する閾値の修正を実行してもよい。

続く、出力部３Ｉとしての処理であるＳ１７では、画像処理部３は、Ｓ１６にて検出した駐車枠の情報をソナーＥＣＵ１７及び駐車制御ＥＣＵ１９へ出力する。これにより、ソナーＥＣＵ１７による前述のような誤検出を抑制し、かつ、駐車制御ＥＣＵ１９による自動駐車制御又は駐車支援制御を適切に実行することができる。自動駐車制御においては、例えば、駐車区画Ｇ１の傾斜を考慮したエンジン出力制御が実行できる。

続くＳ１８では、駐車枠検知システム１に対して機能オフの要求があったか否かが判定される。機能オフの要求とは、例えば、自動駐車制御又は駐車支援制御が完了したときに発せられる要求であってもよく、車両Ｃの電源がオフされたときに発せられる要求であってもよく、その他のタイミングで発せられる要求であってもよい。機能オフの要求がない場合は、画像処理部３はＳ１８にてＮＯと判定し、処理を前述のＳ１へ戻す。すると、新たに検出された白線に対して前述の処理が実行される。一方、機能オフの要求があった場合は、画像処理部３はＳ１８にてＹＥＳと判定し、当該処理を一旦終了する。

［１−３．効果］
以上詳述した第１実施形態によれば、以下の効果を奏する。
（１Ａ）前述のように、車両Ｃが置かれている路面Ｇ２に対する駐車区画Ｇ１の傾斜の有無により、各時点で検出された駐車区画Ｇ１上の白線の画像の変化と車両の移動状態との関係は変化する。すなわち、Ｓ２の処理によって白線の位置を補正しても白線の向きが変化する。本実施形態では、そのことを利用して、白線がペイントされた駐車区画Ｇ１が路面Ｇ２に対して傾斜しているか否かの判定を行う。従って、本実施形態では、駐車区画Ｇ１が路面Ｇ２に対して傾斜しているか否かの判定を良好に行うことができる。なお、前記実施形態では、駐車区画Ｇ１を平面状の路面として説明したが、駐車区画Ｇ１が湾曲や凹凸を有する面であっても、前記傾斜しているか否かの判定は同様に実行することができる。

例えば、図１２に示した鳥瞰画像と図１８に示した鳥瞰画像とは類似しているが、その鳥瞰画像における白線Ｌ１，Ｌ２が、図１３に示すように向きを変えないのか、図１９に示すように向きを変えるのかによって、前記傾斜の有無を判定することができる。

（１Ｂ）しかも、本実施形態では、駐車枠を構成する平行な一対の境界線（すなわち、白線）のうちの少なくともいずれか一方の画像を検出して、駐車区画Ｇ１の傾斜を判定している。このため、自動駐車制御又は駐車支援制御を一層良好に実行することができる。例えば、自動駐車制御における車両Ｃの進行速度を適切に制御することができる。また、図１０〜図１３に示したように、平坦面にありながら互いに平行でない白線Ｌ１，Ｌ２に対しては、駐車枠線候補から除外する処理も良好に実行可能となる。

（１Ｃ）また、本実施形態では幅方向両縁が互いに平行でないと判定された境界線（すなわち、白線）の画像に基づき、前記傾斜しているか否かの判定を行っている。このため、前記傾斜しているか否かの判定（すなわち、Ｓ１１〜Ｓ１５の処理）を、Ｓ１にて検出された白線の全てに対して画像処理部３が実行する場合に比べて、次のような効果が生じる。すなわち、前記傾斜しているか否かの判定対象となる白線を絞り込むことにより、処理負荷を軽減することができる。

（１Ｄ）また、本実施形態では、Ｓ２における処理により、画像処理部３は車両Ｃの進行速度及び操舵角に応じて斜面上の白線の位置を補正している。このため、Ｓ１４における斜面上の駐車枠線候補か否かの判定を一層正確に実行することができる。すなわち、車両Ｃが前記進行速度で真っ直ぐ前進しているとの前提で前記判定がなされてもよいが、その場合に比べて、前記判定の精度を向上させることができる。

（１Ｅ）撮影信号入力部５は、車両Ｃの左右にそれぞれ設定された所定位置（例えば、サイドミラーの下部）から、カメラ１１Ｒ，１１Ｌを介して車両Ｃの車幅よりも左右方向外側の区域ＡＲ，ＡＬを撮影した画像を取得する。このため、車両Ｃの前部に設けられたカメラ１１のみを用いて画像を取得する場合に比べて、斜面上の駐車枠線候補か否かの判定を一層正確に実行することができる。

［１−４．特許請求の範囲の要素との対応］
なお、前記第１実施形態において、撮影信号入力部５は画像取得部に対応する。また、白線検出部３Ｂは境界検出部に対応する。車両信号入力部７及び進行方向判定部３Ｈは移動取得部に対応する。台形推定部３Ｄは平行判定部に対応する。路面Ｇ２が第１路面に対応する。駐車区画Ｇ１が第２路面に対応する。

［２．第２実施形態］
［２−１．第１実施形態との相違点］
第２実施形態は、基本的な構成は第１実施形態と同様であるため、相違点について以下に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。

前述した第１実施形態では、車両Ｃが置かれている路面Ｇ２に対して、白線がペイントされた駐車区画Ｇ１が傾斜しているか否かの判定を行った。これに対し、第２実施形態では、図２３に示すように、当該傾斜の大きさ（以下、傾き）を算出する傾斜算出部３Ｇを画像処理部３が備えた点で、第１実施形態と相違する。なお、傾斜算出部３Ｇも、鳥瞰変換部３Ａ，白線検出部３Ｂ等と同様に、画像処理部３のＣＰＵがプログラムを実行することで実現される機能の構成を表している。

［２−２．処理］
次に、第２実施形態における画像処理部３が、図３に示した第１実施形態における処理に代えて実行する処理について、図２４のフローチャートを用いて説明する。なお、図２４に示す処理は、Ｓ１７の処理とＳ１４からＳ６へ至る間の処理とが図３に示した処理と異なり、他は図３に示した処理と同様であるため、説明を一部簡略化している。

図２４に示すように、この処理では、車両Ｃの移動に伴って白線の向きが変化し、Ｓ１４にて画像処理部３がＹＥＳと判定した場合、画像処理部３は処理をＳ１４Ａへ移行させる。傾斜算出部３Ｇとしての処理であるＳ１４Ａでは、車両Ｃの移動量と白線の向きの変化との関係に基づき、画像処理部３は斜面（例えば、路面Ｇ１）の傾きを計算する。

なお、Ｓ１４Ａでは、画像処理部３は、必ずしも傾きを傾斜角度として数値で計算しなくてもよい。例えば、傾きが急であるか緩いか中くらいであるかといった傾きの度合いを判定してもよく、単に上方に傾斜しているか下方に傾斜しているかを判定してもよい。続くＳ１４Ｂでは、画像処理部３は、Ｓ１４Ａにて計算した傾きに応じて鳥瞰画像上の駐車枠線候補（すなわち、白線）の向きを補正する。

続いて、画像処理部３は、駐車枠候補判定部３Ｅとしての処理であるＳ１５Ａを実行し、当該白線を駐車枠線候補に追加登録した後、前述のＳ６へ処理を移行させる。但し、このＳ１５Ａでは、画像処理部３は、第１実施形態のＳ１５のように白線を斜面上の駐車枠線候補に登録するのではなく、Ｓ５のように単に駐車枠線候補に追加登録する。但し、登録される駐車枠線候補の情報には、Ｓ１４Ａにて計算された傾きの情報が紐付けされる。

このため、Ｓ１７に代えて実行されるＳ１７Ａでは、画像処理部３は、駐車枠線の情報と斜面の傾きの情報とを、ソナーＥＣＵ１７及び駐車制御ＥＣＵ１９へ出力する。これにより、ソナーＥＣＵ１７による前述のような誤検出を一層良好に抑制し、かつ、駐車制御ＥＣＵ１９による自動駐車制御又は駐車支援制御を一層適切に実行することができる。

［２−３．効果］
以上詳述した第２実施形態によれば、前述した第１実施形態の効果（１Ａ）〜（１Ｅ）を奏し、さらに、以下の効果を奏する。

（２Ａ）本実施形態では、斜面の傾きの情報が得られるので、当該情報を種々の用途に活用することができる。例えば、前記傾きの情報を活用することにより、ソナーＥＣＵ１７による前述のような誤検出を一層良好に抑制し、かつ、駐車制御ＥＣＵ１９による自動駐車制御又は駐車支援制御を一層適切に実行することができる。特に、斜面の傾斜の度合い又は傾斜角度が計算される場合は、ソナーＥＣＵ１７による前述のような誤検出をより一層良好に抑制し、かつ、駐車制御ＥＣＵ１９による自動駐車制御又は駐車支援制御をより一層適切に実行することができる。また、Ｓ１６にて、対となる駐車枠線候補が平行であるか否かを画像処理部３が前記判定条件として採用する場合、画像処理部３は、当該駐車枠線候補が存在する路面の傾きがＳ１４Ａにて計算されているため、平行度に関する補正を一層適切に実行することができる。なお、前記実施形態では、駐車区画Ｇ１を平面状の路面として説明したが、駐車区画Ｇ１が湾曲や凹凸を有する面であっても、前記傾斜しているか否かの判定は同様に実行することができる。そして、白線の各部に対して傾斜の度合い又は傾斜角度が計算される場合、駐車区画Ｇ１の湾曲状態も取得することができる。

［３．第３実施形態］
［３−１．第１実施形態との相違点］
第３実施形態は、基本的な構成は第１実施形態と同様であるため、相違点について以下に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。第３実施形態は、ブロック図で表される構成が、台形推定部３Ｄが省略された点を除いて第１実施形態と同様である。

［３−２．処理］
次に、第３実施形態における画像処理部３が、図３に示した第１実施形態における処理に代えて実行する処理について、図２５のフローチャートを用いて説明する。図２５に示す処理は、Ｓ３，Ｓ４の処理が省略されてＳ２からＳ１１へ直接移行するように構成された点と、Ｓ５の配置が移動された点とで図３に示した処理と異なり、他は図３に示した処理と同様であるため、説明を一部簡略化している。

図２５に示すように、この処理では、処理対象の白線が斜面上にあるか否かに係る判定は、Ｓ１４のみにおいて実行されることになる。すなわち、前述のＳ３の処理が省略されても、処理対象の白線が斜面上にあるか否かの判定は可能である。また、Ｓ５による平坦面上の白線を駐車枠線候補として登録する処理は、Ｓ１４にて斜面上の駐車枠線候補ではない（すなわち、ＮＯ）と判定されたときに実行される。

［３−３．効果］
以上説明した第３実施形態によれば、前述した第１実施形態の効果（１Ａ）（１Ｂ）（１Ｄ）（１Ｅ）を奏し、更に、以下の効果を奏する。

（３Ａ）本実施形態では、Ｓ３の処理を省略している。このため、Ｓ１にて検出された白線の数が少なく、かつ、その白線の大部分が斜面にペイントされている場合は、本実施形態の方が第１実施形態よりも処理負荷が軽減される場合がある。

［４．第４実施形態］
［４−１．第２実施形態との相違点］
第４実施形態は、基本的な構成は第２実施形態と同様であるため、相違点について以下に説明する。なお、第２実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。第４実施形態は、ブロック図で表される構成が、台形推定部３Ｄが省略された点を除いて第２実施形態と同様である。

［４−２．処理］
次に、第４実施形態における画像処理部３が、図３に示した第１実施形態における処理に代えて実行する処理について、図２６のフローチャートを用いて説明する。図２６に示す処理は、Ｓ３，Ｓ４の処理が省略されてＳ２からＳ１１へ直接移行するように構成された点と、Ｓ５の配置が移動された点とで図２４に示した処理と異なり、他は図２４に示した処理と同様であるため、説明を一部簡略化している。

図２６に示すように、この処理では、処理対象の白線が斜面上にあるか否かに係る判定は、Ｓ１４のみにおいて実行されることになる。すなわち、前述のＳ３の処理が省略されても、処理対象の白線が斜面上にあるか否かの判定は可能である。また、Ｓ５による平坦面上の白線を駐車枠線候補として登録する処理は、Ｓ１４にて斜面上の駐車枠線候補ではない（すなわち、ＮＯ）と判定されたときに実行される。

［４−３．効果］
以上説明した第４実施形態によれば、前述した第２実施形態の効果（１Ａ）（１Ｂ）（１Ｄ）（１Ｅ）（２Ａ）を奏し、更に、以下の効果を奏する。

（４Ａ）本実施形態では、Ｓ３の処理を省略している。このため、Ｓ１にて検出された白線の数が少なく、かつ、その白線の大部分が斜面にペイントされている場合は、本実施形態の方が第２実施形態よりも処理負荷が軽減される場合がある。

［５．他の実施形態］
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。

（５Ａ）前記各実施形態では、駐車枠を構成する一対の境界線のうちの少なくともいずれか一方の画像を検出して前記傾斜を判定したが、これに限定されるものではない。例えば、自車両が走行中の道路と交差点において交差する道路における車線境界線等を検出して、前記交差する道路の傾斜を判定してもよい。その場合、例えば、車両のエンジン出力制御に際して、右左折時におけるエンジン出力を適切に制御することができる。また、交差点では必ずしも道路が直交していないので、傾斜の有無を判定することにより道路が交差する角度の正確な値を算出することも可能となる。

（５Ｂ）前記各実施形態では、画像処理部３は車両Ｃの進行速度及び操舵角を車両の移動状態として取得して、それに応じて前記傾斜を判定しているが、これに限定されるものではない。例えば、画像処理部３は、進行速度のみを取得して、車両が当該進行速度で真っ直ぐ前進しているとの前提で傾斜を判定してもよい。

（５Ｃ）前記各実施形態では、車両の周辺を撮影した画像を４つのカメラ１１Ｆ〜１１Ｌを用いて取得したが、これに限定されるものではない。例えば、左右のカメラ１１Ｒ，１１Ｌを介して撮影された画像のみが取得されてもよく、前部のカメラ１１Ｆ又は後部のカメラ１１Ｂのいずれか１つを介して撮影された画像のみが取得されてもよい。更に、カメラで撮影された可視光の画像の代わりに、ミリ波レーダやレーザレーダで撮影された可視光以外の電磁波による画像が取得されてもよい。

（５Ｄ）また、前記各実施形態では、鳥瞰画像に変換された画像に対して白線の向きの変化等を判定することにより、画像処理部３は前記傾斜を判定したが、これに限定されるものではない。例えば、鳥瞰画像に変換せずに、カメラ等を介して撮影された画像から計算によって直接傾斜の有無が判定されてもよい。

（５Ｅ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（５Ｆ）上述した傾斜検出装置の他、当該傾斜検出装置を構成要素とするシステム、当該傾斜検出装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、傾斜検出方法など、種々の形態で本発明を実現することもできる。

１…駐車枠検知システム ３…画像処理部 ３Ａ…鳥瞰変換部
３Ｂ…白線検出部 ３Ｃ…白線位置補正部 ３Ｄ…台形推定部
３Ｅ…駐車枠候補判定部 ３Ｆ…傾斜判定部 ３Ｇ…傾斜算出部
３Ｈ…進行方向判定部 ３Ｉ…出力部 ５…撮影信号入力部
７…車両信号入力部 ９…メモリ １１Ｆ，１１Ｒ，１１Ｌ，１１Ｂ…カメラ

Claims (6)

1. 車両における予め定められた所定位置から前記車両の周辺を撮影した画像を取得するように構成された画像取得部（５）と、
   前記画像取得部が取得した画像から、路面上に設けられた境界線の画像を検出するように構成された境界検出部（３Ｂ）と、
   前記車両の移動状態を取得するように構成された移動取得部（７，３Ｈ）と、
   前記車両が平面状の第１路面（Ｇ２）の上を移動する際、前記境界検出部により複数の時点に亘って境界線の画像が検出された路面を第２路面（Ｇ１）として、前記境界検出部が前記複数の時点でそれぞれ検出した境界線の画像と、前記複数の時点の間で前記移動取得部が取得した前記車両の移動状態とに基づき、前記第２路面が、前記第１路面に対して傾斜しているか否かを判定するように構成された傾斜判定部（３Ｆ）と、
   を備えた傾斜検出装置。
2. 請求項１に記載の傾斜検出装置であって、
   前記境界検出部は、駐車枠を構成する平行な一対の境界線のうちの少なくともいずれか一方の画像を前記境界線の画像として検出するように構成された傾斜検出装置。
3. 請求項１又は２に記載の傾斜検出装置であって、
   前記境界線に幅がある場合にその境界線の幅方向両縁が互いに平行であるか否か判定するように構成された平行判定部（３Ｄ）を、
   更に備え、
   前記傾斜判定部は、前記平行判定部によって前記幅方向両縁が互いに平行でないと判定された境界線の画像に基づき、前記傾斜しているか否かの判定を行うように構成された傾斜検出装置。
4. 請求項１〜３のいずれか１項に記載の傾斜検出装置であって、
   前記移動取得部は、進行方向及び操舵角及び進行速度を、車両の移動状態として検出するように構成された傾斜検出装置。
5. 請求項１〜４のいずれか１項に記載の傾斜検出装置であって、
   前記傾斜判定部によって傾斜していると判定された前記第２路面に対して、前記第１路面に対する傾斜の度合い又は傾斜角度を、前記境界検出部が前記複数の時点で検出した境界線の画像と前記複数の時点の間で前記移動取得部が取得した前記車両の移動状態とに基づいて算出するように構成された傾斜算出部（３Ｇ）を、
   更に備えた傾斜検出装置。
6. 請求項１〜５のいずれか１項に記載の傾斜検出装置であって、
   前記画像取得部は、少なくとも、前記車両の左右にそれぞれ設定された前記所定位置から、前記車両の車幅よりも左右方向外側を前記周辺としてそれぞれ撮影した画像を取得するように構成された傾斜検出装置。

Images