JP5327630B2 - 後方画像表示切替装置及び方法 - Google Patents
後方画像表示切替装置及び方法 Download PDFInfo
- Publication number
- JP5327630B2 JP5327630B2 JP2009215154A JP2009215154A JP5327630B2 JP 5327630 B2 JP5327630 B2 JP 5327630B2 JP 2009215154 A JP2009215154 A JP 2009215154A JP 2009215154 A JP2009215154 A JP 2009215154A JP 5327630 B2 JP5327630 B2 JP 5327630B2
- Authority
- JP
- Japan
- Prior art keywords
- parallel
- image
- condition
- vehicle
- parking frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、俯瞰画像への切り替え機能を有する駐車用バックカメラ（後方確認用のカメラ）において、駐車動作中に適切なタイミングで通常画像から俯瞰画像へ自動で切り替えを行う技術に関する。
近時、四輪車の運転を支援するために、死角を含む車外を撮影して表示部に表示し、また何らかの逸脱の可能性を探知して警報する等の技術開発がなされている。この運転支援に適用する技術として、カメラで撮影した画像の輝度分布を用いて一定の検出や判定を行う画像処理の手法がある。また、運転支援として、駐車場への駐車の支援がなされており、駐車位置を示す白線の検出や、輪止の検出がなされている。
特許文献１には、輪止の相対位置を測定することを目的として、後方を撮影した画像からエッジを抽出して、ハフ変換により直線パラメータを検出し、予め記憶された輪止イメージと比較することで（段落０００８）、輪止の位置を検出する手法が開示されている。
特許文献２には、レーザ光を路面上にラインで走査させるようにパターン光として照射し、撮影し、その路面に生成される図形（形状）を予め準備した基準となるデータと比較することで（段落００１０）、輪止の存在を判定する手法が開示されている。
特許文献３には、輪止の検出を目的として、後方を撮影した画像を俯瞰画像に変換して、俯瞰画像中の対象物の移動距離を算出し、移動距離が大きい対象物を輪止と判定することを図る手法（段落００４６）が開示されている。
特許文献２には、レーザ光を路面上にラインで走査させるようにパターン光として照射し、撮影し、その路面に生成される図形（形状）を予め準備した基準となるデータと比較することで（段落００１０）、輪止の存在を判定する手法が開示されている。
特許文献３には、輪止の検出を目的として、後方を撮影した画像を俯瞰画像に変換して、俯瞰画像中の対象物の移動距離を算出し、移動距離が大きい対象物を輪止と判定することを図る手法（段落００４６）が開示されている。
また、駐車用バックカメラは、近時、カメラの光軸を画像の中心として広角歪みを補正しまたは補正しない通常画像と、路面の法線方向を画像の中心として上部から路面を撮像したかのような俯瞰画像とを取り扱い、駐車動作の局面に応じたドライバーの操作に従ってこの通常画像と俯瞰画像とを切り替える機能を有している。
上記特許文献１では、多様な駐車場で様々な気候や日射量の変化に対応して安定して輪止を検出することができない。特に、輪止がコンクリートで作られている際には、駐車枠などの白線と異なり、路面との輝度差を得ることが難しく、良好なエッジ情報を得ることができない。
上記特許文献２では、パターン光を投影するための光源が必要であり、超音波センサを使用する従来例等と同様に、新たな機器の追加が必要となってしまう。
上記特許文献３では、俯瞰画像で画像中の対象物の同一性を判定し、その移動を捉えようとするが、そもそも２つの画像で対象物が同一であるという判定をすることが難しい。また、この手法では、時間的にずれた２画像がなければ輪止を検出できず、リアルタイムに検出することができない。
上記特許文献２では、パターン光を投影するための光源が必要であり、超音波センサを使用する従来例等と同様に、新たな機器の追加が必要となってしまう。
上記特許文献３では、俯瞰画像で画像中の対象物の同一性を判定し、その移動を捉えようとするが、そもそも２つの画像で対象物が同一であるという判定をすることが難しい。また、この手法では、時間的にずれた２画像がなければ輪止を検出できず、リアルタイムに検出することができない。
このように、上記従来例では、画像処理による輪止めの検出が困難である。また、駐車スペースには必ずしも輪止などが設置されているとは限らず、設置されている場合も輪止の形態はさまざまであり、その全てを検出することは困難である。
さて、俯瞰画像を利用すると、自車の後方から駐車枠に進行しつつ駐車する駐車動作にて、輪止めがある際には輪止めの位置と自車との位置関係を把握しやすく、輪止めが無い場合でも駐車枠の後端と自車との位置関係を把握しやすい。
しかし、駐車動作中は、ドライバーが確認し、操作する事項が多いため、通常画像から俯瞰画像への切り替え操作は煩雑となってしまう。さらに、俯瞰画像を利用した駐車動作に不慣れな際には、駐車動作中、俯瞰画像を参考とすべきタイミングをつかみづらい。
このため、俯瞰画像への切替を自動化することが望まれるが、輪止めなど駐車枠の位置等を画像処理で検出することが難しく、従って、従来例及びその組み合わせでは、俯瞰画像に切り替えるべきタイミングを検出することができない、という不都合があった。
さて、俯瞰画像を利用すると、自車の後方から駐車枠に進行しつつ駐車する駐車動作にて、輪止めがある際には輪止めの位置と自車との位置関係を把握しやすく、輪止めが無い場合でも駐車枠の後端と自車との位置関係を把握しやすい。
しかし、駐車動作中は、ドライバーが確認し、操作する事項が多いため、通常画像から俯瞰画像への切り替え操作は煩雑となってしまう。さらに、俯瞰画像を利用した駐車動作に不慣れな際には、駐車動作中、俯瞰画像を参考とすべきタイミングをつかみづらい。
このため、俯瞰画像への切替を自動化することが望まれるが、輪止めなど駐車枠の位置等を画像処理で検出することが難しく、従って、従来例及びその組み合わせでは、俯瞰画像に切り替えるべきタイミングを検出することができない、という不都合があった。
［課題１］このように、上記従来例では、駐車動作中に通常画像から俯瞰画像へ自動的に切り替えることができない、という不都合があった。
［発明の目的］本発明の目的は、輪止めの有無等にかかわらず駐車動作中の適切なタイミングで通常画像から俯瞰画像へ自動的に切り替えることにある。
［着眼点］本発明の発明者は、駐車枠の後端側（輪止め側）ではなく、入り口側での何らかの位置を検出し、その位置を基準として判定処理を開始すると良い、という点に着目した。そして、俯瞰画像に切り替えるべきタイミングの調節の仕方を工夫することで、上記課題を解決できるのではないか、との着想に至った。
［課題解決手段１］ 本発明は、自車の後方を撮像するカメラと、このカメラで撮像した後方画像を通常画像又は俯瞰画像に編集する画像編集部と、前記通常画像又は俯瞰画像をドライバーに表示する表示部と、前記通常画像に基づいて前記自車の後方の駐車枠を検出する駐車枠検出部と、前記自車が当該駐車枠に対して予め定められた範囲の平行の状態で後退進行しているか否かを判定する平行判定部と、前記平行での前記駐車枠への進入開始を判定すると共に当該進入開始位置からの進入距離を算出する進入距離算出部と、前記進入距離が予め定められた切替距離に至った際に前記通常画像を前記俯瞰画像に切り替える切替制御部とを備えている。
また、前記駐車枠検出部が、前記駐車枠を構成する路面の白線を認識すると共に当該認識した白線の自車に対する傾斜角を算出する白線認識処理を備えている。
さらに、前記平行判定部が、前記傾斜角に基づいて予め定められた第１条件にて前記平行を判定する当初判定処理と、バックギア信号の受信後最初に平行と判定した後には前記第１条件より緩い第２条件にて前記平行又は非平行を判定する継続判定処理とを備えている。
そして、前記進入距離算出部が、前記第２条件にて平行と判定されている際に前記進入距離を継続して算出する一方、前記非平行と判定された際には当該進入距離の算出をリセットする算出制御処理を備えた、という構成を採っている。
また、前記駐車枠検出部が、前記駐車枠を構成する路面の白線を認識すると共に当該認識した白線の自車に対する傾斜角を算出する白線認識処理を備えている。
さらに、前記平行判定部が、前記傾斜角に基づいて予め定められた第１条件にて前記平行を判定する当初判定処理と、バックギア信号の受信後最初に平行と判定した後には前記第１条件より緩い第２条件にて前記平行又は非平行を判定する継続判定処理とを備えている。
そして、前記進入距離算出部が、前記第２条件にて平行と判定されている際に前記進入距離を継続して算出する一方、前記非平行と判定された際には当該進入距離の算出をリセットする算出制御処理を備えた、という構成を採っている。
本発明は、本明細書の記載及び図面を考慮して各請求項記載の用語の意義を解釈し、各請求項に係る発明を認定すると、各請求項に係る発明は、上記背景技術等との関連において次の有利な効果を奏する。
［発明の作用効果１］ 課題解決手段１の後方画像表示切替装置は、平行判定部が、自車が当該駐車枠に対して予め定められた範囲の平行の状態で後退進行しているか否かを判定し、進入距離算出部が、平行での前記駐車枠への進入開始を判定すると共に当該進入開始位置からの進入距離を算出するため、平行に進入した位置を基準として、駐車枠に進入した距離情報を得ることができる。さらに、切替制御部が、進入距離が予め定められた切替距離に至った際に前記通常画像を前記俯瞰画像に切り替えるため、駐車枠に進入してから一定距離進入したタイミングで、俯瞰画像に切り替えることができる。
従って、輪止め等がなくとも、画像処理のみで適切なタイミングで俯瞰画像に切り替えることができる。
そして、当初判定処理が、前記傾斜角に基づいて予め定められた第１条件にて前記平行を判定し、継続判定処理が、バックギア信号の受信後最初に平行と判定した後には前記第１条件より緩い第２条件にて前記平行又は非平行を判定するため、平行の判定にヒステリシスを持たせることができ、これにより、撮像環境や操舵の相違に対応して走行距離の算出を安定して行い、従って、俯瞰画像への自動切り替えを安定して行うことができる。
また、俯瞰画像のドライバーへの表示は、駐車枠に明確な輪止めがないなど後端側の状態に不明な点がある際により有効であるところ、本発明は駐車枠の入り口側にて進入開始位置を特定し、そこからの進入距離で俯瞰画像への自動切り替えを制御するため、駐車枠の後端側にて画像処理や距離センサ等の対象となる明確な物体や輝度差がなくても、俯瞰画像への切り替えを自動化することができる。
従って、輪止め等がなくとも、画像処理のみで適切なタイミングで俯瞰画像に切り替えることができる。
そして、当初判定処理が、前記傾斜角に基づいて予め定められた第１条件にて前記平行を判定し、継続判定処理が、バックギア信号の受信後最初に平行と判定した後には前記第１条件より緩い第２条件にて前記平行又は非平行を判定するため、平行の判定にヒステリシスを持たせることができ、これにより、撮像環境や操舵の相違に対応して走行距離の算出を安定して行い、従って、俯瞰画像への自動切り替えを安定して行うことができる。
また、俯瞰画像のドライバーへの表示は、駐車枠に明確な輪止めがないなど後端側の状態に不明な点がある際により有効であるところ、本発明は駐車枠の入り口側にて進入開始位置を特定し、そこからの進入距離で俯瞰画像への自動切り替えを制御するため、駐車枠の後端側にて画像処理や距離センサ等の対象となる明確な物体や輝度差がなくても、俯瞰画像への切り替えを自動化することができる。
発明を実施するための最良の形態として、２つの実施例を開示する。実施例１は後方画像表示切替装置及び方法であり、実施例２はオフラインデバッグ装置である。実施例１から２までを含めて実施形態という。
実施例２のオフラインデバッグ装置は、実施例１の後方画像切替制御装置等を開発する際に有用なデバッグ装置である。
実施例２のオフラインデバッグ装置は、実施例１の後方画像切替制御装置等を開発する際に有用なデバッグ装置である。
＜1 後方画像表示切替装置＞
＜1.1 所定距離の平行進入＞
まず、本実施形態の実施例１を開示する。実施例１は、駐車動作を操作するドライバーを支援するために、俯瞰画像OIへの切り替えを自動化するものである。
後方画像表示切替装置は、その主要な要素として、図１に示す例では、カメラ１０と、画像編集部１２と、表示部１４と、駐車枠検出部１６と、平行判定部１８と、進入距離算出部２０と、切替制御部２２とを備えている。
＜1.1 所定距離の平行進入＞
まず、本実施形態の実施例１を開示する。実施例１は、駐車動作を操作するドライバーを支援するために、俯瞰画像OIへの切り替えを自動化するものである。
後方画像表示切替装置は、その主要な要素として、図１に示す例では、カメラ１０と、画像編集部１２と、表示部１４と、駐車枠検出部１６と、平行判定部１８と、進入距離算出部２０と、切替制御部２２とを備えている。
カメラ１０は、自車MTの後方を連続的に撮像し、後方画像BIを生成する。このカメラ１０は、後方画像BIの情報量を多くするために、広角レンズを有すると良い。
画像編集部１２は、カメラ１０で撮像した後方画像BIを通常画像NI又は俯瞰画像OIに編集する。通常画像NIは、カメラ１０が設置された角度にて自車MTの後方を撮像した画像である。カメラ１０が広角レンズを有する例では、通常画像NIは広角画像となるか、または、広角歪みを一定程度補正した画像とする。広角画像の場合、駐車枠検出部１６にて使用される画像は、駐車枠PAを示す白線WL部分までの歪みを除去した画像とすることが望ましい。
表示部１４は、運転席から視認可能な位置に配置され、前記通常画像NI又は俯瞰画像OIをドライバーに表示する。この表示部１４は、ナビゲーションシステム等の他の機器の表示部１４と共用としても良い。
画像編集部１２は、カメラ１０で撮像した後方画像BIを通常画像NI又は俯瞰画像OIに編集する。通常画像NIは、カメラ１０が設置された角度にて自車MTの後方を撮像した画像である。カメラ１０が広角レンズを有する例では、通常画像NIは広角画像となるか、または、広角歪みを一定程度補正した画像とする。広角画像の場合、駐車枠検出部１６にて使用される画像は、駐車枠PAを示す白線WL部分までの歪みを除去した画像とすることが望ましい。
表示部１４は、運転席から視認可能な位置に配置され、前記通常画像NI又は俯瞰画像OIをドライバーに表示する。この表示部１４は、ナビゲーションシステム等の他の機器の表示部１４と共用としても良い。
駐車枠検出部１６は、前記通常画像NIに基づいて前記自車MTの後方の駐車枠PAを検出する。
平行判定部１８は、前記自車MTが当該駐車枠PAに対して予め定められた範囲の平行PLの状態で後退進行しているか否かを判定する。この平行PLの判定は、カメラ１０の設置角度と、後方画像BI中の駐車枠PAの角度とから自車MTの駐車枠PAに対する角度を算出することができる。
平行判定部１８は、前記自車MTが当該駐車枠PAに対して予め定められた範囲の平行PLの状態で後退進行しているか否かを判定する。この平行PLの判定は、カメラ１０の設置角度と、後方画像BI中の駐車枠PAの角度とから自車MTの駐車枠PAに対する角度を算出することができる。
進入距離算出部２０は、前記平行PLでの前記駐車枠PAへの進入開始を判定すると共に、当該進入開始位置EPからの進入距離TDを算出する。すなわち、進入距離算出部２０は、平行PLとなった位置を進入開始位置EPとして、この進入開始位置EPからの進入距離TDを算出する。
そして、切替制御部２２は、前記進入距離TDが予め定められた切替距離CDに至った際に前記通常画像NIを前記俯瞰画像OIに切り替える。切替距離CDは、駐車枠PAの長手方向STの一般的な距離や、自車MTの車長などに基づいて定めると良い。
図２を参照すると、本実施例１の後方画像表示切替装置は、ハードウエア資源の構成として、カメラ１０と、コントローラー６０と、メモリー６２と、表示部１４と、センサ群とを備えている。センサ群としては、車速センサ３４と、ギアポジションセンサ３６と、操舵角センサ３８とを備えている。
コントローラー６０は、例えばFPGA（Field Programmable Gate Array）やマイコンを使用することができる。このFPGAは、カメラ１０からの後方画像BIを実時間で処理することができる。このコントローラー６０は、図１に示す画像編集部１２、駐車枠検出部１６，平行判定部１８、進入距離算出部２０、そして、切替制御部２２として機能する。
車速センサ３４は、自車MTの速度を測定し、例えば車速パルスVPを出力する。車速センサ３４としては、車速を検出するためのセンサでなくとも、車輪の回転に伴い信号が出力されるようなセンサであれば良い。従って、例えば、ＡＢＳ用車輪速センサを本実施例１での車速センサ３４として使用することができる。
ギアポジションセンサ３６は、自車MTのギアポジションを測定し、例えばバックギアの際にバッグギア信号BSを出力する。
操舵角センサ３８は、自車MTのハンドルの回転角度を測定し、操舵角θAを出力する。
ギアポジションセンサ３６は、自車MTのギアポジションを測定し、例えばバックギアの際にバッグギア信号BSを出力する。
操舵角センサ３８は、自車MTのハンドルの回転角度を測定し、操舵角θAを出力する。
図３及び図４を参照すると、カメラ１０は、自車MTの後部上方に設置され、自車MTの後端から自車MTの後方を撮像する。図４に示すように、駐車枠PAは白線WLに囲まれた領域である。
駐車枠PAの長手方向STは、駐車枠PAを矩形で近似した際に長辺（となる白線WL）と平行な方向であり、通常、自車MTがハンドル操舵のない際に直進をする方向である。この駐車枠PAの長手方向STに直交する左右方向LRは、駐車枠PAがある実空間にて駐車枠PAの後端や輪止と平行な方向である。長手方向STと、左右方向LRの定義は、実空間での方向を基準とする。カメラ１０の設置位置及び姿勢や、カメラ１０が広角レンズを有する際の後方画像BIの歪みなどによっては、後方画像BI内では長手方向STと左右方向LRとが直交しないことも、画像の左右方向（例えば、x軸に平行な方向）と左右方向LRとが平行とはならないこともある。
駐車枠PAの長手方向STは、駐車枠PAを矩形で近似した際に長辺（となる白線WL）と平行な方向であり、通常、自車MTがハンドル操舵のない際に直進をする方向である。この駐車枠PAの長手方向STに直交する左右方向LRは、駐車枠PAがある実空間にて駐車枠PAの後端や輪止と平行な方向である。長手方向STと、左右方向LRの定義は、実空間での方向を基準とする。カメラ１０の設置位置及び姿勢や、カメラ１０が広角レンズを有する際の後方画像BIの歪みなどによっては、後方画像BI内では長手方向STと左右方向LRとが直交しないことも、画像の左右方向（例えば、x軸に平行な方向）と左右方向LRとが平行とはならないこともある。
本実施例１の平行判定部１８による平行PLの判定は、この長手方向STの直線と、自車MTの進行方向の直線とが平行PLであるか否かの判定である。図４に示す例では、長手方向STと、白線WLと、自車MTとが平行PLとなっている。
・本実施例１の駐車枠検出部１６は、前記駐車枠PAを構成する路面RSの白線WLを認識すると共に当該認識した白線WLの自車MTに対する傾斜角θを算出する白線認識処理３１を備えると良い。白線認識処理３１は、後方画像BIを微分することでエッジを抽出し、これをハフ変換することで後方画像BI中の直線を画像処理により抽出することができる。抽出した直線についてさらにその他の条件への適合等を判定することで、駐車枠線となる白線WLを検出する。他の条件としては、例えば、左右の白線WLの間隔が1.8 [ｍ] から2.8 [ｍ] で、平行であることなどである。
そして、後方画像BIの座標系は実空間の座標系と関連しているため、平行判定部１８は、自車MTと白線WLとの角度を求めることで、この白線WLに対する自車MTの傾き（傾斜角θ）を算出することができる。
そして、後方画像BIの座標系は実空間の座標系と関連しているため、平行判定部１８は、自車MTと白線WLとの角度を求めることで、この白線WLに対する自車MTの傾き（傾斜角θ）を算出することができる。
一方、後方画像BIに撮像される白線WLがかすれていたり、短い場合などでは、平行PLの判定が不能となることもある。これらの場合には、駐車枠PAに対する自車MTの傾きを検出できなくなってしまう。このため、一度平行PLを検出した後、検出不能となった場合には、例えば0.5秒間だけ直前の検出結果を継続すると良い。この直前の検出結果の継続により検出の繰り返しの安定性が向上する。
特に、駐車動作の後半では、カメラ１０に写る駐車枠PAの白線WLが短くなるため、平行PLの判定が不安定（小さく変わる）となる。このため、駐車動作時に、傾きが大きいところから傾き0（平行PL）までの検出結果と、平行PLから再び傾く場合の検出にヒステリシス特性を持たせ、傾き検出結果が安定するようにすると良い。この対策により不検出を削減することができる。ヒステリシス特性としては、例えば、傾き検出を7段階（平行PL＋左右3段階）とし、大きい傾きから平行PLとなる方向では、1段階ずつ傾き検出結果を更新し、一方、一度平行PLになった後は、2段階傾かない限り、検出結果を平行PLに固定すると良い。
また、平行PLの判定に際して、ハンドルの操舵角θAを参照するようにしても良い。
また、平行PLの判定に際して、ハンドルの操舵角θAを参照するようにしても良い。
図５を参照すると、実施例１の後方画像表示切替装置は、まず、駐車枠検出部１６が、駐車枠PAを検出する（ステップS1）。次に、平行判定部１８が、自車MTと駐車枠PAの長手方向STとが平行PLの範囲であるか否かを判定する（ステップS2）。例えば、駐車枠PAの長手方向STと自車MTとが成す角度が予め定められた角度以内の場合に、平行PLと判定する。平行では無い場合、駐車枠PAの検出処理S1に戻る。
最初に平行PLと判定された際には、進入距離算出部２０は、その位置を進入開始位置EPとして、進入距離TDを算出する（ステップS3）。平行PLとの判定が継続している際には、さらに進入距離TDを算出する。そして、進入距離TDが切替距離CDと等しいか、進入距離TDが長くなると（ステップS4）、俯瞰画像OIへの切り替え制御をする（ステップS5）。一方、進入距離TDが切替距離CDより短い際には、ステップS1に戻り、駐車枠PAを検出し(S1)、平行PLの際には(S2)、進入距離TDを算出する(S3)。進入距離TDの算出を開始後、平行PLではなくなると、進入距離TDの算出をクリアし、改めて平行PLとなるまで進入距離TDを０とすると良い。
俯瞰画像OIの表示後、続いて、俯瞰表示終了とする条件を満たすか否か判定する（ステップS6）。俯瞰表示終了とする条件は、例えば、バックギアの選択が解除された際や、俯瞰画像OIへの切替後一定時間（5秒）の経過などである。
切替制御部２２は、予め定められた俯瞰表示終了の条件が満たされた際には、通常画像NIに復帰させる（ステップS7）。
切替制御部２２は、予め定められた俯瞰表示終了の条件が満たされた際には、通常画像NIに復帰させる（ステップS7）。
また、図５に示す処理の実行中、ドライバーから俯瞰画像OIへの表示切替信号や、通常画像NIへの表示切替信号を受信した際には、ドライバーからの指示を優先して表示切替を行う。すなわち、いずれの場合もドライバーによる切り替えスイッチ操作を優先するため、本機能のオーバーライドを可能とする。
図５に示す処理を図６から図８を参照して再度説明する。
図６（Ａ）を参照すると、後方からの駐車動作では、駐車枠PAを示す左右の白線WLを目安として、バックギアとし、ハンドル操作をしながら駐車枠PAに進行する。駐車枠検出部１６は、バックギア信号BSを受信すると、駐車枠PAの検出を開始すると良い(ステップS1)。
図６（Ａ）を参照すると、後方からの駐車動作では、駐車枠PAを示す左右の白線WLを目安として、バックギアとし、ハンドル操作をしながら駐車枠PAに進行する。駐車枠検出部１６は、バックギア信号BSを受信すると、駐車枠PAの検出を開始すると良い(ステップS1)。
そして、図６（Ｂ）に示すように、自車MTと駐車枠PAの長手方向STとの成す角（傾斜角θ）が一定の角度より小さく、平行PL状態となる。図６（Ｂ）に示す例では、傾斜角θが、角度範囲θS以下となった際に平行PLと判定する(ステップS2)。
図６（Ａ）に示す非平行NPL状態から、図６（Ｂ）に示す平行PL状態に最初に変化した際、その位置を進入開始位置EPとし、進入距離TDの算出を開始する（ステップS3）。そして、さらに駐車動作が継続され、自車MTが後方に進行すると、進入距離算出部２０は、継続して進入距離TDを算出する。切替制御部２２は。図６（Ｄ）に示すように、進入距離TDが切替距離CDより長くなった際に、図７及び図８に示す通常画像NIを図９及び図１０に示す俯瞰画像OIに切り替える（ステップS5）。
さらに、駐車動作が完了し、例えばギアポジションがバックギアからニュートラルやパーキング等に変更された際に、俯瞰表示終了の条件を満たしたとして（ステップS6）、通常画像NIに復帰させる（ステップS7）。
図７及び図８に示す通常画像NIは、切替直前の通常画像NIであり、図９及び図１０に示す俯瞰画像OIは、切替直後の俯瞰画像OIである。図７から図１０に示す例では、駐車枠PAの後端（壁、縁石など）まで約1.5 [m] 程度（距離表示線LNAが実空間で2 [m]、距離表示線LNBが実空間で2 [m]）の位置で俯瞰表示への切り替えができている。
・1.1 所定距離の平行進入の効果
上述のように、進入距離算出部２０が、平行PLとなった位置を進入開始位置EPとして、この進入開始位置EPからの進入距離TDを算出し、切替制御部２２が、前記進入距離TDが予め定められた切替距離CDに至った際に前記通常画像NIを前記俯瞰画像OIに切り替えるため、輪止め等がなくとも、画像処理のみで適切なタイミングで俯瞰画像OIに切り替えることができる。
そして、駐車枠PAを検出し、自車MTが平行PLとなった時点から、測距するため、駐車時以外の後退での誤動作を防止することができる。
上述のように、進入距離算出部２０が、平行PLとなった位置を進入開始位置EPとして、この進入開始位置EPからの進入距離TDを算出し、切替制御部２２が、前記進入距離TDが予め定められた切替距離CDに至った際に前記通常画像NIを前記俯瞰画像OIに切り替えるため、輪止め等がなくとも、画像処理のみで適切なタイミングで俯瞰画像OIに切り替えることができる。
そして、駐車枠PAを検出し、自車MTが平行PLとなった時点から、測距するため、駐車時以外の後退での誤動作を防止することができる。
＜1.2 車速パルス数＞
再度図１を参照すると、好適な例では、前記進入距離算出部２０が、前記自車MTの車速パルスVPをカウントすることで前記進入距離TDを算出する車速パルスカウント処理２４を備えている。車速パルスカウント処理２４は、自車MTと駐車枠PAとがほぼ平行PLとなった位置から車速センサ３４の車速パルスVPをカウントすることで、進入距離TDを推定する。
そして、進入距離TDと切替距離CDとを距離の単位ではなく、車速パルスVPのパルス数で定義し、例えば、車速パルスVPのカウント数がしきい値（例えば4）以上となったとき、俯瞰表示に自動的に切り替えるようにしても良い。
再度図１を参照すると、好適な例では、前記進入距離算出部２０が、前記自車MTの車速パルスVPをカウントすることで前記進入距離TDを算出する車速パルスカウント処理２４を備えている。車速パルスカウント処理２４は、自車MTと駐車枠PAとがほぼ平行PLとなった位置から車速センサ３４の車速パルスVPをカウントすることで、進入距離TDを推定する。
そして、進入距離TDと切替距離CDとを距離の単位ではなく、車速パルスVPのパルス数で定義し、例えば、車速パルスVPのカウント数がしきい値（例えば4）以上となったとき、俯瞰表示に自動的に切り替えるようにしても良い。
このしきい値は、例えば、次のような計算で求めることができる。
仮に、駐車時の平均車速が2 [km/h] とすると、約0.55 [m/s]である。
駐車枠前後方向を4.5 [m] として、1/3程度入ったところで、駐車枠PAと車とが平行PLになるとすると、進入開始位置EPは駐車枠PAの入り口から1.5 [m]、残りは3 [m] となる。
駐車枠PAの後端1.5 [m] で俯瞰表示に切り替えると、残り1.5 [m] となる。
仮に、駐車時の平均車速が2 [km/h] とすると、約0.55 [m/s]である。
駐車枠前後方向を4.5 [m] として、1/3程度入ったところで、駐車枠PAと車とが平行PLになるとすると、進入開始位置EPは駐車枠PAの入り口から1.5 [m]、残りは3 [m] となる。
駐車枠PAの後端1.5 [m] で俯瞰表示に切り替えると、残り1.5 [m] となる。
平行PLになった後の駐車動作の所要時間は車速を2 [km/h] として約2.7秒となる。
2 [km/h] 時の車速パルスVPのパルス周期を例えば706.436 [ms] とすると2.7秒間のパルス数は3.8であり、およそ4パルスとなる。
車速パルスVPは1 [km/h] 以上の場合にはパルス周波数と車速とは比例関係なので、4パルスの設定で良い。
以上より、俯瞰への切り替え時の車速パルスカウント数は4カウント前後が好ましい。もちろん、より早く切り替えたい場合や、より遅く切り替えたい場合などは、このカウント数を調整することで、切り替えのタイミングを変更することができる。
2 [km/h] 時の車速パルスVPのパルス周期を例えば706.436 [ms] とすると2.7秒間のパルス数は3.8であり、およそ4パルスとなる。
車速パルスVPは1 [km/h] 以上の場合にはパルス周波数と車速とは比例関係なので、4パルスの設定で良い。
以上より、俯瞰への切り替え時の車速パルスカウント数は4カウント前後が好ましい。もちろん、より早く切り替えたい場合や、より遅く切り替えたい場合などは、このカウント数を調整することで、切り替えのタイミングを変更することができる。
・1.2 車速パルス数の効果
上述のように、車速パルスカウント処理２４が、自車MTの車速パルスVPをカウントすることで前記進入距離TDを算出するため、新規センサを不要としつつ、俯瞰画像OIへの切り替えを自動化することができる。すなわち、車両に元からついているセンサを使用することで、新規にセンサを追加しなくて良い。
そして、車速パルスVPのカウント数がしきい値以上となった際に、画面表示を自動的に切り替えるため、適切なタイミングでの表示画像の切り替えが可能となる。
上述のように、車速パルスカウント処理２４が、自車MTの車速パルスVPをカウントすることで前記進入距離TDを算出するため、新規センサを不要としつつ、俯瞰画像OIへの切り替えを自動化することができる。すなわち、車両に元からついているセンサを使用することで、新規にセンサを追加しなくて良い。
そして、車速パルスVPのカウント数がしきい値以上となった際に、画面表示を自動的に切り替えるため、適切なタイミングでの表示画像の切り替えが可能となる。
＜1.3 当初カウント無効時間＞
駐車動作中、切り返し時などは、駐車枠PAに対して、早い段階で自車MTが平行PLとなることも想定される。この課題に対して、再度図１を参照すると、前記進入距離算出部２０が、前記自車MTのバックギア信号BSを受信した直後には予め定められた開始待機時間WTSの経過後に当該進入距離TDの算出を開始するカウント待機処理２６を備えている。
カウント待機処理２６は、ギアをバック（リバース）に切り替え後、開始待機時間WTS(例えば2秒)は、車速パルスVPをカウントしないようにすることで、切り返し時の俯瞰画像OIへの表示切替タイミングを適正にすることができる。
この開始待機時間WTSの間は、通常の駐車動作では、車両が転回後進している時間に含まれるため、通常の駐車動作への影響はない。
ギアをバックに切り替えたことは、別途バックギア信号BSを入力しても良いし、システムの電源をバックギア信号BSより取得しても良い。
駐車動作中、切り返し時などは、駐車枠PAに対して、早い段階で自車MTが平行PLとなることも想定される。この課題に対して、再度図１を参照すると、前記進入距離算出部２０が、前記自車MTのバックギア信号BSを受信した直後には予め定められた開始待機時間WTSの経過後に当該進入距離TDの算出を開始するカウント待機処理２６を備えている。
カウント待機処理２６は、ギアをバック（リバース）に切り替え後、開始待機時間WTS(例えば2秒)は、車速パルスVPをカウントしないようにすることで、切り返し時の俯瞰画像OIへの表示切替タイミングを適正にすることができる。
この開始待機時間WTSの間は、通常の駐車動作では、車両が転回後進している時間に含まれるため、通常の駐車動作への影響はない。
ギアをバックに切り替えたことは、別途バックギア信号BSを入力しても良いし、システムの電源をバックギア信号BSより取得しても良い。
・1.3 当初カウント無効時間の効果
上述のように、カウント待機処理２６が、自車MTのバックギア信号BSを受信した直後には予め定められた開始待機時間WTSの経過後に当該進入距離TDの算出を開始するため、切り返し操作時に駐車枠PAと平行PLとなっても進入開始位置EPとは判定せず、開始待機時間WTSの経過を待機することができ、これにより、俯瞰画像OIへの切替タイミングのズレを防止することができる。すなわち、ギアバック信号の受信から一定時間（開始待機時間WTS）の車速パルスカウント無効時間を設けることで、切り返し操作時の表示切替タイミングのズレを補正することができる。
上述のように、カウント待機処理２６が、自車MTのバックギア信号BSを受信した直後には予め定められた開始待機時間WTSの経過後に当該進入距離TDの算出を開始するため、切り返し操作時に駐車枠PAと平行PLとなっても進入開始位置EPとは判定せず、開始待機時間WTSの経過を待機することができ、これにより、俯瞰画像OIへの切替タイミングのズレを防止することができる。すなわち、ギアバック信号の受信から一定時間（開始待機時間WTS）の車速パルスカウント無効時間を設けることで、切り返し操作時の表示切替タイミングのズレを補正することができる。
＜1.4 二段階の平行判定処理＞
再度図１を参照すると、前記駐車枠検出部１６が、白線認識処理３１を備えている。白線認識処理３１は、自車MTと駐車枠PAの白線WLとの傾斜角θを算出する。
そして、前記平行判定部１８が、当初判定処理２８と、継続判定処理３０とを備えている。さらに、進入距離算出部２０が、算出制御処理３２を備えている。
当初判定処理２８は、前記傾斜角θに基づいて予め定められた第１条件にて前記平行PLを判定する。この第１条件で平行PLと判定した位置が、進入開始位置EPとなる。
継続判定処理３０は、バックギア信号BSの受信後最初に平行PLと判定した後には、前記第１条件より緩い第２条件にて前記平行PL又は非平行NPLを判定する。この第２条件を満たす平行PLの間、進入距離TDが算出される。
算出制御処理３２は、前記第２条件にて平行PLと判定されている際に前記進入距離TDを継続して算出する一方、前記非平行NPLと判定された際には当該進入距離TDの算出をリセットする。第２条件にて非平行NPLと判定された際には、駐車動作が中止・中断されたと判定して、俯瞰画像OIへの切り替えに繋がる進入距離TDの算出をリセットする。例えば、車速パルスVPをカウントしていた際には、カウント値を０とする。
再度図１を参照すると、前記駐車枠検出部１６が、白線認識処理３１を備えている。白線認識処理３１は、自車MTと駐車枠PAの白線WLとの傾斜角θを算出する。
そして、前記平行判定部１８が、当初判定処理２８と、継続判定処理３０とを備えている。さらに、進入距離算出部２０が、算出制御処理３２を備えている。
当初判定処理２８は、前記傾斜角θに基づいて予め定められた第１条件にて前記平行PLを判定する。この第１条件で平行PLと判定した位置が、進入開始位置EPとなる。
継続判定処理３０は、バックギア信号BSの受信後最初に平行PLと判定した後には、前記第１条件より緩い第２条件にて前記平行PL又は非平行NPLを判定する。この第２条件を満たす平行PLの間、進入距離TDが算出される。
算出制御処理３２は、前記第２条件にて平行PLと判定されている際に前記進入距離TDを継続して算出する一方、前記非平行NPLと判定された際には当該進入距離TDの算出をリセットする。第２条件にて非平行NPLと判定された際には、駐車動作が中止・中断されたと判定して、俯瞰画像OIへの切り替えに繋がる進入距離TDの算出をリセットする。例えば、車速パルスVPをカウントしていた際には、カウント値を０とする。
再度図６（Ｂ）を参照すると、前記継続判定処理３０は、前記平行PLと判定する傾斜角θの範囲について、前記第１条件の角度範囲θSよりも第２条件の角度範囲θBを大きくする。この第２条件の角度範囲θBを大きくすることで、自車MTが後退して検出可能な白線WLが短く平行PLの判定が若干不安定となっても、継続した平行PLの判定が可能となる。この第１条件の角度範囲θSと、第２条件の角度範囲θBとの設定は、駐車動作時に、傾きが大きいところから傾き0（平行PL）までの検出結果と、平行PLから再び傾く場合の検出にヒステリシス特性を持たせる際の一例となっている。
第１条件の角度範囲θSとしては、例えば、±3.2度とすると良い。
第１条件の角度範囲θSとしては、例えば、±3.2度とすると良い。
また、継続判定処理３０は、当該第２条件による角度範囲θBでは非平行NPLとなる傾斜角θであっても、予め定められた猶予期間WTD中は平行PLと判定するようにしても良い。これにより、平行PL判定の精度低下による誤判定や、自車MTが後退して白線WL自体の認識が不能となる状態が生じても、その誤判定や認識不能が短時間であれば、平行PLとの判定を継続することができる。
猶予期間WTDは、一度平行PLと判定された後、(ヒステリシス処理を含めても）平行PLでなくなった場合、例えば、0.5秒間とすると良い。また、平行PLの状態から白線WLを見失った場合（白線WLが短い場合や認識できない場合に対応）は、例えば、1秒間とすると良い。
図１１を参照すると、自車MTのバックギア信号BSを受信し、上記開始待機時間WTSが経過した後（ステップS11）、予め定められた一定の傾き検出周期PDにて駐車枠PAを構成する路面RSの白線WLを認識すると共に当該認識した白線WLの自車MTに対する傾斜角θを算出する。この傾斜角θの算出は、一定の傾き検出周期PDで実行する。傾き検出周期PDは、例えば、使用しているマイコンの処理速度にもよるが、例えば、1/15秒 (0.067秒) 周期とする。検出の信頼性向上のために高い周期で検出する際の上限は、カメラ１０のフレームレートとなる(フレーム単位の処理で1/30秒、もしくは、フィールド単位で1/60秒)。
そして、最新の前記傾斜角θに基づいて前記駐車枠PAと自車MTとが予め定められた第１条件にて平行PLであるか否かを判定する（ステップS13）。さらに、当該第１条件にて平行PLとなった際に当該自車MTの前記駐車枠PAへの進入距離TDの算出を開始する（ステップS14）。例えば、車速パルスVPのカウントを開始する。
前記第１条件で平行PLと判定された後には、最新の前記傾斜角θに基づいて前記第１条件より緩い第２条件にて前記平行PL又は非平行NPLを判定する（ステップS15）。前記第２条件にて平行PLと判定されている間には前記進入距離TDを継続して算出する（ステップS16）。一方、前記非平行NPLと判定された際には当該進入距離TDの算出をリセットする（ステップS17）。
さらに、前記進入距離TDが予め定められた切替距離CDに至った際に、前記通常画像NIを前記俯瞰画像OIに切り替える（ステップS19）。
さらに、前記進入距離TDが予め定められた切替距離CDに至った際に、前記通常画像NIを前記俯瞰画像OIに切り替える（ステップS19）。
・1.4 二段階の平行判定処理の効果
上述のように、当初判定処理２８が、前記傾斜角θに基づいて予め定められた第１条件にて前記平行PLを判定し、継続判定処理３０が、バックギア信号BSの受信後最初に平行PLと判定した後には前記第１条件より緩い第２条件にて前記平行PL又は非平行NPLを判定するため、平行PLの判定にヒステリシスを持たせることができ、これにより、撮像環境や操舵の相違に対応して走行距離TDの算出を安定して行い、従って、俯瞰画像OIへの自動切り替えを安定して行うことができる。
特に、駐車枠PAの白線WLが消えかかっていたり、汚れや、落ち葉が白線WL上に存在する場合であっても、この平行PLの判定を安定させることで、俯瞰画像OIへの切替制御を安定させることができる。
上述のように、当初判定処理２８が、前記傾斜角θに基づいて予め定められた第１条件にて前記平行PLを判定し、継続判定処理３０が、バックギア信号BSの受信後最初に平行PLと判定した後には前記第１条件より緩い第２条件にて前記平行PL又は非平行NPLを判定するため、平行PLの判定にヒステリシスを持たせることができ、これにより、撮像環境や操舵の相違に対応して走行距離TDの算出を安定して行い、従って、俯瞰画像OIへの自動切り替えを安定して行うことができる。
特に、駐車枠PAの白線WLが消えかかっていたり、汚れや、落ち葉が白線WL上に存在する場合であっても、この平行PLの判定を安定させることで、俯瞰画像OIへの切替制御を安定させることができる。
＜2 オフラインデバッグ装置＞
＜2.1 音声信号として記録＞
次に、本実施形態の実施例２を開示する。実施例２は、高い再現性下で後方画像表示切替装置等の動作確認をすることができる環境を提供することで、後方画像表示切替装置等の品質・信頼性をより向上させ、開発期間の短縮を促すものである。
例えば、車速パルスVPは自車MTの実際の移動に伴い出力されるため、後方画像表示切替装置の判定条件やパラメータなどの調整時には、実車での確認が必要となる。しかし、開発中に常に実車を用いることは、再現性の観点などからも好ましくない。従って、予め保存した動画データを用いてオフラインにて繰り返し同じ条件での動作確認を可能とすることが望ましい。実施例２のオフラインデバッグ装置は、オフラインでカメラ１０の後方画像BI（動画の映像）の記録と車速センサ３４の車速パルスVPとを同期して記録・再生可能とする。
＜2.1 音声信号として記録＞
次に、本実施形態の実施例２を開示する。実施例２は、高い再現性下で後方画像表示切替装置等の動作確認をすることができる環境を提供することで、後方画像表示切替装置等の品質・信頼性をより向上させ、開発期間の短縮を促すものである。
例えば、車速パルスVPは自車MTの実際の移動に伴い出力されるため、後方画像表示切替装置の判定条件やパラメータなどの調整時には、実車での確認が必要となる。しかし、開発中に常に実車を用いることは、再現性の観点などからも好ましくない。従って、予め保存した動画データを用いてオフラインにて繰り返し同じ条件での動作確認を可能とすることが望ましい。実施例２のオフラインデバッグ装置は、オフラインでカメラ１０の後方画像BI（動画の映像）の記録と車速センサ３４の車速パルスVPとを同期して記録・再生可能とする。
このオフラインデバッグ装置に必要な機能は、カメラ１０の映像を圧縮なしで記録する機能と、カメラ１０の映像と同期した車速パルスVPを記録再生する機能とである。これにより、オフラインでのパラメータ調整、動作確認を可能とする。
このオフラインデバッグ装置は、その主要な要素として、図１２に示す例では、動画記録部４０と、振幅偏移変調部４２と、音声記録部４４と、車速パルス再生部４６とを備えている。
このオフラインデバッグ装置は、その主要な要素として、図１２に示す例では、動画記録部４０と、振幅偏移変調部４２と、音声記録部４４と、車速パルス再生部４６とを備えている。
動画記録部４０は、カメラ１０が撮像する動画を映像チャンネルに記録する。
振幅偏移変調部４２は、前記動画に同期した車速パルスVPのオン・オフに応じて予め定められた音声帯域内の搬送波CWの振幅を変調する。車速パルスVPがオン・オフの２レベルであれば、搬送波CWの振幅もオン・オフ又は高低の二段階に変調すると良い。
音声記録部４４は、この変調された搬送波CWを音声信号ASとして前記動画に同期して音声チャンネルに記録する。これにより、カメラ１０の動画と、車速パルスVPとを同期して記録することができる。動画記録部４０及び音声記録部４４は、例えば、DV形式等のビデオカメラ５０を使用すると良い。
さらに、車速パルス再生部４６は、この音声記録部４４に記録された音声信号ASを復調することで前記車速パルスVPを再生する。これにより、カメラ１０の動画と車速パルスVPとを同期して再生することができ、従って、再現性の高い状態で後方画像表示切替装置の動作確認などを行うことができる。
振幅偏移変調部４２は、前記動画に同期した車速パルスVPのオン・オフに応じて予め定められた音声帯域内の搬送波CWの振幅を変調する。車速パルスVPがオン・オフの２レベルであれば、搬送波CWの振幅もオン・オフ又は高低の二段階に変調すると良い。
音声記録部４４は、この変調された搬送波CWを音声信号ASとして前記動画に同期して音声チャンネルに記録する。これにより、カメラ１０の動画と、車速パルスVPとを同期して記録することができる。動画記録部４０及び音声記録部４４は、例えば、DV形式等のビデオカメラ５０を使用すると良い。
さらに、車速パルス再生部４６は、この音声記録部４４に記録された音声信号ASを復調することで前記車速パルスVPを再生する。これにより、カメラ１０の動画と車速パルスVPとを同期して再生することができ、従って、再現性の高い状態で後方画像表示切替装置の動作確認などを行うことができる。
図１３に示す例では、振幅偏移変調部４２は、搬送波生成部５２と、ANDゲート５４とを備えている。
搬送波生成部５２は、ビデオカメラ５０の音声帯域内のパルス信号（例えば、10 [kHz] 厳密には繰り返し周波数）を搬送波CWとして生成する。ANDゲート５４は、搬送波CWを例えば1 [Hz] の車速パルスVPでゲートすることにより、車速パルスVPをビデオカメラ５０の音声信号ASとして記録可能な信号へ変換する。
搬送波生成部５２は、ビデオカメラ５０の音声帯域内のパルス信号（例えば、10 [kHz] 厳密には繰り返し周波数）を搬送波CWとして生成する。ANDゲート５４は、搬送波CWを例えば1 [Hz] の車速パルスVPでゲートすることにより、車速パルスVPをビデオカメラ５０の音声信号ASとして記録可能な信号へ変換する。
再生時は、フィルタを通すことにより、車速パルスVPを再生することが可能である。
図１４に示す例では、車速パルス再生部４６が、音声信号I/F４７（インタフェース）と、単安定マルチバイブレータ４８を備えている。音声信号I/F４７は、音声信号ASを論理回路で扱える信号に変換する。単安定マルチバイブレータ４８は、FPGAで構成する論理回路で実現でき、フィルタとして機能する。
図１４に示す例では、車速パルス再生部４６が、音声信号I/F４７（インタフェース）と、単安定マルチバイブレータ４８を備えている。音声信号I/F４７は、音声信号ASを論理回路で扱える信号に変換する。単安定マルチバイブレータ４８は、FPGAで構成する論理回路で実現でき、フィルタとして機能する。
ビデオカメラ５０の音声信号ASから車速パルスVPを再生すると、後方画像表示切替装置の車速パルスカウント処理２４が、この車速パルスVPをカウントし、切替制御部２２にカウント結果を与える。また、画像編集部１２は、ビデオカメラ５０にて再生される動画を編集し、通常画像NI又は俯瞰画像OIとする。そして、切替制御部２２による制御に応じて、通常画像NI又は俯瞰画像OIを表示部１４に表示する。
この車速パルスVP及び動画の再生により、予め録画した後方画像BIにより極めて再現性が高い状態で後方画像表示切替装置の動作確認をすることができる。
この車速パルスVP及び動画の再生により、予め録画した後方画像BIにより極めて再現性が高い状態で後方画像表示切替装置の動作確認をすることができる。
図１３に示す回路を用いて、ビデオカメラ５０に記録された音声信号ASは、図１４に示す回路で車速パルスVPに復調・再生される。この10 [kHz] の音声信号ASは、ビデオカメラ５０において帯域制限処理及び直流成分がカットされているため、10 [kHz] の正弦波信号となる。またその信号レベルは1 [Vp-p] 程度である。このため、この音声信号ASを論理回路で取り扱うためには、直流再生及び信号レベルの変換と、正弦波から矩形波への変換とを行う必要がある。
図１５にこの変換回路（音声信号I/F４７）の一例を示す。図１５中、ビデオカメラ５０の音声端子（RCA端子）から入力される音声信号ASを、NPNトランジスタQ1にて直流信号への変換及び矩形波への変換を行い、その後、NPNトランジスタQ2にてFPGA（単安定マルチバイブレータ４８）へ入力可能な電圧(3.3 [v])へ信号レベルの変換を行っている。
図１５に示す音声信号I/F４７にて直流再生、3.3 [V] へレベル変換した後、さらに、FPGA内に構成した単安定マルチバイブレータ４８により車速パルスVPを再生（復調）する。
図１６に、音声信号I/F４７にて変換された音声信号ASOの出力波形と、FPGAで復調・再生した車速パルスVPのパルス波形とを示す。しかし、実際は、ビデオカメラ５０から出力される音声信号ASは連続した信号ではなく、断続したパルス信号であることと、パルス信号の始点終点がゼロクロス点とも必ずしも一致しないため、図１７に示すように、パルス信号の始点と終点とでザグが生じる。
そのため、図１５の音声信号I/F４７が出力する音声信号ASOは後端部に、図１８に示すように偽のパルス（偽パルスDP）が生じる。通常、10 [kHz] で変調された車速パルスVPを復調するための単安定マルチバイブレータ４８の時定数は100 [μsec] より大きければ良く、ノイズなどを考慮しても3倍程度で十分であるが、この偽パルスDPの影響を排除するため、時定数を約6 [msec] としている。
すなわち、この例では、前記車速パルス再生部４６が、前記音声信号ASのレベルが変化した際に予め時定数で定められた一定時間オン又はオフを出力する単安定マルチバイブレータ４８を備え、そして、この時定数を、前記搬送波CWの周波数に対して大きく設定している。
図１９を参照すると、この単安定マルチバイブレータ４８は、音声信号I/F４７が出力する音声信号ASOを入力信号sig_inとして、この入力信号sig_inがオンであれば（ステップS）、再生する車速パルスVPとなる出力信号sig_outを１とし、カウンタ値PWを０とする。図１９中、「<=」はハードウエア記述言語でのノン・ブロッキング代入である。入力信号sig_inがオフであれば、カウンタ値PWを調べ（ステップS23）、時定数6 [msec] に相当するカウント値となっていれば、出力信号sig_outを０とする。一方、入力信号sig_inがオフとなっても、カウンタ値PWが時定数6 [msec] に相当するカウント値となっていなければ、出力信号sig_outを１とする。このステップS23及びS25により、音声信号ASOは後端部に偽パルスDPがあっても、時定数の間は強制的に出力信号sig_outを１とすることで、図１８に示すように車速パルスVPの後端部のオン時間を長くすることができる。
この図１９に示す処理により、正しく車速パルスVPが再生できていることを確認できた。
この図１９に示す処理により、正しく車速パルスVPが再生できていることを確認できた。
・2.1 音声信号として記録の効果
上述のように、実施例２によると、振幅偏移変調部４２が、動画に同期した車速パルスVPのオン・オフに応じて予め定められた音声帯域内の搬送波CWの振幅を変調し、音声記録部４４が、変調された搬送波CWを音声信号ASとして前記動画に同期して音声チャンネルに記録するため、後方画像BIの動画と同期した車速パルスVPを音声信号ASとしてビデオカメラ５０に記録することができる。
さらに、車速パルス再生部４６が、音声記録部４４に記録された音声信号ASを復調することで前記車速パルスVPを再生するため、予め撮影した後方画像BIと、この後方画像BIに同期した車速パルスVPとを何度も再生することができる。このため、後方画像表示切替装置の条件構成やパラメータを調整し、どのような動作結果となるかを、同一の映像を対象とした高い再現性下で試験し、動作確認をすることができる。このように、実施例２では、デバッグ環境を構築することができる。
さらに、単安定マルチバイブレータ４８等の利用により、車速パルスVPを安定して再生することができる。
上述のように、実施例２によると、振幅偏移変調部４２が、動画に同期した車速パルスVPのオン・オフに応じて予め定められた音声帯域内の搬送波CWの振幅を変調し、音声記録部４４が、変調された搬送波CWを音声信号ASとして前記動画に同期して音声チャンネルに記録するため、後方画像BIの動画と同期した車速パルスVPを音声信号ASとしてビデオカメラ５０に記録することができる。
さらに、車速パルス再生部４６が、音声記録部４４に記録された音声信号ASを復調することで前記車速パルスVPを再生するため、予め撮影した後方画像BIと、この後方画像BIに同期した車速パルスVPとを何度も再生することができる。このため、後方画像表示切替装置の条件構成やパラメータを調整し、どのような動作結果となるかを、同一の映像を対象とした高い再現性下で試験し、動作確認をすることができる。このように、実施例２では、デバッグ環境を構築することができる。
さらに、単安定マルチバイブレータ４８等の利用により、車速パルスVPを安定して再生することができる。
１０ カメラ
１２ 画像編集部
１４ 表示部
１６ 駐車枠検出部
１８ 平行判定部
２０ 進入距離算出部
２２ 切替制御部
２４ 車速パルスカウント処理
２６ カウント待機処理
２８ 当初判定処理
３０ 継続判定処理
３１ 白線認識処理
３２ 算出制御処理
３４ 車速センサ
３６ ギアポジションセンサ
３８ 操舵角センサ
４０ 動画記録部
４２ 振幅偏移変調部
４４ 音声記録部
４６ 車速パルス再生部
４７ 音声信号I/F
４８ 単安定マルチバイブレータ
５０ ビデオカメラ
５２ 搬送波生成部
５４ ANDゲート
６０ コントローラー
６２ メモリー
AS、ASO 音声信号
BI 後方画像
BS バックギア信号
CD 切替距離
CW 搬送波
DP 偽パルス
EP 進入開始位置
LNA、LNB 距離表示線
LR 左右方向
MT 自車
NI 通常画像
NPL 非平行
OI 俯瞰画像
PA 駐車枠
PD 傾き検出周期
PL 平行
Q1、Q2 NPNトランジスタ
RS 路面
ST 長手方向
TD 進入距離
VP 車速パルス
WL 白線
WTD 猶予期間
WTS 開始待機時間
θ 傾斜角
θA 操舵角
θB、θS 角度範囲
１２ 画像編集部
１４ 表示部
１６ 駐車枠検出部
１８ 平行判定部
２０ 進入距離算出部
２２ 切替制御部
２４ 車速パルスカウント処理
２６ カウント待機処理
２８ 当初判定処理
３０ 継続判定処理
３１ 白線認識処理
３２ 算出制御処理
３４ 車速センサ
３６ ギアポジションセンサ
３８ 操舵角センサ
４０ 動画記録部
４２ 振幅偏移変調部
４４ 音声記録部
４６ 車速パルス再生部
４７ 音声信号I/F
４８ 単安定マルチバイブレータ
５０ ビデオカメラ
５２ 搬送波生成部
５４ ANDゲート
６０ コントローラー
６２ メモリー
AS、ASO 音声信号
BI 後方画像
BS バックギア信号
CD 切替距離
CW 搬送波
DP 偽パルス
EP 進入開始位置
LNA、LNB 距離表示線
LR 左右方向
MT 自車
NI 通常画像
NPL 非平行
OI 俯瞰画像
PA 駐車枠
PD 傾き検出周期
PL 平行
Q1、Q2 NPNトランジスタ
RS 路面
ST 長手方向
TD 進入距離
VP 車速パルス
WL 白線
WTD 猶予期間
WTS 開始待機時間
θ 傾斜角
θA 操舵角
θB、θS 角度範囲
Claims (3)
- 自車の後方を撮像するカメラと、
このカメラで撮像した後方画像を通常画像又は俯瞰画像に編集する画像編集部と、
前記通常画像又は俯瞰画像をドライバーに表示する表示部と、
前記通常画像に基づいて前記自車の後方の駐車枠を検出する駐車枠検出部と、
前記自車が当該駐車枠に対して予め定められた範囲の平行の状態で後退進行しているか否かを判定する平行判定部と、
前記平行での前記駐車枠への進入開始を判定すると共に当該進入開始位置からの進入距離を算出する進入距離算出部と、
前記進入距離が予め定められた切替距離に至った際に前記通常画像を前記俯瞰画像に切り替える切替制御部とを備え、
前記駐車枠検出部が、前記駐車枠を構成する路面の白線を認識すると共に当該認識した白線の自車に対する傾斜角を算出する白線認識処理を備え、
前記平行判定部が、前記傾斜角に基づいて予め定められた第１条件にて前記平行を判定する当初判定処理と、バックギア信号の受信後最初に平行と判定した後には前記第１条件より緩い第２条件にて前記平行又は非平行を判定する継続判定処理とを備え、
前記進入距離算出部が、前記第２条件にて平行と判定されている際に前記進入距離を継続して算出する一方、前記非平行と判定された際には当該進入距離の算出をリセットする算出制御処理を備えた、
ことを特徴とする後方画像表示切替装置。 - 前記継続判定処理が、前記平行と判定する傾斜角の範囲について、前記第１条件の角度範囲よりも第２条件の角度範囲を大きくする処理と、当該第２条件による角度範囲では非平行となる傾斜角又は白線認識の不能であっても予め定められた猶予期間中は平行と判定する処理と、
を備えたことを特徴とする請求項１記載の後方画像表示切替装置。 - 自車のバックギア信号を受信中、予め定められた一定の傾き検出周期にて駐車枠を構成する路面の白線を認識すると共に当該認識した白線の自車に対する傾斜角を算出する工程と、
最新の前記傾斜角に基づいて前記駐車枠と自車とが予め定められた第１条件にて平行であるか否かを判定すると共に当該第１条件にて平行となった際に当該自車の前記駐車枠への進入距離の算出を開始する工程と、
前記第１条件で平行と判定された後には、最新の前記傾斜角に基づいて前記第１条件より緩い第２条件にて前記平行又は非平行を判定する工程と、
前記第２条件にて平行と判定されている間には前記進入距離を継続して算出する一方、前記非平行と判定された際には当該進入距離の算出をリセットする工程と、
前記進入距離が予め定められた切替距離に至った際に通常画像を俯瞰画像に切り替える工程と
を備えたことを特徴とする後方画像表示切替方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009215154A JP5327630B2 (ja) | 2009-09-17 | 2009-09-17 | 後方画像表示切替装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009215154A JP5327630B2 (ja) | 2009-09-17 | 2009-09-17 | 後方画像表示切替装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011066657A JP2011066657A (ja) | 2011-03-31 |
| JP5327630B2 true JP5327630B2 (ja) | 2013-10-30 |
Family
ID=43952420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009215154A Active JP5327630B2 (ja) | 2009-09-17 | 2009-09-17 | 後方画像表示切替装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5327630B2 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5899664B2 (ja) * | 2011-06-06 | 2016-04-06 | 日産自動車株式会社 | 車両用加速抑制装置及び車両用加速抑制方法 |
| JP5914114B2 (ja) * | 2012-03-30 | 2016-05-11 | 富士通テン株式会社 | 駐車支援装置、及び駐車支援方法 |
| US9540000B2 (en) | 2012-11-27 | 2017-01-10 | Nissan Motor Co., Ltd. | Acceleration suppression device for vehicle, and acceleration suppression method for vehicle |
| US9457806B2 (en) * | 2012-11-27 | 2016-10-04 | Nissan Motor Co., Ltd. | Vehicular acceleration suppression device and vehicular acceleration suppression method |
| CN104718116B (zh) * | 2012-11-27 | 2016-04-20 | 日产自动车株式会社 | 车辆用加速抑制装置以及车辆用加速抑制方法 |
| JP5846318B2 (ja) * | 2012-11-27 | 2016-01-20 | 日産自動車株式会社 | 車両用加速抑制装置及び車両用加速抑制方法 |
| JP5942817B2 (ja) * | 2012-11-27 | 2016-06-29 | 日産自動車株式会社 | 車両用加速抑制装置 |
| US9604637B2 (en) * | 2012-11-27 | 2017-03-28 | Nissan Motor Co., Ltd. | Vehicle acceleration suppression device and vehicle acceleration suppression method |
| US9399400B2 (en) * | 2012-11-27 | 2016-07-26 | Nissan Motor Co., Ltd. | Vehicular acceleration suppression device and vehicular acceleration suppression method |
| JP5900651B2 (ja) * | 2012-11-27 | 2016-04-06 | 日産自動車株式会社 | 運転支援装置及び運転支援方法 |
| CN104812646B (zh) * | 2012-11-27 | 2016-08-17 | 日产自动车株式会社 | 车辆用加速抑制装置 |
| JP5958366B2 (ja) * | 2013-01-29 | 2016-07-27 | 株式会社日本自動車部品総合研究所 | 車載画像処理装置 |
| JP6281435B2 (ja) * | 2014-07-25 | 2018-02-21 | スズキ株式会社 | 駐車支援システム |
| KR101627316B1 (ko) * | 2014-12-04 | 2016-06-03 | 주식회사 만도 | 주차 지원 장치 |
| JP6549511B2 (ja) * | 2016-03-24 | 2019-07-24 | アルパイン株式会社 | 駐車支援装置および駐車支援方法 |
| CN110945866B (zh) * | 2017-08-03 | 2021-07-27 | 三菱电机株式会社 | 车辆周边图像显示装置及车辆周边图像显示方法 |
| DE102017218921A1 (de) | 2017-10-24 | 2019-04-25 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Betreiben einer Displayeinheit eines Fahrzeugs |
| JP7442931B2 (ja) | 2020-01-16 | 2024-03-05 | アルパイン株式会社 | 表示制御装置および表示制御方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2602866Y2 (ja) * | 1993-07-05 | 2000-01-31 | 住友電気工業株式会社 | 車載データ収集装置及びデータ編集装置 |
| JPH1114376A (ja) * | 1997-06-20 | 1999-01-22 | Nissan Motor Co Ltd | 車両用走行路検出装置 |
| JP3815291B2 (ja) * | 2001-10-24 | 2006-08-30 | 日産自動車株式会社 | 車両後方監視装置 |
| JP3607994B2 (ja) * | 2001-11-12 | 2005-01-05 | トヨタ自動車株式会社 | 車両用周辺監視装置 |
| JP4967604B2 (ja) * | 2006-11-01 | 2012-07-04 | スズキ株式会社 | 駐車支援システム |
-
2009
- 2009-09-17 JP JP2009215154A patent/JP5327630B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011066657A (ja) | 2011-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5327630B2 (ja) | 後方画像表示切替装置及び方法 | |
| JP4412380B2 (ja) | 運転支援装置、運転支援方法及びコンピュータプログラム | |
| JP5421072B2 (ja) | 接近物体検知システム | |
| EP1962254B1 (en) | In-vehicle apparatus for recognizing running environment of vehicle | |
| JP4900232B2 (ja) | 車両用駐車支援装置および映像表示方法 | |
| EP3886075A1 (en) | Parking space detection method and device | |
| EP1840859A2 (en) | Traffic lane deviation preventing system for a vehicle | |
| CN104760593A (zh) | 车道变更辅助装置及其工作方法 | |
| JP5120227B2 (ja) | 輪止検出装置及び後方画像表示装置 | |
| CN111942282A (zh) | 车辆及其驾驶盲区预警方法、装置、系统和存储介质 | |
| JP6997880B2 (ja) | 駐車支援装置 | |
| KR101344056B1 (ko) | 차량의 출발 정지 지원 장치 및 그 방법 | |
| US20210162985A1 (en) | System for assisting parking a vehicle and method for the same | |
| JP2009231938A (ja) | 車両用周囲監視装置 | |
| JP2008037320A (ja) | 駐車支援装置、駐車支援方法及び駐車支援プログラム | |
| WO2018150888A1 (ja) | 情報記録装置、情報記録方法及び情報記録用プログラム | |
| JP2013018406A (ja) | 駐車枠の認識装置、駐車枠の認識方法、及び、プログラム | |
| KR20130072709A (ko) | 영상인식 및 초음파 센서 기술 융합기반 주차 지원 시스템 | |
| JP2005202787A (ja) | 車両用表示装置 | |
| US9827906B2 (en) | Image processing apparatus | |
| JP2008250453A (ja) | 運転支援装置および運転支援方法 | |
| KR20140023470A (ko) | 주차 보조 장치 및 그 주차 보조 방법 | |
| KR101039986B1 (ko) | 주차보조 영상시스템 | |
| JP2004051063A (ja) | 車両周辺視認装置 | |
| KR20160112674A (ko) | 영상과 거리 보정을 통한 주차 보조 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120403 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130412 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130502 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130509 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130628 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130711 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5327630 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |