JP6829300B2 - 撮影装置、制御方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は、前方画像中の消失点の位置を学習する技術に関する。

従来から、画像中の消失点の位置を学習する技術が知られている。例えば、特許文献１には、車両のルームミラーの裏面に配置されたカメラの撮影画像中に含まれる走行車線の輪郭線を延長した交点を車線消失点として検出し、時系列で取得した車線消失点の位置を平均化した平均消失点を用いて運転支援の表示を行う運転支援システムが開示されている。

国際公開ＷＯ２０１２／１３１９４７

ルームミラーにカメラを取り付けた場合、運転者ごとにルームミラーの使用角度が異なるため、例えば運転者が変わった際などに、ルームミラーの角度調整に伴いカメラの撮影方向も変化してしまう場合が考えられる。カメラの撮影方向が変化すると、ルームミラーの角度変更前の車線消失点の位置データの影響により、平均消失点の位置の正確性が低下するという問題があった。

本発明は、上記のような課題を解決するためになされたものであり、カメラの撮影方向が変化した場合であっても、消失点位置の学習の正確性が損なわれるのを好適に抑制することが可能な撮影装置を提供することを主な目的とする。

請求項に記載の発明は、車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能な撮影装置であって、前記前方風景を撮影する撮影手段と、前記撮影手段により撮影された前方画像における消失点の位置を学習する学習手段と、前記撮影装置の向きが変更されたか否かを、前記学習手段の学習結果に依らず判定する判定手段と、前記判定手段により前記撮影装置の向きが変更されたと判定された場合に、前記学習手段の学習状態を初期化させる制御手段と、を備えることを特徴とする。
また、請求項に記載の発明は、車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能な撮影装置が実行する制御方法であって、前記前方風景を撮影する撮影手段により撮影された前方画像を解析し、前記前方画像に含まれる消失点の位置を学習する学習工程と、前記撮影装置の向きが変更されたか否かを前記学習工程の学習結果に依らず判定する判定工程と、前記判定工程により前記撮影装置の向きが変更されたと判定された場合に、前記学習工程の学習状態を初期化させる制御工程と、を有することを特徴とする。
また、請求項に記載の発明は、車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能な撮影手段と電気的に接続するコンピュータが実行するプログラムであって、前記撮影手段により撮影された前方画像を解析し、前記前方画像に含まれる消失点の位置を学習する学習手段と、前記撮影手段の向きが変更されたか否かを前記学習手段の学習結果に依らず判定する判定する判定手段と、前記判定手段により前記撮影手段の向きが変更されたと判定された場合に、前記学習手段の学習状態を初期化させる制御手段として前記コンピュータを機能させることを特徴とする。

ナビゲーション装置の構成である。 第１実施例のナビゲーション装置のブロック図である。 第１実施例の学習初期化処理の手順を示すフローチャートである。 基準対象物の移動検知方法を説明する図である。 第２実施例のナビゲーション装置のブロック図である。 第２実施例の学習初期化処理の手順を示すフローチャートである。

本発明の１つの好適な実施形態では、車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能な撮影装置であって、前記撮影装置と共に回転し、前記前方風景を撮影する撮影手段と、前記撮影手段により撮影された前方画像を解析し、前記前方画像に含まれる消失点の位置を学習する学習手段と、前記撮影装置の向きが変更されたか否かを判定する判定手段と、前記撮影装置の向きが変更されたと前記判定手段により判定された場合に、前記学習手段の学習状態を初期化させる制御手段と、を備える。

上記撮影装置は、車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能であって、撮影手段と、学習手段と、判定手段と、制御手段とを有する。撮影手段は、撮影装置と共に回転し、車両の前方風景を撮影する。学習手段は、撮影手段により撮影された前方画像を解析し、前方画像に含まれる消失点の位置を学習する。判定手段は、撮影装置の向きが変更されたか否かを判定する。制御手段は、撮影装置の向きが変更されたと判定手段により判定された場合に、学習手段の学習状態を初期化させる。このようにすることで、撮影装置は、撮影装置の向きが回転することにより撮影方向が変更された場合であっても、撮影方向変更前の学習データの影響により、正確な消失点位置の学習が遅れるのを好適に抑制することができる。

上記撮影装置の一態様では、前記車両のルームミラーに内蔵される、または前記ルームミラーに取り付けられる。この態様では、ルームミラーの角度調整により撮影方向が変化する。この場合であっても、撮影装置は、ルームミラーの角度調整前の学習データの影響により、正確な消失点位置の学習が遅れるのを好適に抑制することができる。

上記撮影装置の他の一態様では、撮影装置は、前記車両が走行中における前記前方画像を解析し、当該前方画像に含まれ、前記車両の一部となる対象物を特定する特定手段をさらに備え、前記判定手段は、前記対象物の前記前方画像中の位置が基準値より大きく移動した場合に前記撮影装置の向きが変更されたと判定する。この態様により、撮影装置は、撮影した前方画像に基づき撮影装置の向きが変更されたか否か好適に判定することができる。

上記撮影装置の他の一態様では、前記判定手段は、前記搭乗者が前記撮影装置に接触したことを検出する接触センサが前記撮影装置への接触を検出した場合に、前記撮影装置の向きが変更されたと判定する。この態様によっても、撮影装置は、撮影装置の向きが変更されたか否か好適に判定することができる。

上記撮影装置の他の一態様では、前記判定手段は、加速度センサが基準値以上の加速度を検出した場合に、前記撮影装置の向きが変更されたと判定する。この態様によっても、撮影装置は、撮影装置の向きが変更されたか否か好適に判定することができる。

本発明に係る他の実施形態では、車両に搭載されて前方風景を撮影し、当該車両の搭乗者により当該車両に対する向きが回転可能な撮影装置であって、前記撮影装置と共に回転し、前記前方風景を撮影する撮影手段と、前記撮影手段により撮影された前方画像を解析し、前記前方画像に含まれる消失点の位置を学習する第１学習手段と、前記車両の搭乗者により前記撮影装置の向きが変更された可能性があるか否かを判定する判定手段と、前記撮影装置の向きが変更された可能性があると前記判定手段により判定された場合に、前記前方画像に含まれる消失点の位置の学習を初期化状態から開始する第２学習手段と、前記第１学習手段により学習された消失点の位置と前記第２学習手段により学習された消失点の位置が基準値より大きく離れている場合に、前記第１学習手段の学習状態を初期化させる制御手段と、を備える。

この態様では、撮影装置は、通常時に消失点位置の学習を行う第１学習手段に加え、撮影装置の向きが変更された可能性があると判断された場合に消失点位置の学習を開始する第２学習手段を備える。そして、撮影装置は、第１学習手段により学習された消失点の位置と第２学習手段により学習された消失点の位置が基準値より大きく離れている場合に、第１学習手段の学習状態を初期化させる。これにより、撮影装置は、撮影方向が一時的に変更された場合などを好適に除外して必要なときのみ第１学習手段の学習状態を初期化することができる。

上記撮影装置の一態様では、前記第１学習手段は、前記制御手段により学習状態が初期化された場合、前記第２学習手段の学習状態から前記消失点の位置の学習を再開する。これにより、第１学習手段は、学習状態が初期化された場合であっても、第２学習手段の学習結果を好適に活用して消失点位置の学習を再開することができる。

本発明に係る他の実施形態では、車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能な撮影装置が実行する制御方法であって、前記撮影装置と共に回転し、前記前方風景を撮影する撮影手段により撮影された前方画像を解析し、前記前方画像に含まれる消失点の位置を学習する学習工程と、前記撮影装置の向きが変更されたか否かを判定する判定工程と、前記撮影装置の向きが変更されたと前記判定工程により判定された場合に、前記学習工程での学習状態を初期化させる制御工程と、を有する。撮影装置は、この制御方法を実行することで、撮影装置の向きが回転することにより撮影方向が変更された場合であっても、撮影方向変更前の学習データの影響により、正確な消失点位置の学習が遅れるのを好適に抑制することができる。

本発明に係る他の実施形態では、車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能な撮影手段と電気的に接続するコンピュータが実行するプログラムであって、前記撮影手段により撮影された前方画像を解析し、前記前方画像に含まれる消失点の位置を学習する学習手段と、前記撮影装置の向きが変更されたか否かを判定する判定手段と、前記撮影装置の向きが変更されたと前記判定手段により判定された場合に、前記学習手段の学習状態を初期化させる制御手段として前記コンピュータを機能させる。コンピュータは、このプログラムを実行することで、撮影方向が変更された場合であっても、撮影方向変更前の学習データの影響により、正確な消失点位置の学習が遅れるのを好適に抑制することができる。好適には、上記プログラムは、記憶媒体に記憶される。

以下、図面を参照して本発明の好適な実施例について説明する。以後において、「撮影方向」とは、カメラの正面となる方向であって、カメラの視野（撮影範囲）の中心を通る方向を指すものとする。

＜第１実施例＞
［ナビゲーション装置の構成］
図１は、第１実施例に係るナビゲーション装置１の構成を示す。具体的には、図１（Ａ）は、ナビゲーション装置１が車室内のルームミラー１２に装着された状態（単に「装着状態」とも呼ぶ。）における正面図を示し、図１（Ｂ）は、装着状態におけるナビゲーション装置１の背面図を示し、図１（Ｃ）は、装着状態におけるナビゲーション装置１の上面図を示す。以後では、ナビゲーション装置１の長手方向を「Ｙ軸方向」、ナビゲーション装置１の短手方向を「Ｘ軸方向」、Ｘ軸及びＹ軸と垂直な方向を「Ｚ軸方向」とし、各正方向を図のように定める。

図１に示すナビゲーション装置１は、内蔵二次電池により駆動され、主に、ミラー部１３と、前方撮影カメラ４と、ミラー部１３の背面に存在するディスプレイ（表示手段）１０と、挟持部１４Ａ〜１４Ｄとを有する。そして、ナビゲーション装置１は、装着状態において、挟持部１４Ａ〜１４Ｄがルームミラー１２を挟持することでルームミラー１２に対して固定される。そして、ナビゲーション装置１の装着状態では、ルームミラー１２の鏡面と、ナビゲーション装置１の背面とが重なる。ナビゲーション装置１は、本発明における「撮影装置」の一例である。

前方撮影カメラ４は、車両の前方を撮影した画像（「前方画像Ｉｍ」とも呼ぶ。）を生成するためのカメラであり、ナビゲーション装置１の装着状態において、ルームミラー１２と重ならないナビゲーション装置１の背面部分に配置される。また、前方撮影カメラ４は、ナビゲーション装置１の筺体内に回転可能に収容されており、図示しないリモートコントローラ等への操作に基づき、撮影方向が調整される。

ミラー部１３は、例えばハーフミラーであって、入射した一部の光を透過させ、その他の光を反射させる。これにより、ミラー部１３は、背面にあるディスプレイ１０が非発光状態では車両の後方風景を映す通常のミラーとして機能し、ディスプレイ１０が発光状態では、ディスプレイ１０から出射された光を透過させることで、運転者にディスプレイ１０の表示内容を視認させる。ディスプレイ１０は、前方撮影カメラ４が撮影した前方画像Ｉｍに、運転者を案内するための文字や図形などを表す案内画像を重畳させて表示する。

ナビゲーション装置１は、前方画像Ｉｍを対象とした画像認識処理により、車線、信号機の点灯状態、先行車両などを検知し、検知結果に基づくテキスト画像や図形画像などを前方画像Ｉｍに重ねて表示したり、音声情報を出力したりする。ここで、ナビゲーション装置１は、処理負荷の低減のため、前方画像Ｉｍ中に含まれる車線、信号機、先行車両などの検出処理を、前方画像Ｉｍ中の消失点に基づき領域を限定して行う。例えば、ナビゲーション装置１は、信号機を検出する場合、消失点より上側の画像領域を検出範囲として信号機検出を行う。また、ナビゲーション装置１は、後述するように、ドライブレコーダとしても機能する。

図２は、ナビゲーション装置１の機能ブロック図である。図２に示すように、ナビゲーション装置１は、前方撮影カメラ４と、現在位置検出部５と、加速度センサ６と、ディスプレイ１０と、画像バッファ部１１と、不揮発性メモリ１５と、基準対象移動判定部１６と、消失点学習部１７と、制御部１９とを備える。

現在位置検出部５は、例えばＧＰＳ受信機であり、車両の現在位置を示す情報を制御部１９に供給する。加速度センサ６は、Ｘ軸、Ｙ軸、及びＺ軸の３軸方向の加速度を検出し、その検出信号を制御部１９へ供給する。

不揮発性メモリ１５は、例えばＳＤカードなどの記憶媒体であり、制御部１９の制御に基づき、前方撮影カメラ４が生成した前方画像Ｉｍ等を記憶する。

基準対象移動判定部１６は、前方撮影カメラ４の撮影範囲内に存在する車両の一部（「基準対象物Ｔａｇ」とも呼ぶ。）の前方画像Ｉｍ中での移動の有無を判定する。そして、基準対象移動判定部１６は、基準対象物Ｔａｇが前方画像Ｉｍ中で所定距離以上移動した場合に、ルームミラー１２の角度（「ミラー角」とも呼ぶ。）が変化したと判断する。基準対象移動判定部１６の処理の詳細については、［基準対象物の移動検知］のセクションで説明する。

消失点学習部１７は、車両の真正面方向に存在する不変的な消失点を学習する。具体的には、消失点学習部１７は、走行車線の両側に塗布されている白線や、路面と縁石との境界線などを前方画像Ｉｍの画像解析により検出する。そして、消失点学習部１７は、検出した左右の白線や境界線の車両進行方向の延長線上の交点である車線消失点の前方画像Ｉｍ上の座標を、消失点の学習サンプル（「サンプル消失点座標ＣＳ」とも呼ぶ。）として記憶する。そして、消失点学習部１７は、時系列で取得した複数のサンプル消失点座標ＣＳを、移動平均などの統計的手法により平均化することで消失点を学習する。以後では、消失点学習部１７が統計的手法により複数のサンプル消失点座標ＣＳから学習した消失点の前方画像Ｉｍ上の座標を「学習消失点座標ＣＬ」とも呼ぶ。

制御部１９は、所定時間分の前方画像Ｉｍを画像バッファ部１１に上書きし、加速度センサ６により所定値以上の加速度を検出した場合に、画像バッファ部１１に保存した前方画像Ｉｍを不揮発性メモリ１５に書き込む。また、制御部１９は、撮影画像Ｉｍに基づき、公知の画像認識技術により、前方車両の検出、車線の検出、信号機の点灯色の検出などの種々の認識処理を行い、その認識結果に基づく案内画像を前方画像Ｉｍに重畳させてディスプレイ１０に表示させる。このとき、制御部１９は、消失点学習部１７が算出した学習消失点座標ＣＬに基づき、前方画像Ｉｍ内での検出対象の領域を限定する。さらに、制御部１９は、ミラー角が変化したと基準対象移動判定部１６が判定した場合に、消失点学習部１７が学習消失点座標ＣＬの算出に用いる全てのサンプル消失点座標ＣＳを消去する。

なお、ナビゲーション装置１は、図２に示す各要素に加え、音声出力部などをさらに備えてもよい。基準対象移動判定部１６は、本発明における「特定手段」及び「判定手段」、消失点学習部１７は、本発明における「学習手段」、制御部１９は、本発明における「制御手段」の一例である。また、基準対象移動判定部１６、消失点学習部１７及び制御部１９は、例えばＣＰＵ等であり、本発明におけるプログラムを実行する「コンピュータ」の一例である。

［処理フロー］
図３は、消失点学習部１７による学習の初期化処理の手順を示すフローチャートである。図３のフローチャートの処理は、繰り返し実行される。

まず、消失点学習部１７は、前方画像Ｉｍから公知の画像処理技術に基づき、前方画像Ｉｍにおける車線消失点の位置を検出し、サンプル消失点座標ＣＳとして記憶する（ステップＳ１０１）。そして、消失点学習部１７は、時系列で記憶した複数のサンプル消失点座標ＣＳから学習消失点座標ＣＬを算出する（ステップＳ１０２）。例えば、消失点学習部１７は、算出した全てのサンプル消失点座標ＣＳの平均や、直近に取得した所定個数分のサンプル消失点座標ＣＳの移動平均等を、学習消失点座標ＣＬとして算出する。

次に、基準対象移動判定部１６は、前方画像Ｉｍから基準対象物Ｔａｇを検出し、当該基準対象物Ｔａｇが前方画像Ｉｍ内で所定距離（即ち所定画素数）以上移動したか否か判定する（ステップＳ１０３）。この場合、基準対象移動判定部１６は、車両の走行中の前方画像Ｉｍを時系列で比較し、前方画像Ｉｍでの位置が変化しない車両の一部を基準対象物Ｔａｇとみなす。

そして、前方画像Ｉｍ内で基準対象物Ｔａｇが所定距離以上移動したと基準対象移動判定部１６が判断した場合（ステップＳ１０３；Ｙｅｓ）、制御部１９は、学習消失点座標ＣＬの算出に用いるサンプル消失点座標ＣＳを全てクリア（即ち消去）する（ステップＳ１０４）。即ち、この場合、制御部１９は、ミラー角（即ち撮影方向）が変更されたと判断し、消失点学習部１７の学習状態を初期化する。これにより、ミラー角変更前のサンプル消失点座標ＣＳを用いることに起因した学習消失点座標ＣＬの学習精度の低下を好適に抑制する。一方、前方画像Ｉｍ内で基準対象物Ｔａｇが所定距離以上移動していないと基準対象移動判定部１６が判断した場合（ステップＳ１０３；Ｎｏ）、フローチャートの処理を終了する。即ち、制御部１９は、この場合、実質的にミラー角が変更されていないと判断し、消失点学習部１７の学習状態を初期化しない。

［基準対象物の移動検知］
次に、図３のステップＳ１０３で基準対象移動判定部１６が実行する処理の具体例について説明する。

図４（Ａ）は、ミラー角が調整される前に前方撮影カメラ４が撮影した前方画像Ｉｍを示す。図４（Ａ）の前方画像Ｉｍには、車両の一部であるＡピラー３２と、ダッシュボード３３とが表示されている。また、図４（Ａ）の位置３１は、消失点学習部１７が学習した学習消失点座標ＣＬの位置を示す。図４（Ａ）に示すように、位置３１は、車線消失点と重なっている。

この場合、基準対象移動判定部１６は、前方画像Ｉｍを時系列で比較し、前方画像Ｉｍでの位置が変化しないＡピラー３２及びダッシュボード３３を基準対象物Ｔａｇとみなす。そして、基準対象移動判定部１６は、前方画像Ｉｍ内におけるＡピラー３２及びダッシュボード３３の輪郭（破線３４参照）の座標情報や当該輪郭内の領域の色情報などを記憶する。さらに、基準対象移動判定部１６は、Ａピラー３２及びダッシュボード３３の継ぎ目であってこれらの輪郭線の角度が急激に変化している位置３５Ａを基準対象物Ｔａｇの特徴点として検出する。そして、基準対象移動判定部１６は、基準対象物Ｔａｇの特徴点の位置を断続的に検出してその移動量を監視することにより、基準対象物Ｔａｇの移動の有無を監視する。

図４（Ｂ）は、ミラー角が調整された後に前方撮影カメラ４が撮影した前方画像Ｉｍを示す。図４（Ｂ）では、便宜上、図４（Ａ）において検出した輪郭を示す破線３４及び特徴点を示す位置３５Ａについても図示されている。

この例では、ミラー角の調整により、撮影方向が左下方向にずれている。この場合、基準対象移動判定部１６は、図４（Ｂ）に示す前方画像Ｉｍから検出した基準対象物Ｔａｇの輪郭（一点鎖線３６参照）の特徴点の位置３５Ｂが、前回算出した基準対象物Ｔａｇの特徴点の位置３５Ａと所定距離以上離れていると判断する。図４（Ｂ）では、前方画像Ｉｍの上方向をＸ軸の正方向とし、前方画像Ｉｍの右方向をＹ軸の正方向とした場合に、基準対象物Ｔａｇの特徴点は、Ｘ軸方向に移動量「ｄＸ」だけ移動し、Ｙ軸方向に移動量「ｄＹ」だけ移動している。この場合、ミラー角調整前に消失点学習部１７が学習した学習消失点座標ＣＬの位置３１は、前方画像Ｉｍ中の車線消失点とずれている。よって、制御部１９は、この場合、ミラー角変更後の学習消失点座標ＣＬの算出に不適となったサンプル消失点座標ＣＳを全て削除し、消失点学習部１７の学習状態を初期化する。これにより、ミラー角変更後の正確な学習消失点座標ＣＬの算出を好適に促進することができる。

以上説明したように、第１実施例に係るナビゲーション装置１は、車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能であって、前方撮影カメラ４と、基準対象移動判定部１６と、消失点学習部１７と、制御部１９とを有する。前方撮影カメラ４は、ナビゲーション装置１と共に回転し、車両の前方風景を撮影する。消失点学習部１７は、前方画像Ｉｍを解析し、前方画像Ｉｍに含まれる消失点の位置を学習する。基準対象移動判定部１６は、ナビゲーション装置１の向きが変更されたか否かを判定する。制御部１９は、ナビゲーション装置１の向きが変更されたと基準対象移動判定部１６により判定された場合に、消失点学習部１７の学習状態を初期化させる。このようにすることで、ナビゲーション装置１は、ナビゲーション装置１の向きが回転することにより撮影方向が変更された場合であっても、撮影方向変更前の学習データの影響により、正確な消失点位置の学習が遅れるのを好適に抑制することができる。

［変形例］
以下、第１実施例に好適な変形例について説明する。

ナビゲーション装置１は、基準対象移動判定部１６による前方画像Ｉｍの画像解析によりミラー角度の変化を検知した。これに代えて、ナビゲーション装置１は、ルームミラー１２に搭乗者が接触したことを検出するための接触センサを備え、当該接触センサの出力に基づきミラー角度の変化を検知してもよい。

この場合、接触センサは、ルームミラー１２のミラー面上に設けられたタッチパネルであってもよいし、搭乗者がルームミラー１２を角度変更する際に接触するルームミラー１２のハウジングあるいはレバーに設けられた感圧スイッチなどであってもよい。この場合、制御部１９は、図３のステップＳ１０３において、接触センサの出力信号に基づき、ルームミラー１２（即ちナビゲーション装置１）への接触があると判断した場合に、ミラー角が変更された可能性があると判断し、ステップＳ１０４へ処理を進める。

他の例では、ナビゲーション装置１は、加速度センサ６の出力に基づき、ミラー角が変化したか否か判定してもよい。この場合、ナビゲーション装置１は、加速度センサ６の検出信号に基づき、所定の基準値以上の加速度が検知された場合に、ミラー角の変化があったとみなす。ここで、「基準値」は、ミラー角が変更されたか否かを判定するための加速度の閾値であり、例えば実験等に基づき予め定められる。この場合、基準対象移動判定部１６は、ＸＹＺ軸の各加速度のうち最も大きい加速度と基準値とを比較してもよく、３次元空間における加速度のベクトル長と基準値とを比較してもよい。

また、上記実施例では、ナビゲーション装置１は、車両に付属する純正のルームミラー１２にナビゲーション装置１を挟み込んで保持するための挟持部１４Ａ〜１４Ｄを備えた。これに代えて、ナビゲーション装置１は、挟持部１４Ａ〜１４Ｄを備えず、ルームミラーに内蔵され、車両に付属する純正のルームミラーと交換できるものであってもよい。

他の例では、ナビゲーション装置１は、ルームミラー１２に取付けまたは内蔵されるものに限定されず、車両のダッシュボード上に設置されたディスプレイと一体に構成され、搭乗者によりディスプレイが視認しやすい向きに角度を変更自在なナビゲーション装置であってもよい。

さらに別の例では、ナビゲーション装置１は、経路案内機能を有しないドライブレコーダなどであってもよい。

＜第２実施例＞
図５は、第２実施例に係るナビゲーション装置１Ａのブロック図である。第２実施例に係るナビゲーション装置１Ａは、２つの学習部（消失点長期学習部１７Ｌ及び消失点短期学習部１７Ｓ）を備える点で、第１実施例に係るナビゲーション装置１と異なる。以後では、ナビゲーション装置１と同様のナビゲーション装置１Ａの他の構成要素については適宜同一符号を付し、その説明を省略する。

消失点長期学習部１７Ｌは、基準対象移動判定部１６によりミラー角の変更の可能性があると判断されるまでの間、消失点の学習を行う。消失点短期学習部１７Ｓは、ミラー角の変更の可能性があると基準対象移動判定部１６が判断した時点から所定期間、消失点の学習を行う。後述するように、消失点短期学習部１７Ｓによる学習結果は、消失点長期学習部１７Ｌの学習状態を初期化するか否か判断するのに用いられる。

一般に、搭乗者がルームミラー１２に接触した場合であっても、実際にはミラー角を変えなかったり、一旦ミラー角を変えても直ちに元に戻したりする場合も考えられる。この場合、第１実施例では、結果的にはミラー角が変更されなかったにも関わらず、消失点学習部１７が行った消失点の学習を不要に初期化してしまうことになる。

以上を勘案し、第２実施例の制御部１９は、ミラー角変更の可能性があると判断した時点で、消失点短期学習部１７Ｓに消失点の学習を開始させる。その後、制御部１９は、消失点長期学習部１７Ｌにより学習された学習消失点座標ＣＬ（「旧学習消失点座標ＣＬＯ」とも呼ぶ。）と、消失点短期学習部１７Ｓにより学習された学習消失点座標ＣＬ（「新学習消失点座標ＣＬＮ」とも呼ぶ。）との距離が所定距離以上の場合にのみ、消失点長期学習部１７Ｌの学習状態を初期化する。

図６は、第２実施例においてナビゲーション装置１Ａが実行する消失点長期学習部１７Ｌの学習状態の初期化に関する処理手順を示すフローチャートである。ナビゲーション装置１Ａは、図６のフローチャートを繰り返し実行する。

まず、消失点長期学習部１７Ｌは、消失点の学習を行う（ステップＳ２０１）。具体的には、消失点長期学習部１７Ｌは、図３のステップＳ１０１及びステップＳ１０２と同様に、各前方画像Ｉｍに対してサンプル消失点座標ＣＳを算出し、算出したサンプル消失点座標ＣＳに対し統計処理を行うことで旧学習消失点座標ＣＬＯを算出する。

次に、基準対象移動判定部１６は、図３のステップＳ１０３と同様に、前方画像Ｉｍから基準対象物Ｔａｇを検出し、当該基準対象物Ｔａｇが前方画像Ｉｍ内で所定距離（即ち所定画素数）以上移動したか否か判定する（ステップＳ２０２）。これにより、基準対象移動判定部１６は、ミラー角変更の可能性の有無を判断する。

そして、基準対象物Ｔａｇが前方画像Ｉｍ内で所定距離以上移動したと基準対象移動判定部１６が判断した場合（ステップＳ２０２；Ｙｅｓ）、制御部１９は、消失点短期学習部１７Ｓの学習状態を初期化する（ステップＳ２０３）。その後、消失点短期学習部１７Ｓは、消失点の学習を開始する（ステップＳ２０４）。この場合、消失点短期学習部１７Ｓは、消失点長期学習部１７Ｌが算出したサンプル消失点座標ＣＳを用いることなく、独自に前方画像Ｉｍからサンプル消失点座標ＣＳを算出し、算出したサンプル消失点座標ＣＳに基づき新学習消失点座標ＣＬＮを算出する。また、消失点長期学習部１７Ｌは、この場合、学習を停止する。

次に、制御部１９は、消失点短期学習部１７Ｓにより学習された消失点の確度が所定値以上になったか否か判定する（ステップＳ２０５）。この場合、制御部１９は、消失点短期学習部１７Ｓが算出したサンプル消失点座標ＣＳの数等に基づき、公知の統計的手法により上述の確度を算出する。この場合、制御部１９は、消失点短期学習部１７Ｓが算出したサンプル消失点座標ＣＳの数が所定個数以上になった場合、又は、消失点短期学習部１７Ｓの学習開始から所定時間以上経過した場合に、消失点短期学習部１７Ｓにより学習された消失点の確度が所定値以上になったと判断してもよい。

そして、消失点短期学習部１７Ｓにより学習された消失点の確度が所定値以上になった場合（ステップＳ２０５；Ｙｅｓ）、制御部１９は、消失点短期学習部１７Ｓの学習を停止させると共に、消失点短期学習部１７Ｓが学習した消失点と消失点長期学習部１７Ｌが学習した消失点との距離が所定距離以上になったか判定する（ステップＳ２０６）。即ち、制御部１９は、この場合、新学習消失点座標ＣＬＮが信頼できる程度に学習されたと判断し、旧学習消失点座標ＣＬＯと新学習消失点座標ＣＬＮとの距離が所定画素数以上であるか否か判定する。上述の所定画素数は、例えばミラー角が実質的に変更されていない場合に生じ得る距離の上限値等に実験等に基づき予め設定される。一方、消失点短期学習部１７Ｓにより学習された消失点の確度が所定値未満の場合（ステップＳ２０５；Ｎｏ）、消失点短期学習部１７Ｓは引き続き学習を行う（ステップＳ２０４）。

そして、制御部１９は、旧学習消失点座標ＣＬＯと新学習消失点座標ＣＬＮとの距離が所定画素数以上であると判断した場合（ステップＳ２０６；Ｙｅｓ）、消失点長期学習部１７Ｌの学習結果を消去させる（ステップＳ２０７）。即ち、この場合、制御部１９は、消失点長期学習部１７Ｌが算出したサンプル消失点座標ＣＳを消去することで、消失点長期学習部１７Ｌの学習状態を初期化させる。その後、好適には、消失点長期学習部１７Ｌは、消失点短期学習部１７Ｓの学習結果に基づき、消失点の学習を再開するとよい。即ち、この場合、消失点長期学習部１７Ｌは、消失点短期学習部１７Ｓが算出したサンプル消失点座標ＣＳを、以後の学習消失点座標ＣＬの算出に用いるとよい。これにより、消失点長期学習部１７Ｌは、ステップＳ２０５からステップＳ２０６へ移行するまでの期間での消失点短期学習部１７Ｓの学習結果を好適に活用して学習を再開することができる。

一方、制御部１９は、旧学習消失点座標ＣＬＯと新学習消失点座標ＣＬＮとの距離が所定画素数以上離れていないと判断した場合（ステップＳ２０６；Ｎｏ）、ミラー角の変更が一時的であった又は生じなかったと判断し、フローチャートの処理を終了する。この場合、消失点長期学習部１７Ｌは、学習状態が初期化されることなく、消失点の学習を再開する。

なお、第１実施例の変形例は、第２実施例にも好適に適用される。例えば、図６のステップＳ２０２では、ナビゲーション装置１は、基準対象移動判定部１６に代えて、接触センサや加速度センサ６の出力に基づき、基準対象物Ｔａｇの位置が変化したか否かを判定してもよい。

１ ナビゲーション装置
４ 前方撮影カメラ
５ 現在位置検出部
１０ ディスプレイ
１１ 画像バッファ部
１２ ルームミラー
１５ 不揮発性メモリ
１６ 基準対象移動判定部
１７ 消失点学習部
１９ 制御部

Claims (8)

1. 車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能な撮影装置であって、
   前記前方風景を撮影する撮影手段と、
   前記撮影手段により撮影された前方画像における消失点の位置を学習する学習手段と、
   前記撮影装置の向きが変更されたか否かを、前記学習手段の学習結果に依らず判定する判定手段と、
   前記判定手段により前記撮影装置の向きが変更されたと判定された場合に、前記学習手段の学習状態を初期化させる制御手段と、
   を備えることを特徴とする撮影装置。
2. 前記車両のルームミラーに内蔵され、またはルームミラーに取り付けられることを特徴とする請求項１に記載の撮影装置。
3. 前記車両が走行中における前記前方画像を解析し、当該前方画像に含まれ、前記車両の一部となる対象物を特定する特定手段をさらに備え、
   前記判定手段は、前記対象物の前記前方画像中の位置が基準値より大きく移動した場合に前記撮影装置の向きが変更されたと判定することを特徴とする請求項１または２に記載の撮影装置。
4. 前記判定手段は、前記車両の搭乗者が前記撮影装置に接触したことを検出する接触センサが前記撮影装置への接触を検出した場合に、前記撮影装置の向きが変更されたと判定することを特徴とする請求項１または２に記載の撮影装置。
5. 前記判定手段は、加速度センサが基準値以上の加速度を検出した場合に、前記撮影装置の向きが変更されたと判定することを特徴とする請求項１または２に記載の撮影装置。
6. 車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能な撮影装置が実行する制御方法であって、
   前記前方風景を撮影する撮影手段により撮影された前方画像を解析し、前記前方画像に含まれる消失点の位置を学習する学習工程と、
   前記撮影装置の向きが変更されたか否かを前記学習工程の学習結果に依らず判定する判定工程と、
   前記判定工程により前記撮影装置の向きが変更されたと判定された場合に、前記学習工程の学習状態を初期化させる制御工程と、
   を有することを特徴とする制御方法。
7. 車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能な撮影手段と電気的に接続するコンピュータが実行するプログラムであって、
   前記撮影手段により撮影された前方画像を解析し、前記前方画像に含まれる消失点の位置を学習する学習手段と、
   前記撮影手段の向きが変更されたか否かを前記学習手段の学習結果に依らず判定する判定する判定手段と、
   前記判定手段により前記撮影手段の向きが変更されたと判定された場合に、前記学習手段の学習状態を初期化させる制御手段
   として前記コンピュータを機能させることを特徴とするプログラム。
8. 請求項７に記載のプログラムを記憶したことを特徴とする記憶媒体。

Images