JP7371269B2 - 自動車のカメラピッチをキャリブレーションする方法及び装置、並びにそのための消滅点推定モデルをコンティニュアルラーニングさせる方法 - Google Patents

Description

本出願は、２０２０年４月２４日に米国特許庁に出願された米国特許出願第６３／０１４，８８４号及び２０２０年１２月１７日に米国特許庁に出願された米国特許出願第１７／１２５，０８７号に基づいて出願され、これに対して優先権を主張し、その全体の内容が参照として本明細書に含まれる。

本発明は自動車のカメラピッチ（ｐｉｔｃｈ）を消滅点（ｖａｎｉｓｈｉｎｇ ｐｏｉｎｔ）、オブジェクト、及び車線情報を利用してキャリブレーションする方法及び装置、並びにそのための消滅点推定（ｅｓｔｉｍａｔｉｏｎ）モデルをコンティニュアルラーニング（ｃｏｎｔｉｎｕａｌ ｌｅａｒｎｉｎｇ）させる方法に関する。

最近の自動車は、ＩＴ技術と結合して様々な機能を提供しており、自動車の走行安定性の向上及び使用者の便宜を確保するために、様々な運転者補助システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔ Ｓｙｓｔｅｍ、ＡＤＡＳ）を装着する形態に発展している。

この際、運転者補助システム（ＡＤＡＳ）は、先端感知装置と知能型映像装置とを利用して適応型前照灯、前方衝突回避、車線離脱防止、死角地帯監視、向上した後方監視などの機能を遂行する。

このような運転者補助システムは、パーセプション（ｐｅｒｃｅｐｔｉｏｎ）モデルに基づいてカメラ、ライダーセンサ、レーダーセンサなどの映像イメージ検出装置から伝送される走行イメージを分析し、自動車の周辺環境情報を検出する。

そして、このような走行イメージの分析において、走行イメージ内のオブジェクトと自動車との間の距離を測定しなければならず、このために、カメラのピッチを演算した後、演算されたピッチを利用して実際の走行環境で自動車からオブジェクトの位置までの距離を演算する。

一方、自動車の運行中に、道路路面の凹溝などで自動車のローリングが発生するようになり、それに応じて自動車に固定設置されたカメラのピッチが変化するため、これを正確に推定しなければならない。

そして、カメラのピッチを推定するために、従来は、走行イメージ内の消滅点を利用してピッチを推定するか、エゴモーション（ｅｇｏ－ｍｏｔｉｏｎ）、即ち、カメラのモーションを利用してピッチを推定している。

走行イメージの消滅点を利用する方法は、走行イメージ内の消滅点を検出し、カメラの原点から消滅点と走行イメージの中央点とが成す角度を演算することによってピッチを推定する方法であり、ピッチ推定のための別途のポイントが必要なく、完全に自動的に遂行することができるという長所があるが、走行イメージ内で消滅点を検出することが走行環境によって困難であることもあり、それに応じてピッチ推定の正確性が落ちるという短所がある。

そして、エゴモーションを利用する方法は、走行イメージの前後のフレームを利用してそれぞれのフレームにおけるオブジェクトの移動状態を演算することによってピッチを推定する方法であり、消滅点を利用する方法に比べて高い正確性を示すが、走行イメージの前後のフレームを分析しなければならないため、消滅点を利用する方法に比べてより多くの演算量を必要とし、それに応じてより多くのコンピューティングリソースを必要とするという短所がある。これに加えて、走行環境によって発生する不安定なフィーチャーや不規則的な照度変更によりモーションを正確に検出することができないという短所がある。

本発明は、上述した問題点をすべて解決することをその目的とする。
本発明は、従来に比べて正確に自動車のカメラピッチを推定することができるようにすることを他の目的とする。

本発明は、従来に比べて少ない演算量で自動車のカメラピッチを推定することができるようにすることをさらに他の目的とする。

本発明は、消滅点を検出する消滅点推定モデルをコンティニュアルラーニングすることができるようにすることをさらに他の目的とする。

本発明の一実施例によると、自動車のカメラピッチをキャリブレーションする方法において、（ａ）自動車の運行中にカメラからの走行イメージが獲得されると、キャリブレーション装置が、前記走行イメージをオブジェクトディテクションネットワークと車線ディテクションネットワークとにそれぞれ入力することで、前記オブジェクトディテクションネットワークによって前記走行イメージ上のオブジェクトを検出してオブジェクト検出情報を出力させ、前記車線ディテクションネットワークによって前記走行イメージ上の車線を検出して車線検出情報を出力させる段階と、（ｂ）前記キャリブレーション装置が、前記オブジェクト検出情報をプロファイリングすることによるオブジェクトのそれぞれに対応するオブジェクトプロファイリング情報と、前記車線検出情報をプロファイリングすることによる車線のそれぞれに対応する車線プロファイリング情報とを生成し、前記オブジェクトプロファイリング情報をオブジェクト基盤ピッチ推定モジュールに入力することで、前記オブジェクト基盤ピッチ推定モジュールによって（ｉ）前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第１ターゲットオブジェクトを選定し、前記第１ターゲットオブジェクトの第１高さを利用した第１ピッチ推定を通じて第１ピッチを生成させ、（ｉｉ）前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第２ターゲットオブジェクトを選定させ、前記第２ターゲットオブジェクトの幅（ｗｉｄｔｈ）を利用した第２ピッチ推定を通じて第２ピッチを生成させるプロセスと、前記走行イメージを分析して消滅点を検出する消滅点推定ネットワークの消滅点検出情報と前記車線プロファイリング情報とを車線基盤ピッチ推定モジュールに入力することで、前記車線基盤ピッチ推定モジュールによって、（ｉ）前記車線プロファイリング情報を利用した第３ピッチ推定を通じて第３ピッチを生成させ、（ｉｉ）前記消滅点検出情報を利用した第４ピッチ推定を通じて第４ピッチを生成させるプロセスと、を遂行する段階と、（ｃ）前記キャリブレーション装置が、前記第１ピッチ乃至前記第４ピッチをピッチ決定モジュールに入力することで、前記ピッチ決定モジュールによって前記第１ピッチ乃至前記第４ピッチをアンサンブルすることで、前記走行イメージに対応する決定ピッチを出力させる段階と、を含む方法が提供される。

前記（ｃ）の段階で、前記キャリブレーション装置は、前記ピッチ決定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第３ターゲットオブジェクトを選定し、前記第３ピッチを利用して前記第３ターゲットオブジェクトの第２高さを演算した後、前記第２高さが高さスレッショルド以内であるか否かを確認して前記第３ピッチを検証し、（ｉ）前記第３ピッチが有効な場合には、前記第３ピッチを前記決定ピッチとして出力させ、（ｉｉ）前記第３ピッチが有効でない場合には、前記第１ピッチに対応する第１ターゲットオブジェクトと前記第２ピッチに対応する第２ターゲットオブジェクトとを比較し、前記第１ターゲットオブジェクトと前記第２ターゲットオブジェクトとが同一であれば、前記第１ピッチ及び前記第２ピッチのうちいずれか一つを前記決定ピッチとして出力させ、前記第１ターゲットオブジェクトと前記第２ターゲットオブジェクトとが同一でなければ、前記第１ターゲットオブジェクトと前記第２ターゲットオブジェクトとのうち前記自動車とのラテラルディスタンスが小さい特定のターゲットオブジェクトに対応する特定のピッチを前記決定ピッチとして出力させ、（ｉｉｉ）前記走行イメージから検出されたオブジェクト及び車線がない場合には、前記第４ピッチを前記決定ピッチとして出力させる。

前記キャリブレーション装置は、前記ピッチ決定モジュールによって、前記自動車とのラテラルディスタンスが第１ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複していない第１候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第１特定のオブジェクトを前記第３ターゲットオブジェクトに選定させる。

前記（ｃ）の段階で、前記キャリブレーション装置は、前記ピッチ決定モジュールによって前記決定ピッチを以前フレームにおける以前ピッチ値とスムージング（ｓｍｏｏｔｈｉｎｇ）を適用して前記決定ピッチに対するピッチスムージングを遂行し、ピッチ変化スレッショルドを使用してフレーム間の最大ピッチ変化を制限するトレランス（ｔｏｌｅｒａｎｃｅ）ハンドリングを遂行させる。

（ｄ）前記キャリブレーション装置は、前記決定ピッチと前記第４ピッチとを参照することでピッチロスを獲得し、前記ピッチロスを利用して前記消滅点推定ネットワークをオン－ビークルコンティニュアルラーニングする段階をさらに含む。

前記キャリブレーション装置は、（ｉ）前記自動車の運行中に、前記ピッチロスを利用して前記消滅点推定ネットワークをインスタンス－ワイズインクリメンタルラーニング（ｉｎｓｔａｎｃｅ－ｗｉｓｅ ｉｎｃｒｅｍｅｎｔａｌ ｌｅａｒｎｉｎｇ）することで迅速な適応（ｆａｓｔ ａｄａｐｔａｔｉｏｎ）となるようにし、（ｉｉ）前記自動車の走行完了後、走行中にサンプリングされたデータを利用して前記消滅点推定ネットワークをバランス良く（ｂａｌａｎｃｅｄ）コンティニュアルラーニングすることで前記迅速な適応により発生する可能性のあるカタストロフィックフォーゲッティング（ｃａｔａｓｔｒｏｐｈｉｃ ｆｏｒｇｅｔｔｉｎｇ）現象を防止する。

前記キャリブレーション装置は、（ｉ）前記自動車の運行中に、前記ピッチロスを利用して前記消滅点推定ネットワークをインスタンス－ワイズインクリメンタルラーニングすることで迅速な適応となるようにし、（ｉｉ）前記インスタンス－ワイズインクリメンタルラーニングに使用された、サンプリングされたデータをラーニングサーバに伝送することで、前記ラーニングサーバによって前記サンプリングされたデータを利用して前記消滅点推定ネットワークに対応するリファレンス（ｒｅｆｅｒｅｎｃｅ）消滅点推定ネットワークをサーバ－サイドコンティニュアルラーニングして、前記サーバ－サイドコンティニュアルラーニングによりアップデートされたパラメータを前記キャリブレーション装置に伝送させ、（ｉｉｉ）前記自動車の走行完了後、前記ラーニングサーバから受信された前記パラメータを利用して前記消滅点推定ネットワークをアップデートする。

（ｅ）前記キャリブレーション装置は、（ｉ）前記オン－デバイスラーニングされた学習済み消滅点推定ネットワークモデルをラーニングサーバに伝送することで、前記ラーニングサーバによって少なくとも一つの他の自動車から伝送された少なくとも一つの他の学習済み消滅点推定ネットワークモデルと前記学習済み消滅点推定ネットワークモデルとを評価してベスト消滅点推定ネットワークモデルを選定させ、前記ベスト消滅点推定ネットワークモデルを前記キャリブレーション装置に伝送させ、（ｉｉ）前記ラーニングサーバから伝送された前記ベスト消滅点推定ネットワークモデルを利用して前記消滅点推定ネットワークをアップデートする段階と、をさらに含む。

前記（ｂ）の段階で、前記キャリブレーション装置は、前記オブジェクト基盤ピッチ推定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記自動車とのラテラルディスタンスが第２ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複していない第２候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第２特定のオブジェクトを前記第１ターゲットオブジェクトに選定し、前記第１ターゲットオブジェクトの検出ヒストリーを参照することで、前記第１ターゲットオブジェクトの平均高さを獲得し、前記平均高さが最小高さスレッショルド以上であり最大高さスレッショルド以下である場合には、前記平均高さを前記第１高さに決定させ、前記平均高さが前記最小高さスレッショルド未満であるか前記最大高さスレッショルドを超過する場合には、前記最小高さスレッショルドと前記最大高さスレッショルドとの平均値を前記第１高さに決定させる。

前記（ｂ）の段階で、前記キャリブレーション装置は、前記オブジェクト基盤ピッチ推定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記自動車とのラテラルディスタンスが第３ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複しておらず、２Ｄバウンディングボックスと３Ｄバウンディングボックスとの差がボックス差スレッショルド以下であり、バウンディングボックスの縦横比が縦横比スレッショルド以上である第３候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第３特定のオブジェクトを前記第２ターゲットオブジェクトに選定させる。

前記（ｂ）の段階で、前記キャリブレーション装置は、前記車線基盤推定モジュールによって、前記車線プロファイリング情報を参照することで、直線であり、長さスレッショルド以上であり、前記自動車の座標系上で互いに平行である第１車線と第２車線とを選択し、前記第１車線と前記第２車線とを利用してターゲット消滅点を検出し、前記ターゲット消滅点を利用して前記第３ピッチ推定を遂行させる。

また、本発明の他の実施例によると、自動車のカメラピッチをキャリブレーションするキャリブレーション装置において、自動車のカメラピッチをキャリブレーションするためのインストラクションが格納されたメモリと、前記メモリに格納された前記インストラクションによって自動車のカメラピッチをキャリブレーションするための動作を遂行するプロセッサと、を含み、前記プロセッサは、（Ｉ）自動車の運行中にカメラからの走行イメージが獲得されると、前記走行イメージをオブジェクトディテクションネットワークと車線ディテクションネットワークとにそれぞれ入力することで、前記オブジェクトディテクションネットワークによって前記走行イメージ上のオブジェクトを検出してオブジェクト検出情報を出力させ、前記車線ディテクションネットワークによって前記走行イメージ上の車線を検出して車線検出情報を出力させるステップと、（ＩＩ）前記オブジェクト検出情報をプロファイリングすることによるオブジェクトのそれぞれに対応するオブジェクトプロファイリング情報と、前記車線検出情報をプロファイリングすることによる車線のそれぞれに対応する車線プロファイリング情報とを生成し、前記オブジェクトプロファイリング情報をオブジェクト基盤ピッチ推定モジュールに入力することで、前記オブジェクト基盤ピッチ推定モジュールによって（ｉ）前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第１ターゲットオブジェクトを選定し、前記第１ターゲットオブジェクトの第１高さを利用した第１ピッチ推定を通じて第１ピッチを生成させ、（ｉｉ）前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第２ターゲットオブジェクトを選定し、前記第２ターゲットオブジェクトの幅（ｗｉｄｔｈ）を利用した第２ピッチ推定を通じて第２ピッチを生成させるプロセスと、前記走行イメージを分析して消滅点を検出する消滅点推定ネットワークの消滅点検出情報と前記車線プロファイリング情報とを車線基盤ピッチ推定モジュールに入力することで、前記車線基盤ピッチ推定モジュールによって、（ｉ）前記車線プロファイリング情報を利用した第３ピッチ推定を通じて第３ピッチを生成させ、（ｉｉ）前記消滅点検出情報を利用した第４ピッチ推定を通じて第４ピッチを生成させるプロセスを遂行するステップと、（ＩＩＩ）前記第１ピッチ乃至前記第４ピッチをピッチ決定モジュールに入力することで、前記ピッチ決定モジュールによって前記第１ピッチ乃至前記第４ピッチをアンサンブルすることで、前記走行イメージに対応する決定ピッチを出力させるステップと、を遂行する、キャリブレーション装置が提供される。

前記プロセッサは、前記（ＩＩＩ）のステップで、前記ピッチ決定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第３ターゲットオブジェクトを選定し、前記第３ピッチを利用して前記第３ターゲットオブジェクトの第２高さを演算した後、前記第２高さが高さスレッショルド以内であるか否かを確認して前記第３ピッチを検証し、（ｉ）前記第３ピッチが有効な場合には、前記第３ピッチを前記決定ピッチとして出力させ、（ｉｉ）前記第３ピッチが有効でない場合には、前記第１ピッチに対応する第１ターゲットオブジェクトと前記第２ピッチに対応する第２ターゲットオブジェクトとを比較し、前記第１ターゲットオブジェクトと前記第２ターゲットオブジェクトとが同一であれば、前記第１ピッチ及び前記第２ピッチのうちいずれか一つを前記決定ピッチとして出力させ、前記第１ターゲットオブジェクトと前記第２ターゲットオブジェクトとが同一でなければ、前記第１ターゲットオブジェクトと前記第２ターゲットオブジェクトとのうち前記自動車とのラテラルディスタンスが小さい特定のターゲットオブジェクトに対応する特定のピッチを前記決定ピッチとして出力させ、（ｉｉｉ）前記走行イメージから検出されたオブジェクト及び車線がない場合には、前記第４ピッチを前記決定ピッチとして出力させる。

前記プロセッサは、前記ピッチ決定モジュールによって、前記自動車とのラテラルディスタンスが第１ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複していない第１候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第１特定のオブジェクトを前記第３ターゲットオブジェクトに選定させる。

前記プロセッサは、前記（ＩＩＩ）のステップで、前記ピッチ決定モジュールによって前記決定ピッチを以前フレームにおける以前ピッチ値とスムージング（ｓｍｏｏｔｈｉｎｇ）を適用して前記決定ピッチに対するピッチスムージングを遂行し、ピッチ変化スレッショルドを使用してフレーム間の最大ピッチ変化を制限するトレランス（ｔｏｌｅｒａｎｃｅ）ハンドリングを遂行させる。

前記プロセッサは、（ＩＶ）前記決定ピッチと前記第４ピッチとを参照することでピッチロスを獲得し、前記ピッチロスを利用して前記消滅点推定ネットワークをオン－ビークルコンティニュアルラーニングするステップをさらに遂行する。

前記プロセッサは、（ｉ）前記自動車の運行中に、前記ピッチロスを利用して前記消滅点推定ネットワークをインスタンス－ワイズインクリメンタルラーニング（ｉｎｓｔａｎｃｅ－ｗｉｓｅ ｉｎｃｒｅｍｅｎｔａｌ ｌｅａｒｎｉｎｇ）することで迅速な適応となるようにし、（ｉｉ）前記自動車の走行完了後、走行中にサンプリングされたデータを利用して前記消滅点推定ネットワークをバランス良く（ｂａｌａｎｃｅｄ）コンティニュアルラーニングすることで前記迅速な適応により発生する可能性のあるカタストロフィックフォーゲッティング（ｃａｔａｓｔｒｏｐｈｉｃ ｆｏｒｇｅｔｔｉｎｇ）現象を防止する。

前記プロセッサは、（ｉ）前記自動車の運行中に、前記ピッチロスを利用して前記消滅点推定ネットワークをインスタンス－ワイズインクリメンタルラーニングすることで迅速な適応となるようにし、（ｉｉ）前記インスタンス－ワイズインクリメンタルラーニングに使用された、サンプリングされたデータをラーニングサーバに伝送することで、前記ラーニングサーバによって前記サンプリングされたデータを利用して前記消滅点推定ネットワークに対応するリファレンス（ｒｅｆｅｒｅｎｃｅ）消滅点推定ネットワークをサーバ－サイドコンティニュアルラーニングして、前記サーバ－サイドコンティニュアルラーニングによりアップデートされたパラメータを前記キャリブレーション装置に伝送させ、（ｉｉｉ）前記自動車の走行完了後、前記ラーニングサーバから受信された前記パラメータを利用して前記消滅点推定ネットワークをアップデートする。

前記プロセッサは、（Ｖ）（ｉ）前記オン－デバイスラーニングされた学習済み消滅点推定ネットワークモデルをラーニングサーバに伝送することで、前記ラーニングサーバによって少なくとも一つの他の自動車から伝送された少なくとも一つの他の学習済み消滅点推定ネットワークモデルと前記学習済み消滅点推定ネットワークモデルとを評価してベスト消滅点推定ネットワークモデルを選定させ、前記ベスト消滅点推定ネットワークモデルを前記キャリブレーション装置に伝送させ、（ｉｉ）前記ラーニングサーバから伝送された前記ベスト消滅点推定ネットワークモデルを利用して前記消滅点推定ネットワークをアップデートするステップをさらに遂行する。

前記プロセッサは、前記（ＩＩ）のステップで、前記オブジェクト基盤ピッチ推定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記自動車とのラテラルディスタンスが第２ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複していない第２候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第２特定のオブジェクトを前記第１ターゲットオブジェクトに選定し、前記第１ターゲットオブジェクトの検出ヒストリーを参照することで、前記第１ターゲットオブジェクトの平均高さを獲得し、前記平均高さが最小高さスレッショルド以上であり最大高さスレッショルド以下である場合には、前記平均高さを前記第１高さに決定させ、前記平均高さが前記最小高さスレッショルド未満であるか前記最大高さスレッショルドを超過する場合には、前記最小高さスレッショルドと前記最大高さスレッショルドとの平均値を前記第１高さに決定させる。

前記プロセッサは、前記（ＩＩ）のステップで、前記オブジェクト基盤ピッチ推定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記自動車とのラテラルディスタンスが第３ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複しておらず、２Ｄバウンディングボックスと３Ｄバウンディングボックスとの差がボックス差スレッショルド以下であり、バウンディングボックスの縦横比が縦横比スレッショルド以上である第３候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第３特定のオブジェクトを前記第２ターゲットオブジェクトに選定させる。

前記プロセッサは、前記（ＩＩ）のステップで、前記車線基盤推定モジュールによって、前記車線プロファイリング情報を参照することで、直線であり、長さスレッショルド以上であり、前記自動車の座標系上で互いに平行である第１車線と第２車線とを選択し、前記第１車線と前記第２車線とを利用してターゲット消滅点を検出し、前記ターゲット消滅点を利用して前記第３ピッチ推定を遂行させる。

本発明は、自動車の走行補助装置を構成するパーセプションモジュールの出力を利用することにより、従来に比べて正確に自動車のカメラピッチを推定することができる。

本発明は、自動車の走行補助装置を構成するパーセプションモジュールの出力を利用することにより、従来に比べて少ない演算量で自動車のカメラピッチを推定することができる。

本発明は、消滅点を検出する消滅点推定モデルをコンティニュアルラーニングすることにより、消滅点を正確に検出することができるようになり、それにより、自動車のカメラピッチをより正確に推定することができる。

本発明の実施形態の説明に用いられるために添付された以下の図面は、本発明の実施形態のうち単に一部であるだけであり、本発明が属する技術分野で通常の知識を有する者（以下、「通常の技術者」）においては、発明的作業がなされることなく、これらの図面に基づいて他の図面が得られる。

図１は、本発明の一実施例において、自動車のカメラピッチをキャリブレーションするキャリブレーション装置を簡略に示した図面である。 図２は、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法を簡略に示した図面である。 図３ａは、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法においてオブジェクトの高さを利用してピッチを推定する状態を簡略に示した図面である。 図３ｂは、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法においてオブジェクトの高さを利用してピッチを推定する状態を簡略に示した図面である。 図４ａは、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法においてオブジェクトの幅を利用してピッチを推定する状態を簡略に示した図面である。 図４ｂは、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法においてオブジェクトの幅を利用してピッチを推定する状態を簡略に示した図面である。 図５は、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法において走行イメージ上でエゴ車線を選択する過程を簡略に示した図面である。 図６は、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法において消滅点推定ネットワークを簡略に示した図面である。 図７は、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法において演算されたピッチのうち走行イメージのピッチを決定する過程を簡略に示した図面である。 図８乃至図１０は、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法において消滅点推定ネットワークをコンティニュアルラーニングする状態をそれぞれ示した図面である。 図９は、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法において消滅点推定ネットワークをコンティニュアルラーニングする状態をそれぞれ示した図面である。 図１０は、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法において消滅点推定ネットワークをコンティニュアルラーニングする状態をそれぞれ示した図面である。

後述する本発明に対する詳細な説明は、本発明の目的、技術的解法及び長所を明らかにするために本発明が実施できる特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施できるのに十分であるように詳細に説明される。

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴若しくは各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は、本明細書から、また一部は、本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。

さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の様々な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取られるべきものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な態様にわたって同一であるか、又は類似の機能を指す。

以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照することで詳細に説明することにする。

図１は、本発明の一実施例において、自動車のカメラピッチをキャリブレーションするキャリブレーション装置を簡略に示した図面であり、図１を参照すると、キャリブレーション装置１０００は、自動車のカメラから獲得された走行イメージに対するオブジェクトディテクション情報と車線ディテクション情報とを利用して、カメラピッチを推定するためのインストラクションが格納されたメモリ１００１と、メモリ１００１に格納されたインストラクションによって自動車のカメラピッチを推定するための動作を遂行するプロセッサ１００２とを含むことができる。

具体的に、キャリブレーション装置１０００は、典型的にコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）及びコンピュータソフトウェア（即ち、コンピューティング装置によって特定の方式で機能させる各インストラクション）の組合せを利用して所望のシステム性能を達成するものであり得る。

また、コンピューティング装置のプロセッサはＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置はオペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むことができる。

しかし、コンピューティング装置が本発明を実施するためのミディアム、プロセッサ及びメモリが統合された形態である統合プロセッサを含む場合を排除するわけではない。

このように構成された本発明の一実施例において、キャリブレーション装置１０００を利用して自動車のカメラピッチをキャリブレーションする方法について図２を参照して説明すると以下の通りである。

まず、自動車、一例として、自律走行自動車に設置されたカメラからの走行イメージが獲得されると、キャリブレーション装置１０００は、走行イメージをオブジェクトディテクションネットワーク１１００と車線ディテクションネットワーク１２００とにそれぞれ入力することで、オブジェクトディテクションネットワーク１１００によって走行イメージ上のオブジェクトを検出してオブジェクト検出情報を出力させ、車線ディテクションネットワーク１２００によって走行イメージ上の車線を検出して車線検出情報を出力させることができる。

この際、オブジェクトディテクションネットワーク１１００は、ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）を使用するＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）基盤のオブジェクトディテクションネットワークだけでなく、ビジュアルフィーチャー及びシャロウ（ｓｈａｌｌｏｗ）ラーニング基盤のクラシファイアで具現され得るが、これに限定されるわけではなく、走行イメージからオブジェクトを検出することができる様々なアルゴリズムが利用され得る。そして、オブジェクトディテクションネットワーク１１００の出力は、２Ｄバウンディングボックスまたは３Ｄバウンディングボックスのようなオブジェクト領域情報と、バウンディングボックスのそれぞれに対応するオブジェクトのクラスを分析したオブジェクトクラス情報とを含むことができるが、本発明がこれに限定されるわけではなく、セダン、トラック、エスユーブイ（ＳＵＶ）などのように自動車の種類に関する情報など、オブジェクトに関する様々な情報を含むことができる。

また、車線ディテクションネットワーク１２００は、ディープラーニングを使用するＣＮＮ基盤の車線ディテクションネットワークだけでなく、イメージプロセッシング及びコンピュータビジョンアルゴリズムで具現され得るが、これに限定されるわけではなく、走行イメージから車線を検出することができる様々なアルゴリズムが利用され得、車線ディテクションネットワーク１２００の出力はｎ次数多項式方程式によって表される車線モデルであり得る。

次に、キャリブレーション装置１０００は、オブジェクトディテクション情報をプロファイリングすることで、オブジェクトのそれぞれに対応するオブジェクトプロファイリング情報と、車線検出情報をプロファイリングすることで、車線のそれぞれに対応する車線プロファイリング情報とを生成することができる。

この際、オブジェクトプロファイリング情報は、オブジェクトのそれぞれに対する幅（ｗｉｄｔｈ）及び高さ（ｈｅｉｇｈｔ）を含むことができるが、本発明がこれに限定されるわけではなく、オブジェクトのそれぞれに対する様々な情報を含むことができる。

また、車線プロファイリング情報は、車線のそれぞれに対する直進性（ｓｔｒａｉｇｈｔｎｅｓｓ）、長さ（ｌｅｎｇｔｈ）、及び自動車座標における傾きを含むことができるが、本発明がこれに限定されるわけではなく、車線のそれぞれに対する様々な情報を含むことができる。

次に、キャリブレーション装置１０００は、走行イメージまたは車線検出情報を消滅点推定ネットワーク１２１０に入力することで、消滅点推定ネットワーク１２１０によってラーニング演算を通じて走行イメージ上における消滅点を検出し、消滅点をトラッキングさせることができる。

次に、キャリブレーション装置１０００は、オブジェクトプロファイリング情報をオブジェクト基盤ピッチ推定モジュール１１１０に入力することで、オブジェクト基盤ピッチ推定モジュール１１００によってオブジェクトプロファイリング情報を参照することでオブジェクトのうち第１ターゲットオブジェクトを選定させ、第１ターゲットオブジェクトの第１高さを利用した第１ピッチ推定を通じて第１ピッチを生成させ、オブジェクトプロファイリング情報を参照することでオブジェクトのうち第２ターゲットオブジェクトを選定させ、第２ターゲットオブジェクトの幅を利用した第２ピッチ推定を通じて第２ピッチを生成させるプロセスを遂行することができる。

また、キャリブレーション装置１０００は、走行イメージまたは車線検出情報を分析して消滅点を検出する消滅点推定ネットワーク１２１０の消滅点検出情報と車線プロファイリング情報とを車線基盤ピッチ推定モジュール１２２０に入力することで、車線基盤ピッチ推定モジュール１２２０によって車線プロファイリング情報を利用した第３ピッチ推定を通じて第３ピッチを生成させ、消滅点検出情報を利用した第４ピッチ推定を通じて第４ピッチを生成させるプロセスを遂行することができる。

オブジェクト基盤ピッチ推定モジュール１１１０が第１ピッチと第２ピッチとを生成し、車線基盤ピッチ推定モジュール１２２０が第３ピッチと第４ピッチとを生成する過程をより詳細に説明すると以下の通りである。

第一に、オブジェクト基盤ピッチ推定モジュール１１１０は、オブジェクトプロファイリング情報を参照することで、走行イメージ上から検出されたオブジェクトのうち、自動車とのラテラルディスタンス（ｌａｔｅｒａｌ ｄｉｓｔａｎｃｅ）が第２ディスタンススレッショルド（ｔｈｒｅｓｈｏｌｄ）以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複していない第２候補オブジェクトを選定し、選ばれた第２候補オブジェクトのうち、ラテラルディスタンスが最も小さい第２特定のオブジェクトを第１ターゲットオブジェクトに選定することができる。

この際、ラテラルディスタンスは、自動車の車幅方向と垂直な方向における自動車とオブジェクトとの間の距離であり得、第２ディスタンススレッショルドは、一例として、１０ｍであり得るが、本発明がこれに限定されるわけではなく、オブジェクトを容易に判別可能な任意のラテラルディスタンスを第２ディスタンススレッショルドとして設定することができる。そして、バウンディングボックスの切断のないオブジェクトは、バウンディングボックスが走行イメージのバウンダリにかかっていないオブジェクトであり得る。また、自動車クラスであるオブジェクトは、セダン、エスユーブイ、トラック、バスなどのように自動車の種類に対するクラスを有するオブジェクトであり得、重複していないオブジェクトは、バウンディングボックスが他のオブジェクトのバウンディングボックスと重複していないか、重複していてもバウンディングボックスのボトム（ｂｏｔｔｏｍ）座標が走行イメージの下端により近いオブジェクトであり得る。

以後、オブジェクト基盤ピッチ推定モジュール１１００は、第１ターゲットオブジェクトの検出ヒストリーを参照することで第１ターゲットオブジェクトの平均高さを獲得し、平均高さが最小高さスレッショルド以上であり、最大高さスレッショルド以下である場合には、平均高さを第１高さに決定し、平均高さが最小高さスレッショルド未満であるか最大高さスレッショルドを超過する場合には、最小高さスレッショルドと最大高さスレッショルドとの平均値を第１高さに決定することができる。

この際、最小高さスレッショルドと最大高さスレッショルドとは、自動車クラス別に設定され得る。一例として、自動車クラスがセダン、エスユーブイ、または類似した大きさの自動車に対しては、最小高さスレッショルドを１．４ｍに設定し、最大高さスレッショルドは１．８ｍに設定することができ、バス、トラックなどのような自動車に対しては、最小高さスレッショルドを２．５ｍに設定し、最大高さスレッショルドは４ｍに設定することができる。

そして、オブジェクト基盤ピッチ推定モジュール１１００は、第１ターゲットオブジェクトの第１高さを利用してバイナリサーチ（ｂｉｎａｒｙ ｓｅａｒｃｈ）により第１ピッチを生成するか、直接演算を通じて第１ピッチを生成することができる。

即ち、オブジェクト基盤ピッチ推定モジュール１１００は、バイナリサーチにより現在ピッチ角度であるＰ、ピッチサーチレインジ（角度）であるα、第１ターゲットオブジェクトのバウンディングボックスであるＢ、第１ターゲットオブジェクトの第１高さであるＨを入力として受信することで、新しく推定されたピッチ角度であるＰ’を出力する。

この際、ｍｉｎ＿ａｎｇｌｅはＰ－α、ｍａｘ＿ａｎｇｌｅはＰ＋αで表され得、自動車座標系上で第１ターゲットオブジェクトのバウンディングボックスＢの高さを計算する関数をＶＣＳ＿Ｈ（Ｂ）とする場合、ＶＣＳ＿Ｈ（Ｂ）！＝Ｈの状態で、Ｐ’＝ｂｉｎａｒｙ ｓｅａｒｃｈ（Ｂ，Ｈ，ｍｉｎ＿ａｎｇｌｅ，ｍａｘ＿ａｎｇｌｅ）により推定され得、ｍｉｎ＿ａｎｇｌｅとｍａｘ＿ａｎｇｌｅとはアップデートされ得る。一方、ｂｉｎａｒｙ＿ｓｅａｒｃｈ（Ｂ，Ｈ，ｍｉｎ＿ａｎｇｌｅ，ｍａｘ＿ａｎｇｌｅ）は、第１ターゲットオブジェクトのバウンディングボックスＢの高さが第１高さＨとなるようにピッチを探索する関数であり得る。

また、図３ａ及び図３ｂを参照すると、オブジェクト基盤ピッチ推定モジュール１１００は、図３ａのようなピンホール（ｐｉｎｈｏｌｅ）カメラモデルの三角形類似比例式を利用して、焦点距離：バウンディングボックスの高さ＝Ｚ：ターゲットオブジェクトの高さ（第１高さ）により、ターゲットオブジェクトの距離であるＺ＝（焦点距離）×（ターゲットオブジェクトの高さ）／（バウンディングボックスの高さ）を通じて距離（Ｚ）を計算し、図３ｂのように、計算された距離（Ｚ）を利用した次の数式により第１ピッチ（θ）を推定することができる。

第二に、オブジェクト基盤ピッチ推定モジュール１１００は、オブジェクトプロファイリング情報を参照することで自動車とのラテラルディスタンスが第３ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複しておらず、２Ｄバウンディングボックスと３Ｄバウンディングボックスとの差がボックス差スレッショルド以下であり、バウンディングボックスの縦横比が縦横比スレッショルド以下である第３候補オブジェクトのうちラテラルディスタンスが最も小さい第３特定のオブジェクトを第２ターゲットオブジェクトに選定することができる。

この際、ラテラルディスタンスは自動車の車幅方向と垂直な方向における自動車とオブジェクトとの間の距離であり得、第３ディスタンススレッショルドは、一例として、３ｍであり得るが、本発明がこれに限定されるわけではなく、オブジェクトを容易に判別可能な任意のラテラルディスタンスを第３ディスタンススレッショルドとして設定することができる。そして、バウンディングボックスの切断のないオブジェクトは、バウンディングボックスが走行イメージのバウンダリにかかっていないオブジェクトであり得る。また、自動車クラスであるオブジェクトは、セダン、エスユーブイ、トラック、バスなどのように自動車の種類に対するクラスを有するオブジェクトであり得、重複していないオブジェクトは、バウンディングボックスが他のオブジェクトのバウンディングボックスと重複していないか、重複していてもバウンディングボックスのボトム座標が走行イメージの下端により近いオブジェクトであり得る。また、２Ｄバウンディングボックスと３Ｄバウンディングボックスとの差がボックス差スレッショルド以下であるオブジェクトは、自動車のほぼ正面にあるオブジェクトであり得、バウンディングボックスの縦横比が縦横比スレッショルド以上であるオブジェクトは、側面が正面から見えないオブジェクトであり得る。即ち、交差路などでは側面が自動車の正面に見える場合、該当オブジェクトのバウンディングボックスは、縦横比が小さいため、これを防止するためにバウンディングボックスの縦横比が縦横比スレッショルド未満であるオブジェクトを選択しないようにするためのものであり得る。

以後、オブジェクト基盤ピッチ推定モジュール１１００は、第２ターゲットオブジェクトの自動車クラスを参照することで第２ターゲットオブジェクトの幅を決定することができる。

この際、第２ターゲットオブジェクトの幅は、第２ターゲットオブジェクトの自動車クラス別に設定された幅により決定され得る。一例として、自動車クラスがセダン、エスユーブイ、または類似した大きさの自動車に対しては１．８ｍに設定され得、バス、トラックなどのような自動車に対しては１．８ｍに設定され得るが、本発明がこれに限定されるわけではなく、自動車クラス別に特定の定数に設定され得る。これは、同一の自動車クラス内では車種による幅の差が大きくないため、同一の自動車クラスに対しては同一の幅を有するものと設定することができる。

第三に、車線基盤ピッチ推定モジュール１２２０は、車線プロファイリング情報を参照することで、直線であり、距離スレッショルド以上であり、自動車の座標系上で互いに平行である第１車線と第２車線とを選択し、第１車線と第２車線とを利用してターゲット消滅点を検出し、ターゲット消滅点を利用して第３ピッチを推定することができる。

一例として、車線基盤ピッチ推定モジュール１２２０は、走行イメージ上から検出された車線が直線である程度を示す直進性（ｓｔｒａｉｇｈｔｎｅｓｓ）、走行イメージ上から検出された車線の長さ、自動車座標系上の車線の傾きを含む車線プロファイリング情報を参照することで、直線であり、車線の長さが距離スレッショルド以上であり、自動車座標系上で平行である条件を満足する第１車線と第２車線とを消滅点検出のための車線に選択することができる。この際、車線を走行イメージ座標系から自動車座標系に変換する際には以前フレームのカメラパラメータを使用することができる。

そして、車線基盤ピッチ推定モジュール１２２０は選択された第１車線と第２車線との車線方程式を利用することで交点を計算して消滅点を検出し、検出された消滅点とカメラのセンターとを利用して第３ピッチを推定することができる。

この際、ｎ個の車線が検出された場合には、図５のようなサーチツリー（ｓｅａｒｃｈ ｔｒｅｅ）を利用して二つの車線を選択することができる。

即ち、車線のうち自動車に対応するエゴ車線を検出し、両側のエゴ車線が検出された場合には、直線であり特定の距離スレッショルド以上である有用性条件を満足するかを確認し、両側のエゴ車線が全て有用性条件を満足するのであれば、二つの車線が平行な傾き有効検証条件を満足するかを確認し、一つの車線のみが有用性条件を満足するのであれば、有用性条件を満足する代替車線を検出することで、傾き有効検証条件を満足するかを確認する。そして、左のエゴ車線または右のエゴ車線のみが検出された場合には、それぞれ有用性条件を満足する代替車線を検出することで、傾き検証条件を満足するかを確認する。これを通じて、有用性条件と傾き検証条件とを満足する二つの車線を選択することができる。

第四に、車線基盤ピッチ推定モジュール１２２０は、消滅点推定ネットワーク１２１０の消滅点検出情報を利用して消滅点推定ネットワーク１２１０から検出される消滅点をトラッキングし、カメラの製作の際、デフォルト（ｄｅｆａｕｌｔ）に設定されたＥＯＬ（ｅｎｄ ｏｆ ｌｉｎｅ）ピッチを参照することで、トラッキングされた消滅点を利用して第４ピッチを推定することができる。

この際、図６を参照すると、消滅点推定ネットワーク１２１０は、走行イメージから直接消滅点を検出するためにＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を利用するか、消滅点ＧＮｅｔ（Ｇｕｉｄｅｄ Ｎｅｔｗｏｒｋ ｆｏｒ Ｌａｎｅ ａｎｄ Ｒｏａｄ Ｍａｒｋｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ）のようにマルチタスク（ｍｕｌｔｉ－ｔａｓｋ）ＣＮＮ構造に車線と消滅点とを同時に検出するパーセプション基盤のネットワークを使用することができるが、本発明はこれに限定されるわけではなく、独立した消滅点検出ネットワークに具現され得る。

次に、キャリブレーション装置１０００は、第１ピッチ乃至第４ピッチをピッチ決定モジュール１３００に入力することで、ピッチ決定モジュール１３００によって第１ピッチ乃至第４ピッチをアンサンブル（ｅｎｓｅｍｂｌｅ）することで、走行イメージに対応する決定ピッチを出力させることができる。

一方、第１ピッチ推定乃至第４ピッチ推定は、それぞれ次のような長所と短所を有している。

第１ピッチ推定は、高さが維持されるようにピッチを調整するため、安定したピッチ推定が可能であり、オブジェクトの選択幅が広く、第２ピッチ推定よりも広い範囲で運用可能であるという長所があるが、歩行者のような人、二輪車などのように高さの範囲が過度に広いオブジェクトに対しては、ピッチ推定を適用し難いという短所がある。

そして、第２ピッチ推定は、幅が維持されるようにピッチを調整するため、安定したピッチ推定が可能であり、高さは最小／最大区間があるが、幅は自動車間変化（ｖａｒｉａｔｉｏｎ）が小さく、定数に固定することができるため、第１ピッチ推定よりも正確度が高いという長所があるが、歩行者のような人、二輪車などに対しては動作が不可能であり、オブジェクト選択の制約のため、第１ピッチ推定よりも狭い可動範囲で運用しなければならないという短所がある。

そして、第３ピッチ推定は、直線区間で正確であり、平らな道路でよく動作するという長所があるが、カーブ道で不正確であり、車線がある時にのみ動作可能であるという短所がある。

そして、第４ピッチ推定は、オブジェクトと車線とに関係なくすべての状況で出力が出るという長所があるが、正確度の問題によってピッチ変動（ｖａｒｉａｎｃｅ）を低く維持し難いという短所がある。

従って、キャリブレーション装置１０００は、ピッチ決定モジュール１３００によって第１ピッチ推定乃至第４ピッチ推定のそれぞれの長所を生かして短所を補完するように第１ピッチ乃至第４ピッチをアンサンブルすることで、走行イメージの毎フレームにおけるピッチを決定させることができる。

一例として、図７を参照すると、ピッチ決定モジュール１３００は、オブジェクトプロファイリング情報を参照することでオブジェクトのうち第３ターゲットオブジェクトを選定し、第３ピッチを利用して第３ターゲットオブジェクトの第２高さを演算した後、第２高さが高さスレッショルド以内であるか否かを確認して第３ピッチを検証することができる。この際、ピッチ決定モジュール１３００は自動車とのラテラルディスタンスが第１ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複していない第１候補オブジェクトのうちラテラルディスタンスが最も小さい第１特定のオブジェクトを第３ターゲットオブジェクトに選定することができる。

以後、ピッチ決定モジュール１３００は、第３ピッチを検証した結果、第３ピッチが有効な場合には、第３ピッチを決定ピッチとして出力することができる。

しかし、第３ピッチが有効でない場合には、ピッチ決定モジュール１３００は、第１ピッチに対応する第１ターゲットオブジェクトと第２ピッチに対応する第２ターゲットオブジェクトとを比較して、第１ターゲットオブジェクトと第２ターゲットオブジェクトとが同一であれば、第１ピッチ及び第２ピッチのうちいずれか一つを決定ピッチとして出力し、第１ターゲットオブジェクトと第２ターゲットオブジェクトとが同一でなければ、第１ターゲットオブジェクトと第２ターゲットオブジェクトとのうち自動車とのラテラルディスタンスが小さい特定のターゲットオブジェクトに対応する特定のピッチを決定ピッチとして出力することができる。

また、ピッチ決定モジュール１３００は、走行イメージから検出されたオブジェクト及び車線がない場合には、第４ピッチを決定ピッチとして出力することができる。

そして、ピッチ決定モジュール１３００は、決定ピッチを以前フレームにおける以前ピッチ値とスムージング（ｓｍｏｏｔｈｉｎｇ）を適用して決定ピッチに対するピッチスムージングを遂行し、ピッチ変化スレッショルドを使用してフレーム間の最大ピッチ変化を制限するトレランスハンドリング（ｔｏｌｅｒａｎｃｅ ｈａｎｄｉｎｇ）を遂行することができる。

即ち、ピッチ決定モジュール１３００は、ピッチの突然な変化を防止するために、以前フレームにおけるピッチ値とスムージングを適用して決定ピッチに対するピッチスムージングを遂行し、トレランスハンドリングを通じてスレッショルドを使用してフレーム間の最大ピッチ変化を制限することができる。しかし、ピッチ決定モジュール１３００は、存在していなかったオブジェクトが初めて登場する場合には、ピッチ変化に対する制限を解除することができる。また、オブジェクトが自動車、即ち、エゴ自動車と他の道路平面にいる場合には、トレランスハンドリングを遂行することができる。

一方、消滅点推定ネットワーク１２１０は、コンティニュアルラーニングにより走行イメージから消滅点を検出するように学習され得る。

この際、消滅点推定ネットワーク１２１０のコンティニュアルラーニングには、オン－デバイスコンティニュアルラーニング、協同（ｃｏｏｐｅｒａｔｉｖｅ）コンティニュアルラーニング、サーバ－サイドコンティニュアルラーニングなどが利用され得る。

まず、図８を参照すると、オン－デバイスコンティニュアルラーニングは、キャリブレーション装置１０００が、決定ピッチと第４ピッチとを参照することでピッチロスを獲得し、ピッチロスを利用して消滅点推定ネットワーク１２１０をオン－デバイスコンティニュアルラーニングすることができる。この際、キャリブレーション装置１０００がオン－デバイスコンティニュアルラーニングを遂行したが、これとは異なり、別途の学習装置を通じててオン－デバイスコンティニュアルラーニングを遂行させることができる。

この際、キャリブレーション装置１０００は、前記自動車の運行中に、ピッチロスを利用して消滅点推定ネットワーク１２１０をインスタンス－ワイズインクリメンタルラーニング（ｉｎｓｔａｎｃｅ－ｗｉｓｅ ｉｎｃｒｅｍｅｎｔａｌ ｌｅａｒｎｉｎｇ）して迅速な適応（ｆａｓｔ ａｄａｐｔａｔｉｏｎ）となるようにし、自動車の走行完了後、走行中にサンプリングされたデータを利用して消滅点推定ネットワーク１２１０をバランス良く（ｂａｌａｎｃｅｄ）コンティニュアルラーニングして迅速な適応により発生する可能性のあるカタストロフィックフォーゲッティング（ｃａｔａｓｔｒｏｐｈｉｃ ｆｏｒｇｅｔｔｉｎｇ）現象を防止することができる。

即ち、一般的に自動車の走行環境検出では、連続したイメージシーケンスが入力に使用されるため、特定のフレームにおいて消滅点を誤って推定した場合、その後のフレームでも誤った消滅点が維持される確率が高いため、走行中の際には、ピッチ決定モジュール１３００から出力される決定ピッチと第４ピッチとを比較してピッチロスを獲得し、ピッチロスが閾値よりも大きい場合、迅速な適応のためのインスタンス－ワイズインクリメンタルラーニングを遂行し、走行完了後には、走行中に迅速な適応を通じて発生する可能性のあるカタストロフィックフォーゲッティング現象を防止するために、走行中にサンプリングされたデータを利用してバランスの良いコンティニュアルラーニングを遂行することができる。

また、図９を参照すると、協同（ｃｏｏｐｅｒａｔｉｖｅ）コンティニュアルラーニングは、キャリブレーション装置１０００がオン－ビークルラーニングされた学習済み消滅点推定ネットワークモデルをラーニングサーバに伝送することで、ラーニングサーバによって少なくとも一つの他の自動車から伝送された少なくとも一つの他の学習済み消滅点推定ネットワークモデルと学習済み消滅点推定ネットワークモデルとを評価してベスト消滅点推定ネットワークモデルを選定させ、ベスト消滅点推定ネットワークモデルをキャリブレーション装置１０００に伝送させ、ラーニングサーバから伝送されたベスト消滅点推定ネットワークモデルを利用して消滅点推定ネットワーク１２１０をアップデートすることである。

即ち、図８を参照することで説明したオン－デバイスコンティニュアルラーニングにより、それぞれの自動車がコンティニュアルラーニングを遂行し、ラーニングサーバに学習済みモデルとデータとを伝送すると、ラーニングサーバは、それぞれの自動車のモデルを評価してベストモデルを選定した後、選ばれたベストモデルをそれぞれの自動車に伝送することによって、協同コンティニュアルラーニングを通じてそれぞれの自動車が消滅点推定ネットワークをアップデートすることができる。

また、図１０を参照すると、サーバ－サイドコンティニュアルラーニングは、キャリブレーション装置１０００が、自動車の運行中に、ピッチロスを利用して消滅点推定ネットワーク１２１０をインスタンス－ワイズインクリメンタルラーニングすることで迅速な適応となるようにし、インスタンス－ワイズインクリメンタルラーニングに使用された、サンプリングされたデータをラーニングサーバに伝送することで、ラーニングサーバによってサンプリングされたデータを利用して消滅点推定ネットワーク１２１０に対応するリファレンス（ｒｅｆｅｒｅｎｃｅ）消滅点推定ネットワークをサーバ－サイドコンティニュアルラーニングさせ、サーバ－サイドコンティニュアルラーニングによりアップデートされたパラメータをキャリブレーション装置１０００に伝送させ、自動車の走行完了後、ラーニングサーバから受信されたパラメータを利用して消滅点推定ネットワーク１２１０をアップデートすることである。

即ち、それぞれの自動車では、迅速な適応のみを遂行し、コンティニュアルラーニングは、ラーニングサーバで遂行した後、コンティニュアルラーニング消滅点推定ネットワークまたは該当パラメータをそれぞれの自動車に伝達してアップデートすることができる。

また、以上にて説明された本発明による実施例は、様々なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカル・ディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気－光メディア（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。

以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは、本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から様々な修正及び変形が行われ得る。

従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (22)

1. 自動車のカメラピッチをキャリブレーションする方法において、
   （ａ）自動車の運行中にカメラからの走行イメージが獲得されると、キャリブレーション装置が、前記走行イメージをオブジェクトディテクションネットワークと車線ディテクションネットワークとにそれぞれ入力することで、前記オブジェクトディテクションネットワークによって前記走行イメージ上のオブジェクトを検出してオブジェクト検出情報を出力させ、前記車線ディテクションネットワークによって前記走行イメージ上の車線を検出して車線検出情報を出力させる段階と、
   （ｂ）前記キャリブレーション装置が、前記オブジェクト検出情報をプロファイリングすることによるオブジェクトのそれぞれに対応するオブジェクトプロファイリング情報と、前記車線検出情報をプロファイリングすることによる車線のそれぞれに対応する車線プロファイリング情報とを生成し、前記オブジェクトプロファイリング情報をオブジェクト基盤ピッチ推定モジュールに入力することで、前記オブジェクト基盤ピッチ推定モジュールによって（ｉ）前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第１ターゲットオブジェクトを選定し、前記第１ターゲットオブジェクトの第１高さを利用した第１ピッチ推定を通じて第１ピッチを生成させ、（ｉｉ）前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第２ターゲットオブジェクトを選定させ、前記第２ターゲットオブジェクトの幅（ｗｉｄｔｈ）を利用した第２ピッチ推定を通じて第２ピッチを生成させるプロセスと、前記走行イメージを分析して消滅点を検出する消滅点推定ネットワークの消滅点検出情報と前記車線プロファイリング情報とを車線基盤ピッチ推定モジュールに入力することで、前記車線基盤ピッチ推定モジュールによって、（ｉ）前記車線プロファイリング情報を利用した第３ピッチ推定を通じて第３ピッチを生成させ、（ｉｉ）前記消滅点検出情報を利用した第４ピッチ推定を通じて第４ピッチを生成させるプロセスと、を遂行する段階と、
   （ｃ）前記キャリブレーション装置が、前記第１ピッチ乃至前記第４ピッチをピッチ決定モジュールに入力することで、前記ピッチ決定モジュールによって前記第１ピッチ乃至前記第４ピッチをアンサンブルすることで、前記走行イメージに対応する決定ピッチを出力させる段階と、
   を含む方法。
2. 前記（ｃ）の段階で、
   前記キャリブレーション装置は、前記ピッチ決定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第３ターゲットオブジェクトを選定し、前記第３ピッチを利用して前記第３ターゲットオブジェクトの第２高さを演算した後、前記第２高さが高さスレッショルド以内であるか否かを確認して前記第３ピッチを検証し、（ｉ）前記第３ピッチが有効な場合には、前記第３ピッチを前記決定ピッチとして出力させ、（ｉｉ）前記第３ピッチが有効でない場合には、前記第１ピッチに対応する第１ターゲットオブジェクトと前記第２ピッチに対応する第２ターゲットオブジェクトとを比較し、前記第１ターゲットオブジェクトと前記第２ターゲットオブジェクトとが同一であれば、前記第１ピッチ及び前記第２ピッチのうちいずれか一つを前記決定ピッチとして出力させ、前記第１ターゲットオブジェクトと前記第２ターゲットオブジェクトとが同一でなければ、前記第１ターゲットオブジェクトと前記第２ターゲットオブジェクトとのうち前記自動車とのラテラルディスタンスが小さい特定のターゲットオブジェクトに対応する特定のピッチを前記決定ピッチとして出力させ、（ｉｉｉ）前記走行イメージから検出されたオブジェクト及び車線がない場合には、前記第４ピッチを前記決定ピッチとして出力させる、請求項１に記載の方法。
3. 前記キャリブレーション装置は、前記ピッチ決定モジュールによって、前記自動車とのラテラルディスタンスが第１ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複していない第１候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第１特定のオブジェクトを前記第３ターゲットオブジェクトに選定させる、請求項２に記載の方法。
4. 前記（ｃ）の段階で、
   前記キャリブレーション装置は、前記ピッチ決定モジュールによって前記決定ピッチを以前フレームにおける以前ピッチ値とスムージング（ｓｍｏｏｔｈｉｎｇ）を適用して前記決定ピッチに対するピッチスムージングを遂行し、ピッチ変化スレッショルドを使用してフレーム間の最大ピッチ変化を制限するトレランス（ｔｏｌｅｒａｎｃｅ）ハンドリングを遂行させる、請求項１に記載の方法。
5. （ｄ）前記キャリブレーション装置は、前記決定ピッチと前記第４ピッチとを参照することでピッチロスを獲得し、前記ピッチロスを利用して前記消滅点推定ネットワークをオン－ビークルコンティニュアルラーニングする段階
   をさらに含む、請求項１に記載の方法。
6. 前記キャリブレーション装置は、（ｉ）前記自動車の運行中に、前記ピッチロスを利用して前記消滅点推定ネットワークをインスタンス－ワイズインクリメンタルラーニング（ｉｎｓｔａｎｃｅ－ｗｉｓｅ ｉｎｃｒｅｍｅｎｔａｌ ｌｅａｒｎｉｎｇ）することで迅速な適応（ｆａｓｔ ａｄａｐｔａｔｉｏｎ）となるようにし、（ｉｉ）前記自動車の走行完了後、走行中にサンプリングされたデータを利用して前記消滅点推定ネットワークをバランス良く（ｂａｌａｎｃｅｄ）コンティニュアルラーニングすることで前記迅速な適応により発生する可能性のあるカタストロフィックフォーゲッティング（ｃａｔａｓｔｒｏｐｈｉｃ ｆｏｒｇｅｔｔｉｎｇ）現象を防止する、請求項５に記載の方法。
7. 前記キャリブレーション装置は、（ｉ）前記自動車の運行中に、前記ピッチロスを利用して前記消滅点推定ネットワークをインスタンス－ワイズインクリメンタルラーニングすることで迅速な適応となるようにし、（ｉｉ）前記インスタンス－ワイズインクリメンタルラーニングに使用された、サンプリングされたデータをラーニングサーバに伝送することで、前記ラーニングサーバによって前記サンプリングされたデータを利用して前記消滅点推定ネットワークに対応するリファレンス（ｒｅｆｅｒｅｎｃｅ）消滅点推定ネットワークをサーバ－サイドコンティニュアルラーニングして、前記サーバ－サイドコンティニュアルラーニングによりアップデートされたパラメータを前記キャリブレーション装置に伝送させ、（ｉｉｉ）前記自動車の走行完了後、前記ラーニングサーバから受信された前記パラメータを利用して前記消滅点推定ネットワークをアップデートする、請求項５に記載の方法。
8. （ｅ）前記キャリブレーション装置は、（ｉ）前記オン－デバイスラーニングされた学習済み消滅点推定ネットワークモデルをラーニングサーバに伝送することで、前記ラーニングサーバによって少なくとも一つの他の自動車から伝送された少なくとも一つの他の学習済み消滅点推定ネットワークモデルと前記学習済み消滅点推定ネットワークモデルとを評価してベスト消滅点推定ネットワークモデルを選定させ、前記ベスト消滅点推定ネットワークモデルを前記キャリブレーション装置に伝送させ、（ｉｉ）前記ラーニングサーバから伝送された前記ベスト消滅点推定ネットワークモデルを利用して前記消滅点推定ネットワークをアップデートする段階と、
   をさらに含む、請求項５に記載の方法。
9. 前記（ｂ）の段階で、
   前記キャリブレーション装置は、前記オブジェクト基盤ピッチ推定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記自動車とのラテラルディスタンスが第２ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複していない第２候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第２特定のオブジェクトを前記第１ターゲットオブジェクトに選定し、前記第１ターゲットオブジェクトの検出ヒストリーを参照することで、前記第１ターゲットオブジェクトの平均高さを獲得し、前記平均高さが最小高さスレッショルド以上であり最大高さスレッショルド以下である場合には、前記平均高さを前記第１高さに決定させ、前記平均高さが前記最小高さスレッショルド未満であるか前記最大高さスレッショルドを超過する場合には、前記最小高さスレッショルドと前記最大高さスレッショルドとの平均値を前記第１高さに決定させる、請求項１に記載の方法。
10. 前記（ｂ）の段階で、
    前記キャリブレーション装置は、前記オブジェクト基盤ピッチ推定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記自動車とのラテラルディスタンスが第３ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複しておらず、２Ｄバウンディングボックスと３Ｄバウンディングボックスとの差がボックス差スレッショルド以下であり、バウンディングボックスの縦横比が縦横比スレッショルド以上である第３候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第３特定のオブジェクトを前記第２ターゲットオブジェクトに選定させる、請求項１に記載の方法。
11. 前記（ｂ）の段階で、
    前記キャリブレーション装置は、前記車線基盤ピッチ推定モジュールによって、前記車線プロファイリング情報を参照することで、直線であり、長さスレッショルド以上であり、前記自動車の座標系上で互いに平行である第１車線と第２車線とを選択し、前記第１車線と前記第２車線とを利用してターゲット消滅点を検出し、前記ターゲット消滅点を利用して前記第３ピッチ推定を遂行させる、請求項１に記載の方法。
12. 自動車のカメラピッチをキャリブレーションするキャリブレーション装置において、
    自動車のカメラピッチをキャリブレーションするためのインストラクションが格納されたメモリと、
    前記メモリに格納された前記インストラクションによって自動車のカメラピッチをキャリブレーションするための動作を遂行するプロセッサと、
    を含み、
    前記プロセッサは、（Ｉ）自動車の運行中にカメラからの走行イメージが獲得されると、前記走行イメージをオブジェクトディテクションネットワークと車線ディテクションネットワークとにそれぞれ入力することで、前記オブジェクトディテクションネットワークによって前記走行イメージ上のオブジェクトを検出してオブジェクト検出情報を出力させ、前記車線ディテクションネットワークによって前記走行イメージ上の車線を検出して車線検出情報を出力させるステップと、（ＩＩ）前記オブジェクト検出情報をプロファイリングすることによるオブジェクトのそれぞれに対応するオブジェクトプロファイリング情報と、前記車線検出情報をプロファイリングすることによる車線のそれぞれに対応する車線プロファイリング情報とを生成し、前記オブジェクトプロファイリング情報をオブジェクト基盤ピッチ推定モジュールに入力することで、前記オブジェクト基盤ピッチ推定モジュールによって（ｉ）前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第１ターゲットオブジェクトを選定し、前記第１ターゲットオブジェクトの第１高さを利用した第１ピッチ推定を通じて第１ピッチを生成させ、（ｉｉ）前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第２ターゲットオブジェクトを選定し、前記第２ターゲットオブジェクトの幅（ｗｉｄｔｈ）を利用した第２ピッチ推定を通じて第２ピッチを生成させるプロセスと、前記走行イメージを分析して消滅点を検出する消滅点推定ネットワークの消滅点検出情報と前記車線プロファイリング情報とを車線基盤ピッチ推定モジュールに入力することで、前記車線基盤ピッチ推定モジュールによって、（ｉ）前記車線プロファイリング情報を利用した第３ピッチ推定を通じて第３ピッチを生成させ、（ｉｉ）前記消滅点検出情報を利用した第４ピッチ推定を通じて第４ピッチを生成させるプロセスと、を遂行するステップと、（ＩＩＩ）前記第１ピッチ乃至前記第４ピッチをピッチ決定モジュールに入力することで、前記ピッチ決定モジュールによって前記第１ピッチ乃至前記第４ピッチをアンサンブルすることで、前記走行イメージに対応する決定ピッチを出力させるステップと、を遂行する、キャリブレーション装置。
13. 前記プロセッサは、前記（ＩＩＩ）のステップで、前記ピッチ決定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第３ターゲットオブジェクトを選定し、前記第３ピッチを利用して前記第３ターゲットオブジェクトの第２高さを演算した後、前記第２高さが高さスレッショルド以内であるか否かを確認して前記第３ピッチを検証し、（ｉ）前記第３ピッチが有効な場合には、前記第３ピッチを前記決定ピッチとして出力させ、（ｉｉ）前記第３ピッチが有効でない場合には、前記第１ピッチに対応する第１ターゲットオブジェクトと前記第２ピッチに対応する第２ターゲットオブジェクトとを比較し、前記第１ターゲットオブジェクトと前記第２ターゲットオブジェクトとが同一であれば、前記第１ピッチ及び前記第２ピッチのうちいずれか一つを前記決定ピッチとして出力させ、前記第１ターゲットオブジェクトと前記第２ターゲットオブジェクトとが同一でなければ、前記第１ターゲットオブジェクトと前記第２ターゲットオブジェクトとのうち前記自動車とのラテラルディスタンスが小さい特定のターゲットオブジェクトに対応する特定のピッチを前記決定ピッチとして出力させ、（ｉｉｉ）前記走行イメージから検出されたオブジェクト及び車線がない場合には、前記第４ピッチを前記決定ピッチとして出力させる、請求項１２に記載のキャリブレーション装置。
14. 前記プロセッサは、前記ピッチ決定モジュールによって、前記自動車とのラテラルディスタンスが第１ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複していない第１候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第１特定のオブジェクトを前記第３ターゲットオブジェクトに選定させる、請求項１３に記載のキャリブレーション装置。
15. 前記プロセッサは、前記（ＩＩＩ）のステップで、前記ピッチ決定モジュールによって前記決定ピッチを以前フレームにおける以前ピッチ値とスムージング（ｓｍｏｏｔｈｉｎｇ）を適用して前記決定ピッチに対するピッチスムージングを遂行し、ピッチ変化スレッショルドを使用してフレーム間の最大ピッチ変化を制限するトレランス（ｔｏｌｅｒａｎｃｅ）ハンドリングを遂行させる、請求項１２に記載のキャリブレーション装置。
16. 前記プロセッサは、（ＩＶ）前記決定ピッチと前記第４ピッチとを参照することでピッチロスを獲得し、前記ピッチロスを利用して前記消滅点推定ネットワークをオン－ビークルコンティニュアルラーニングするステップをさらに遂行する、請求項１２に記載のキャリブレーション装置。
17. 前記プロセッサは、（ｉ）前記自動車の運行中に、前記ピッチロスを利用して前記消滅点推定ネットワークをインスタンス－ワイズインクリメンタルラーニング（ｉｎｓｔａｎｃｅ－ｗｉｓｅ ｉｎｃｒｅｍｅｎｔａｌ ｌｅａｒｎｉｎｇ）することで迅速な適応となるようにし、（ｉｉ）前記自動車の走行完了後、走行中にサンプリングされたデータを利用して前記消滅点推定ネットワークをバランス良く（ｂａｌａｎｃｅｄ）コンティニュアルラーニングすることで前記迅速な適応により発生する可能性のあるカタストロフィックフォーゲッティング（ｃａｔａｓｔｒｏｐｈｉｃ ｆｏｒｇｅｔｔｉｎｇ）現象を防止する、請求項１６に記載のキャリブレーション装置。
18. 前記プロセッサは、（ｉ）前記自動車の運行中に、前記ピッチロスを利用して前記消滅点推定ネットワークをインスタンス－ワイズインクリメンタルラーニングすることで迅速な適応となるようにし、（ｉｉ）前記インスタンス－ワイズインクリメンタルラーニングに使用された、サンプリングされたデータをラーニングサーバに伝送することで、前記ラーニングサーバによって前記サンプリングされたデータを利用して前記消滅点推定ネットワークに対応するリファレンス（ｒｅｆｅｒｅｎｃｅ）消滅点推定ネットワークをサーバ－サイドコンティニュアルラーニングして、前記サーバ－サイドコンティニュアルラーニングによりアップデートされたパラメータを前記キャリブレーション装置に伝送させ、（ｉｉｉ）前記自動車の走行完了後、前記ラーニングサーバから受信された前記パラメータを利用して前記消滅点推定ネットワークをアップデートする、請求項１６に記載のキャリブレーション装置。
19. 前記プロセッサは、（Ｖ）（ｉ）前記オン－デバイスラーニングされた学習済み消滅点推定ネットワークモデルをラーニングサーバに伝送することで、前記ラーニングサーバによって少なくとも一つの他の自動車から伝送された少なくとも一つの他の学習済み消滅点推定ネットワークモデルと前記学習済み消滅点推定ネットワークモデルとを評価してベスト消滅点推定ネットワークモデルを選定させ、前記ベスト消滅点推定ネットワークモデルを前記キャリブレーション装置に伝送させ、（ｉｉ）前記ラーニングサーバから伝送された前記ベスト消滅点推定ネットワークモデルを利用して前記消滅点推定ネットワークをアップデートするステップをさらに遂行する、請求項１６に記載のキャリブレーション装置。
20. 前記プロセッサは、前記（ＩＩ）のステップで、前記オブジェクト基盤ピッチ推定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記自動車とのラテラルディスタンスが第２ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複していない第２候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第２特定のオブジェクトを前記第１ターゲットオブジェクトに選定し、前記第１ターゲットオブジェクトの検出ヒストリーを参照することで、前記第１ターゲットオブジェクトの平均高さを獲得し、前記平均高さが最小高さスレッショルド以上であり最大高さスレッショルド以下である場合には、前記平均高さを前記第１高さに決定させ、前記平均高さが前記最小高さスレッショルド未満であるか前記最大高さスレッショルドを超過する場合には、前記最小高さスレッショルドと前記最大高さスレッショルドとの平均値を前記第１高さに決定させる、請求項１２に記載のキャリブレーション装置。
21. 前記プロセッサは、前記（ＩＩ）のステップで、前記オブジェクト基盤ピッチ推定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記自動車とのラテラルディスタンスが第３ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複しておらず、２Ｄバウンディングボックスと３Ｄバウンディングボックスとの差がボックス差スレッショルド以下であり、バウンディングボックスの縦横比が縦横比スレッショルド以上である第３候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第３特定のオブジェクトを前記第２ターゲットオブジェクトに選定させる、請求項１２に記載のキャリブレーション装置。
22. 前記プロセッサは、前記（ＩＩ）のステップで、前記車線基盤ピッチ推定モジュールによって、前記車線プロファイリング情報を参照することで、直線であり、長さスレッショルド以上であり、前記自動車の座標系上で互いに平行である第１車線と第２車線とを選択し、前記第１車線と前記第２車線とを利用してターゲット消滅点を検出し、前記ターゲット消滅点を利用して前記第３ピッチ推定を遂行させる、請求項１２に記載のキャリブレーション装置。