JP7449393B2 - 車載装置および車載カメラのキャリブレーション方法 - Google Patents

Description

開示の実施形態は、車載装置および車載カメラのキャリブレーション方法に関する。

従来、ドライブレコーダ等の車載カメラの取り付け時において、車両周辺の所定位置に設けた専用の構造物を利用したり、車両周辺の床面に配置されて種々の表示パターンを表示するディスプレイを利用したりする、車載カメラのキャリブレーション方法が知られている（たとえば、特許文献１参照）。

特開２０１８－２０３０３９号公報

しかしながら、上述の従来技術には、キャリブレーションを実施するための専用の構造物やディスプレイ、これらの設置スペース等が必要であり、手間がかかるという問題がある。

実施形態の一態様は、上記に鑑みてなされたものであって、キャリブレーションの手間を削減することができる車載装置および車載カメラのキャリブレーション方法を提供することを目的とする。

実施形態の一態様に係る車載装置は、制御部を備える。前記制御部は、携帯端末上に表示されるマーカを車載カメラによって撮像する。また、前記制御部は、撮像された画像が前記マーカの姿勢の算出に適するか否かを判定する。また、前記制御部は、前記算出に適すると判定された場合に前記マーカの姿勢を算出する。また、前記制御部は、算出された算出結果から前記車載カメラの取付角度を推定する。また、前記制御部は、推定された推定結果に基づいて前記車載カメラのキャリブレーションを実行する。また、前記制御部は、前記算出に不適と判定された場合に前記携帯端末の再配置を要求する。

実施形態の一態様によれば、キャリブレーションの手間を削減することができる。

図１は、第１の比較例に係る車載カメラのキャリブレーション方法の説明図（その１）である。 図２は、第１の比較例に係る車載カメラのキャリブレーション方法の説明図（その２）である。 図３は、第２の比較例に係る車載カメラのキャリブレーション方法の説明図である。 図４は、実施形態に係る車載カメラのキャリブレーション方法の概要説明図である。 図５は、実施形態に係る車載システムの構成例を示すブロック図である。 図６は、実施形態に係る携帯端末の構成例を示すブロック図である。 図７は、携帯端末に係る３軸方向の説明図である。 図８は、ＴＩＬＴ方向に係るマーカＭの表示例を示す図である。 図９は、ＲＯＬＬ方向に係るマーカＭの表示例を示す図である。 図１０は、ＰＡＮ方向に係るマーカＭの表示例を示す図である。 図１１は、ＲＯＬＬ方向に係るマーカＭの表示の変形例を示す図である。 図１２は、ＴＩＬＴ方向に係るマーカＭの表示の変形例を示す図である。 図１３は、カメラの取付角度の推定処理の説明図（その１）である。 図１４は、カメラの取付角度の推定処理の説明図（その２）である。 図１５は、カメラの取付角度の推定処理の説明図（その３）である。 図１６は、実施形態に係るドライブレコーダが実行する処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する車載装置および車載カメラのキャリブレーション方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

また、以下では、実施形態に係る車載装置がドライブレコーダ１０であり、車載カメラが、かかるドライブレコーダ１０に搭載されたカメラ１１である場合を例に挙げて説明を行う。

まず、実施形態の説明に先立って、本実施形態の比較例から説明する。図１は、第１の比較例に係るカメラ１１のキャリブレーション方法の説明図（その１）である。また、図２は、第１の比較例に係るカメラ１１のキャリブレーション方法の説明図（その２）である。また、図３は、第２の比較例に係るカメラ１１のキャリブレーション方法の説明図である。

図１および図２に示すように、第１の比較例に係るカメラ１１のキャリブレーション方法では、車両Ｖの前方の所定位置に設けられた構造物ＳＴを利用してキャリブレーションを行う。図２に示すように、構造物ＳＴは、たとえば複数のポールと複数のジョイントとを組み合わせて車両Ｖの前方の所定位置に設けられる。

そして、作業者が、たとえばスマートフォン等の携帯端末２０において専用アプリを起動し、携帯端末２０上に表示された、カメラ１１の撮像画像中の構造物ＳＴについて位置指定しながら検出する座標Ｐ１，Ｐ２，Ｐ３に基づいてキャリブレーションを行う。なお、図２中の符号「ＷＰ」は車両Ｖのタイヤ位置に対応する。

しかしながら、かかる第１の比較例を用いた場合、構造物ＳＴの設置に手間がかかるうえに、キャリブレーションのために構造物ＳＴの設置スペースを含む相応の広さのスペースを要するという問題がある。

また、図３に示すように、第２の比較例に係るカメラ１１のキャリブレーション方法では、カメラ１１の撮像画像上に２本の水平線Ｈ１，Ｈ２を設定し、走行中に、水平線Ｈ１，Ｈ２の間に車両Ｖの前方の実際の水平線が入るようにキャリブレーションを行う。

しかしながら、かかる第２の比較例を用いた場合、キャリブレーションを行いたい時に車両Ｖの前方に実際に水平線が見えているとは限らないうえ、走行開始直後のキャリブレーションが保証できないという問題がある。

そこで、実施形態に係るカメラ１１のキャリブレーション方法では、カメラ１１によって撮像された、携帯端末２０上に表示されたマーカＭの姿勢を算出し、算出結果からカメラ１１の取付角度を推定し、推定結果に基づいてキャリブレーションを行うこととした。

図４は、実施形態に係るカメラ１１のキャリブレーション方法の概要説明図である。具体的には、図４に示すように、実施形態に係るカメラ１１のキャリブレーション方法では、まず作業者が保持する携帯端末２０において専用アプリを起動し、携帯端末２０上にマーカＭを表示させる。

マーカＭは、２組の平行な２辺を有する四角形である。すなわち、マーカＭは、正方形であってもよいし、矩形であってもよいし、平行四辺形であってもよい。本実施形態では、マーカＭは正方形であるものとする。また、マーカＭを表示する携帯端末２０は、車両Ｖの周辺の任意の位置にあってよい。

そして、ドライブレコーダ１０は、カメラ１１によるかかる携帯端末２０の撮像画像を取得し、撮像画像中からマーカＭを抽出する。そして、ドライブレコーダ１０は、抽出したマーカＭの姿勢を算出する。すなわち、実施形態に係るカメラ１１のキャリブレーション方法では、まず、携帯端末２０上に表示されたマーカＭの姿勢を算出する（ステップＳ１）。

つづいて、ドライブレコーダ１０は、算出した算出結果からカメラ１１の取付角度を推定する（ステップＳ２）。

このとき、実施形態に係るカメラ１１のキャリブレーション方法では、たとえばＡＲ（Augmented Reality）技術において用いられる、ＡＲマーカの特徴点から２組の平行線を抽出し、これに基づいてカメラの角度を推定する公知のアルゴリズムを利用することができる。かかるアルゴリズムを利用した推定処理については、図１３～図１５を用いた説明で後述する。

そして、ドライブレコーダ１０は、推定した推定結果に基づいてキャリブレーションを行う（ステップＳ３）。これにより、第１の比較例のように構造物ＳＴを設けることなく、また、第２の比較例のように限定された状況下でなく、カメラ１１のキャリブレーションを行うことができる。

なお、キャリブレーションの精度を確保するために、たとえばマーカＭは、携帯端末２０のＴＩＬＴ方向の角度またはＲＯＬＬ方向の角度が、水平面に対して所定の角度以内である場合にのみ表示されることが好ましい。かかる点については、図７～９，１１，１２を用いた説明で後述する。

また、たとえばマーカＭは、携帯端末２０のＰＡＮ方向の角度については、車両Ｖに対して正確に合わせ込むことはできないため、抽出したマーカＭの辺長比に基づいてキャリブレーションに適さないと判定される場合には、携帯端末２０の再配置を要求するようにしてもよい。かかる点については、図１０を用いた説明で後述する。

このように、実施形態に係るカメラ１１のキャリブレーション方法では、カメラ１１によって撮像された、携帯端末２０上に表示されたマーカＭの姿勢を算出し、算出結果からカメラ１１の取付角度を推定し、推定結果に基づいてキャリブレーションを行うこととした。

したがって、実施形態に係るカメラ１１のキャリブレーション方法によれば、キャリブレーションの手間を削減することができる。

以下、上述した実施形態に係るカメラ１１のキャリブレーション方法を適用した車載システム１の構成例について、より具体的に説明する。

図５は、実施形態に係る車載システム１の構成例を示すブロック図である。また、図６は、実施形態に係る携帯端末２０の構成例を示すブロック図である。なお、図５および図６では、本実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。

換言すれば、図５および図６に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

また、図５および図６を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、説明を省略する場合がある。

図５に示すように、実施形態に係る車載システム１は、ドライブレコーダ１０と、携帯端末２０とを含む。まず、図６を用いて、携帯端末２０の構成例から説明する。

携帯端末２０は、キャリブレーションの作業者が携帯する端末装置であり、例えばスマートフォンやタブレット端末、ノート型ＰＣ（Personal Computer）等の情報処理端末である。

図６に示すように、携帯端末２０は、ジャイロセンサ２１と、表示部２２と、記憶部２３と、制御部２４とを備える。

ジャイロセンサ２１は、携帯端末２０に係る３軸方向の角度を示す信号を制御部２４へ出力する。ここで、図７は、携帯端末２０に係る３軸方向の説明図である。図７に示すように、携帯端末２０の正面方向をＸ軸の正方向、幅方向をＹ軸方向、高さ方向をＺ軸方向とした３軸の直交座標系を想定する。

ジャイロセンサ２１は、携帯端末２０の姿勢に応じて、かかる座標系におけるＸ軸まわりのＲＯＬＬ方向、Ｙ軸まわりのＴＩＬＴ方向、および、Ｚ軸まわりのＰＡＮ方向の各角度を示す信号を制御部２４へ出力する。

図６の説明に戻る。表示部２２は、たとえばタッチパネルディスプレイ等によって実現され、制御部２４の制御に基づいてマーカＭを表示する。

記憶部２３は、たとえば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図６の例では、アプリ情報２３ａを記憶する。

アプリ情報２３ａは、実施形態に係るキャリブレーション方法において携帯端末２０における機能を実現する専用アプリのプログラムを含む。

制御部２４は、コントローラ（controller）であり、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、携帯端末２０内部の記憶デバイスに記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部２４は、たとえば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

制御部２４は、アプリ実行部２４ａを有し、以下に説明する情報処理の機能や作用を実現または実行する。

アプリ実行部２４ａは、アプリ情報２３ａから専用アプリのプログラムを読み込んで実行する。また、アプリ実行部２４ａは、ジャイロセンサ２１から取得する３軸方向の各角度に基づいて、表示部２２にマーカＭを表示させる。

ここで、マーカＭの表示例について、図８～図１２を用いて説明する。図８は、ＴＩＬＴ方向に係るマーカＭの表示例を示す図である。また、図９は、ＲＯＬＬ方向に係るマーカＭの表示例を示す図である。

また、図１０は、ＰＡＮ方向に係るマーカＭの表示例を示す図である。また、図１１は、ＲＯＬＬ方向に係るマーカＭの表示の変形例を示す図である。また、図１２は、ＴＩＬＴ方向に係るマーカＭの表示の変形例を示す図である。

図８に示すように、アプリ実行部２４ａは、ＴＩＬＴ方向については、携帯端末２０の角度が水平面であるＸＹ平面に対する所定角θ１以内であれば、携帯端末２０の表示部２２にマーカＭを表示させる（図中の「マーカ表示」参照）。

一方、アプリ実行部２４ａは、ＴＩＬＴ方向についての携帯端末２０の角度が所定角θ１以外であれば、携帯端末２０の表示部２２にマーカＭを表示させない（図中の「マーカ非表示」参照）。

また、図９に示すように、アプリ実行部２４ａは、ＲＯＬＬ方向については、携帯端末２０の角度が水平面であるＸＹ平面に対する所定角θ２以内であれば、携帯端末２０の表示部２２にマーカＭを表示させる（図中の「マーカ表示」参照）。

一方、アプリ実行部２４ａは、ＲＯＬＬ方向についての携帯端末２０の角度が所定角θ２以外であれば、携帯端末２０の表示部２２にマーカＭを表示させない（図中の「マーカ非表示」参照）。

そして、本実施形態では、少なくともかかるＴＩＬＴ方向およびＲＯＬＬ方向について携帯端末２０が所定角θ１，θ２以内にある場合にのみ表示部２２に表示させたマーカＭに基づいて、キャリブレーションを行う。

これは、ＰＡＮ方向の角度については、ＴＩＬＴ方向およびＲＯＬＬ方向の水平面に相当する基準面が存在しない、すなわち上述したように、ＰＡＮ方向の角度については、車両Ｖに対して正確に合わせ込むことはできないためである。その意味では、本実施形態に係るキャリブレーション方法は、簡易的なキャリブレーション方法であると言える。

ただし、ＰＡＮ方向については、たとえばドライブレコーダ１０側で抽出されるマーカＭの辺長比に基づいて、大まかにＰＡＮ方向の角度を合わせ込むことが可能である。具体的には、上述したようにマーカＭを正方形とした場合、図１０に示すように、ドライブレコーダ１０側で抽出されるマーカＭの辺長比が所定範囲内であれば、すなわち４辺長が著しく異なる長さでないならば、キャリブレーションへの利用可と見なすことができる。

一方、ドライブレコーダ１０側で抽出されるマーカＭの辺長比が所定範囲外であれば、すなわち４辺長が著しく異なる長さであるならば、キャリブレーションへの利用不可と見なすこととなる。かかる場合、たとえばドライブレコーダ１０は、ＰＡＮ方向について、携帯端末２０の再配置を要求する。

これまで図８～図１０を用いて説明したように、ＴＩＬＴ方向およびＲＯＬＬ方向については、所定角θ１，θ２以内である場合にマーカＭを表示させることによって、ＰＡＮ方向については、マーカＭの辺長比に基づいて必要であれば再配置を要求することによって、キャリブレーションの精度を確保することができる。

なお、これまでは、たとえば図９に示したように、携帯端末２０の傾きが変わればこれに追従してマーカＭの傾きも変わる表示例を示してきたが、携帯端末２０の傾きに依存せず、常に車両Ｖに対し水平または同一サイズとなるようにマーカＭを表示させてもよい。

すなわち、図１１に示すように、アプリ実行部２４ａは、ＲＯＬＬ方向の角度が変化しても、マーカＭは常に車両Ｖに対して水平となるように、携帯端末２０の表示部２２にマーカＭを表示させてもよい。

また、図１２に示すように、アプリ実行部２４ａは、ＴＩＬＴ方向の角度が変化しても、マーカＭは常に車両Ｖに対して同一サイズとなるように、携帯端末２０の表示部２２にマーカＭを表示させてもよい。

図５の説明に戻り、つづいてドライブレコーダ１０の構成例について説明する。図５に示すように、ドライブレコーダ１０は、カメラ１１と、通知デバイス１２と、記憶部１３と、制御部１４とを備える。

カメラ１１は、たとえば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、かかる撮像素子を用いて所定の撮像範囲を撮像する。

通知デバイス１２は、キャリブレーションに関する情報を通知するデバイスであって、たとえばディスプレイやスピーカ等によって実現される。

記憶部１３は、上述した記憶部２３と同様に、たとえば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図５の例では、設計情報１３ａと、内部パラメータ情報１３ｂとを記憶する。

設計情報１３ａは、カメラ１１に関する設計値を含む情報であって、たとえばカメラ１１の取付角度に関する設計値を含む。内部パラメータ情報１３ｂは、カメラ１１の内部パラメータに関する情報であって、キャリブレーションが行われた場合に、その結果が反映される。

制御部１４は、上述した制御部２４と同様に、コントローラであり、たとえば、ＣＰＵやＭＰＵによって、ドライブレコーダ１０内部の記憶デバイスに記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１４は、たとえば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現することができる。

制御部１４は、取得部１４ａと、算出部１４ｂと、推定部１４ｃと、キャリブレーション実行部１４ｄとを有し、以下に説明する情報処理の機能や作用を実現または実行する。

取得部１４ａは、カメラ１１によって撮像された携帯端末２０の撮像画像を取得する。算出部１４ｂは、取得部１４ａによって取得された撮像画像中からマーカＭを抽出する。また、算出部１４ｂは、抽出したマーカＭの姿勢を算出する。

推定部１４ｃは、算出部１４ｂによって算出されたマーカＭの姿勢に基づいてカメラ１１の取付角度を推定する。ここで、かかる推定処理について、図１３～図１５を用いて説明する。図１３は、カメラ１１の取付角度の推定処理の説明図（その１）である。また、図１４は、カメラ１１の取付角度の推定処理の説明図（その２）である。また、図１５は、カメラ１１の取付角度の推定処理の説明図（その３）である。

まず、算出部１４ｂは、取得部１４ａによって取得された撮像画像をたとえば２値化し、２値化した領域からマーカＭの輪郭を抽出する。そして、図１３に示すように、算出部１４ｂは、抽出した輪郭に相当する四角形を、内部パラメータ情報１３ｂを用いて三次元空間におけるカメラ１１の投影面ＩＭＧ上に四角形ＱＬ１として投影する。

ここで、四角形ＱＬ１の各辺を、図１３に示すように、第１辺ＳＤ１，第２辺ＳＤ２、第３辺ＳＤ３，第４辺ＳＤ４と定義する。次に、算出部１４ｂは、これら各辺と、カメラ１１の光学中心ＯＣとを結んだ四角形ＱＬ２を生成する。かかる四角形ＱＬ２は、実世界における３次元空間上のマーカＭに相当する四角形である。

ここで、四角形ＱＬ２の各辺を、図１３に示すように、第１辺ＳＤ１１，第２辺ＳＤ１２、第３辺ＳＤ１３，第４辺ＳＤ１４と定義する。すると、図１３に示すように、４つの面が生成される。

第１面Ｆ１は、光学中心ＯＣと、四角形ＱＬ１の第１辺ＳＤ１と、四角形ＱＬ２の第１辺ＳＤ１１とが含まれる面である。また、第２面Ｆ２は、光学中心ＯＣと、四角形ＱＬ１の第２辺ＳＤ２と、四角形ＱＬ２の第２辺ＳＤ１２とが含まれる面である。

また、第３面Ｆ３は、光学中心ＯＣと、四角形ＱＬ１の第３辺ＳＤ３と、四角形ＱＬ２の第３辺ＳＤ１３とが含まれる面である。また、第４面Ｆ４は、光学中心ＯＣと、四角形ＱＬ１の第４辺ＳＤ４と、四角形ＱＬ２の第４辺ＳＤ１４とが含まれる面である。

次に、算出部１４ｂは、所定の平面との交線が互いに平行になる面の組を２組特定する。所定の平面とは、あらかじめ平面の法線が分かっている面であり、たとえば路面である。具体的には、算出部１４ｂは、路面との交線が平行な面として、第２面Ｆ２と第４面Ｆ４との組と、第１面Ｆ１と第３面Ｆ３との組と、の２つの組を特定する。また、算出部１４ｂは、四角形ＱＬ２を路面上に形成される平行四辺形であると想定する。

そして、推定部１４ｃは、路面の法線を算出する。まず、推定部１４ｃは、算出部１４ｂで特定した面の組の一方である第１面Ｆ１と第３面Ｆ３とに基づき、面同士の交線の方向を求める。具体的には、図１４に示すように、推定部１４ｃは、第１面Ｆ１と第３面Ｆ３との交線ＣＬ１の向きを求める。交線ＣＬ１の方向ベクトルＶ１は、第１面Ｆ１の法線ベクトルおよび第３面Ｆ３の法線ベクトルそれぞれと垂直なベクトルである。したがって、推定部１４ｃは、第１面Ｆ１の法線ベクトルと第３面Ｆ３の法線ベクトルとの外積により、交線ＣＬ１の方向ベクトルＶ１を求める。第１面Ｆ１と第３面Ｆ３は、路面との交線が平行となるため、方向ベクトルＶ１は路面と平行になる。

同様に、推定部１４ｃは、算出部１４ｂで特定した面の組の他方である第２面Ｆ２と第４面Ｆ４との交線の方向を求める。具体的には、図１５に示すように、推定部１４ｃは、第２面Ｆ２と第４面Ｆ４との交線ＣＬ２の向きを求める。交線ＣＬ２の方向ベクトルＶ２は、第２面Ｆ２の法線ベクトルおよび第４面Ｆ４の法線ベクトルそれぞれと垂直なベクトルである。したがって、推定部１４ｃは、第２面Ｆ２の法線ベクトルと第４面Ｆ４の法線ベクトルとの外積により、交線ＣＬ２の方向ベクトルＶ２を求める。第２面Ｆ２と第４面Ｆ４も同様に、路面との交線が平行となるため、方向ベクトルＶ２は路面と平行になる。

そして、推定部１４ｃは、方向ベクトルＶ１と方向ベクトルＶ２との外積により、四角形ＱＬ２の面の法線、すなわち路面の法線を算出する。ここで、推定部１４ｃが算出した路面の法線はカメラ１１のカメラ座標系で算出されるため、実際の路面の法線である垂直方向との違いから３次元空間の座標系を求めることにより、路面に対するカメラ１１の姿勢を推定することができる。その推定結果から、推定部１４ｃは、車両Ｖに対するカメラ１１の取付角度を推定する。なお、図１３～図１５を用いて説明した推定処理には、たとえばＡＲ技術における公知の「ＡＲＴｏｏｌｋｉｔ」のアルゴリズムを利用して実行することができる。

図５の説明に戻る。キャリブレーション実行部１４ｄは、推定部１４ｃによる推定結果に基づいてキャリブレーションを行う。具体的には、キャリブレーション実行部１４ｄは、推定部１４ｃによって推定されたカメラ１１の取付角度と設計情報１３ａとを比較し、内部パラメータ情報１３ｂを調整する。

あるいは、キャリブレーション実行部１４ｄは、通知デバイス１２を介して作業者へキャリブレーション結果を通知する。作業者は、その通知内容に基づいて、カメラ１１の取付角度を調整する。なお、ドライブレコーダ１０が図示略のエーミング機構を備えている場合には、キャリブレーション実行部１４ｄは、キャリブレーション結果に基づいてエーミング機構にカメラ１１の取付角度を調整させてもよい。

また、キャリブレーション実行部１４ｄは、キャリブレーション時の状況を判定し、その判定結果に応じて通知デバイス１２を介した通知を行ってもよい。たとえば、キャリブレーション実行部１４ｄは、取得された撮像画像中に太陽光の映り込みが激しく、マーカＭの抽出に適さないと判定される場合には、たとえば携帯端末２０の向きを変えるように指示したり、車両Ｖを移動させるように指示したりといったガイダンス情報を通知するようにしてもよい。

次に、実施形態に係るドライブレコーダ１０が実行する処理手順について、図１６を用いて説明する。図１６は、実施形態に係るドライブレコーダ１０が実行する処理手順を示すフローチャートである。

図１６に示すように、算出部１４ｂは、カメラ１１によって撮像された、携帯端末２０上に表示されたマーカＭの姿勢を算出する（ステップＳ１０１）。

そして、推定部１４ｃが、算出部１４ｂによる算出結果からカメラ１１の取付角度を推定する（ステップＳ１０２）。

そして、キャリブレーション実行部１４ｄが、推定部１４ｃによる推定結果に基づいてカメラ１１のキャリブレーションを実行し（ステップＳ１０３）、処理を終了する。

上述してきたように、実施形態に係るドライブレコーダ１０（「車載装置」の一例に相当）は、算出部１４ｂと、推定部１４ｃと、キャリブレーション実行部１４ｄ（「実行部」の一例に相当）とを備える。算出部１４ｂは、カメラ１１（「車載カメラ」の一例に相当）によって撮像された、携帯端末２０上に表示されたマーカＭの姿勢を算出する。推定部１４ｃは、算出部１４ｂによって算出された算出結果からカメラ１１の取付角度を推定する。キャリブレーション実行部１４ｄは、推定部１４ｃによって推定された推定結果に基づいてカメラ１１のキャリブレーションを実行する。

したがって、実施形態に係るドライブレコーダ１０によれば、キャリブレーションの手間を削減することができる。

また、キャリブレーション実行部１４ｄは、任意の位置に配置された携帯端末２０上に表示されたマーカＭに基づいてキャリブレーションを実行する。

したがって、実施形態に係るドライブレコーダ１０によれば、キャリブレーションに際しての省スペース化を図ることができる。

また、キャリブレーション実行部１４ｄは、携帯端末２０の姿勢に応じて表示されるマーカＭに基づいてキャリブレーションを実行する。

したがって、実施形態に係るドライブレコーダ１０によれば、キャリブレーションの精度を確保しつつ、キャリブレーションの手間を削減することができる。

また、キャリブレーション実行部１４ｄは、携帯端末２０がＲＯＬＬ方向について水平面に対し所定角以内にある場合に表示されるマーカＭに基づいてキャリブレーションを実行する。

したがって、実施形態に係るドライブレコーダ１０によれば、ＲＯＬＬ方向についてキャリブレーションの精度を確保しつつ、キャリブレーションの手間を削減することができる。

また、キャリブレーション実行部１４ｄは、携帯端末２０がＴＩＬＴ方向について水平面に対し所定角以内にある場合に表示されるマーカＭに基づいてキャリブレーションを実行する。

したがって、実施形態に係るドライブレコーダ１０によれば、ＴＩＬＴ方向についてキャリブレーションの精度を確保しつつ、キャリブレーションの手間を削減することができる。

また、キャリブレーション実行部１４ｄは、マーカＭの辺長比が所定範囲外である場合に、ＰＡＮ方向について携帯端末２０の再配置を要求する。

したがって、実施形態に係るドライブレコーダ１０によれば、ＰＡＮ方向についてキャリブレーションの精度を確保しつつ、キャリブレーションの手間を削減することができる。

また、キャリブレーション実行部１４ｄは、常に車両Ｖに対し水平または同一サイズとなるように表示されるマーカＭに基づいてキャリブレーションを実行する。

したがって、実施形態に係るドライブレコーダ１０によれば、携帯端末２０の姿勢によりキャリブレーションの精度を落とすことなく、キャリブレーションの手間を削減することができる。

また、マーカＭは、２組の平行な２辺を有する四角形である。

したがって、実施形態に係るドライブレコーダ１０によれば、ＡＲ技術における角度推定のためのアルゴリズムを用いてキャリブレーションを行い、キャリブレーションの手間を削減することができる。

なお、上述した実施形態では、ドライブレコーダ１０に搭載されたカメラ１１をキャリブレーション対象となる車載カメラの一例として挙げたが、これに限られるものではない。たとえば、車両Ｖの前方に設けられるフロントカメラや、後方に設けられるリアカメラ、側方に設けられるサイドカメラ等、各種の車載カメラのキャリブレーションに本実施形態を適用してもよい。

また、上述した実施形態では、ドライブレコーダ１０を車載装置の一例として挙げたが、これに限られるものではなく、車載装置は、前述の各種の車載カメラが接続されたＥＣＵ（Electronic Control Unit）等であってもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 車載システム
１０ ドライブレコーダ
１１ カメラ
１２ 通知デバイス
１３ 記憶部
１３ａ 設計情報
１３ｂ 内部パラメータ情報
１４ 制御部
１４ａ 取得部
１４ｂ 算出部
１４ｃ 推定部
１４ｄ キャリブレーション実行部
２０ 携帯端末
２１ ジャイロセンサ
２２ 表示部
２３ 記憶部
２３ａ アプリ情報
２４ 制御部
２４ａ アプリ実行部
Ｖ 車両

Claims (8)

1. 携帯端末上に表示されるマーカを車載カメラによって撮像し、
   撮像された画像が前記マーカの姿勢の算出に適するか否かを判定し、
   前記算出に適すると判定された場合に前記マーカの姿勢を算出し、
   算出された算出結果から前記車載カメラの取付角度を推定し、
   推定された推定結果に基づいて前記車載カメラのキャリブレーションを実行し、
   前記算出に不適と判定された場合に前記携帯端末の再配置を要求する制御部
   を備える、車載装置。
2. 前記制御部は、
   前記携帯端末の姿勢に応じて表示される前記マーカに基づいて前記キャリブレーションを実行する、
   請求項１に記載の車載装置。
3. 前記制御部は、
   前記携帯端末がＲＯＬＬ方向について水平面に対し所定角以内にある場合に表示される前記マーカに基づいて前記キャリブレーションを実行する、
   請求項２に記載の車載装置。
4. 前記制御部は、
   前記携帯端末がＴＩＬＴ方向について水平面に対し所定角以内にある場合に表示される前記マーカに基づいて前記キャリブレーションを実行する、
   請求項２に記載の車載装置。
5. 前記制御部は、
   前記マーカの辺長比が所定範囲外である場合に、ＰＡＮ方向について前記携帯端末の再配置を要求する、
   請求項２に記載の車載装置。
6. 前記制御部は、
   常に車両に対し水平または同一サイズとなるように表示される前記マーカに基づいて前記キャリブレーションを実行する、
   請求項２に記載の車載装置。
7. 前記マーカは、２組の平行な２辺を有する四角形である、
   請求項１に記載の車載装置。
8. 携帯端末上に表示されるマーカを車載カメラによって撮像し、
   撮像された画像が前記マーカの姿勢の算出に適するか否かを判定し、
   前記算出に適すると判定された場合に前記マーカの姿勢を算出し、
   算出された算出結果から前記車載カメラの取付角度を推定し、
   推定された推定結果に基づいて前記車載カメラのキャリブレーションを実行し、
   前記算出に不適と判定された場合に前記携帯端末の再配置を要求する、
   制御部が行う車載カメラのキャリブレーション方法。

Images