JP7394934B1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】より早期に運転支援を開始させることができる情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】情報処理装置である車載装置１０は、制御部１５を備える。制御部１５は、車載カメラ１１の姿勢を推定する姿勢推定部１５ｂと、キャリブレーション処理を段階的に実行するキャリブレーション実行部１５ｃと、を備え、キャリブレーション処理の段階に応じて、外部装置５０において実行される車載カメラ１１による撮像画像の画像認識処理の内容を段階的に変更させる。【選択図】図４

Description

開示の実施形態は、情報処理装置、情報処理方法、およびプログラムに関する。

車載カメラによる撮像画像を画像認識処理することによって検知対象を検知し、検知結果を車両の運転支援に利用する車両制御システムがある。かかる車両制御システムは、車両に取り付けられる車載カメラの姿勢が検知対象の検知精度に大きく影響するため、車載カメラの取り付け時から所定期間の間、車載カメラの姿勢を調整するキャリブレーション処理を行う。

ただし、車両制御システムは、キャリブレーション処理が完了するまでの間、画像認識処理による検知対象の検知精度を十分に向上できない。このため、キャリブレーション処理が開始されてから完了するまでの間、運転支援を抑制する車両制御システムがある（例えば、特許文献１参照）。

特開２０１９－６２７５号公報

しかしながら、キャリブレーション処理が完了するまでの間、運転支援が抑制されると、運転支援の開始時期が遅くなるという問題が生じる。

実施形態の一態様は、上記に鑑みてなされたものであって、より早期に運転支援を開始させることができる情報処理装置、情報処理方法、およびプログラムを提供することを目的とする。

実施形態の一態様に係る情報処理装置は、制御部を備える。制御部は、車載カメラの取り付けに応じて実行する第１のキャリブレーション処理を終了した後に第１の画像認識処理を実行し、前記第１のキャリブレーション処理を終了した後に第２のキャリブレーション処理を実行し、前記第２のキャリブレーション処理を終了した後に前記第１の画像認識処理とは異なる範囲で第２の画像認識処理を実行する。

実施形態の一態様に係る情報処理装置、情報処理方法、およびプログラムは、より早期に運転支援を開始させることができるという効果を奏する。

図１は、実施形態に係る姿勢推定方法の概要説明図（その１）である。 図２は、実施形態に係る姿勢推定方法の概要説明図（その２）である。 図３は、実施形態に係る姿勢推定方法の概要説明図（その３）である。 図４は、実施形態に係る車載装置の構成例を示すブロック図である。 図５は、路面ＲＯＩおよび重畳ＲＯＩの説明図（その１）である。 図６は、路面ＲＯＩおよび重畳ＲＯＩの説明図（その２）である。 図７は、姿勢推定部の構成例を示すブロック図である。 図８は、実施形態に係る車載装置から外部装置への指示の一例を示す説明図である。 図９は、実施形態に係る車載装置から外部装置への指示の一例を示す説明図である。 図１０は、実施形態に係る車載装置が実行する処理手順を示すフローチャートである。 図１１は、実施形態に係る車載装置が実行する処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する情報処理装置、情報処理方法およびプログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。また、以下では、実施形態に係る情報処理装置が、車両に搭載される車載装置１０であるものとする。車載装置１０は、たとえばドライブレコーダである。

実施形態に係る車載装置１０は、車載カメラ（以下、「カメラ１１」と記載する（図４参照））によって撮像される車両周辺の画像を記録する装置である。また、車載装置１０は、所定のプログラムを実行することによって、車両に取付けられたカメラ１１の取り付け姿勢を推定し、推定したカメラ１１の姿勢によるキャリブレーション処理を段階的に実行する。さらに、車載装置１０は、所定のプログラムを実行することによって、キャリブレーション処理の段階に応じて、カメラ１１による撮像画像の画像認識の内容を段階的に変更させる処理を実行する。

まず、図１～図３を参照して、車載装置１０がカメラ１１の取り付け姿勢の推定を行う方法について説明する。図１～図３は、実施形態に係る姿勢推定方法の概要説明図（その１）～（その３）である。ここでは、実施形態に係る姿勢推定方法の説明に先立って、対比例に係る姿勢推定方法、および、課題についてより具体的に説明する。図１は、その内容を示すものである。

対比例に係る姿勢推定方法では、撮像画像中に設定された矩形状のＲＯＩ（Region Of Interest；処理対象領域）から路面上の特徴点を抽出し、かかる特徴点のフレーム間での動きを示すオプティカルフローに基づいて車載カメラの姿勢を推定する。

路面上の特徴点のオプティカルフローに基づいてカメラ１１の姿勢を推定する場合、抽出される路面上の特徴点としては、車線等の路面標示のコーナー部分などが挙げられる。

しかし、図１に示すように、たとえば撮像画像中の車線は、遠近法に言う消失点へ向けて収束するように写り込む。このため、矩形状のＲＯＩ（以下、「矩形ＲＯＩ３０－１」と言う）を用いた場合、矩形ＲＯＩ３０－１の左上や右上には路面以外の立体物等の特徴点が抽出されやすくなる。

図１は、路面上の特徴点に基づいてオプティカルフローＯｐ１，Ｏｐ２が、路面以外の立体物の特徴点に基づいてオプティカルフローＯｐ３がそれぞれ抽出された例を示している。

ここで、例えば、実空間における平行な線分のペアを抽出し、線分のペアに基づいてカメラ１１の姿勢を推定するアルゴリズムの場合、オプティカルフローＯｐ１，Ｏｐ２のペアは姿勢推定における正しい組み合わせ（以下、「正フロー」と言う）となる。一方、たとえばオプティカルフローＯｐ１，Ｏｐ３のペアは誤った組み合わせ（以下、「誤フロー」と言う）となる。

かかる誤フローに基づいては、カメラ１１の姿勢を正しく推定することができない。なお、カメラ１１の姿勢は、抽出したオプティカルフローのペアのそれぞれについてＰＡＮ，ＴＩＬＴ，ＲＯＬＬの各軸の回転角を推定し、ヒストグラム化した中央値に基づいて軸ズレが判定される。したがって、カメラ１１の姿勢推定は、誤フローが多ければそれだけ精度が低下するおそれがある。

これに対処するため、矩形ＲＯＩ３０－１ではなく、撮像画像中に写り込む路面の形状に応じたＲＯＩ３０を設定することが考えられる。しかしこの場合、そもそもカメラ１１のキャリブレーション値（取り付け位置およびＰＡＮ，ＴＩＬＴ，ＲＯＬＬ）が既知でなければ、かかる路面の形状に応じたＲＯＩ３０（以下、「路面ＲＯＩ３０－２」と言う）を設定することはできない。

そこで、実施形態に係る姿勢推定方法では、車載装置１０が備える制御部１５（図４参照）は、カメラ１１の取り付け初期である場合に、矩形状に設定された矩形ＲＯＩ３０－１を用いた第１の姿勢推定処理を実行し、カメラ１１の取り付け初期でない場合に、路面の形状に応じて設定された重畳ＲＯＩ３０－Ｓを用いた第２の姿勢推定処理を実行する。

ここで、「取り付け初期である場合」とは、カメラ１１の取り付け状態が「第１の状態である場合」を指す。「第１の状態」は、カメラ１１の取り付け初期であることを推定させる状態である。たとえば第１の状態は、カメラ１１の取り付け時からの経過時間が予め決められた経過時間未満である状態である。また、たとえば第１の状態は、カメラ１１の取り付け時からのキャリブレーションの回数が予め決められた回数未満である状態である。一方、「取り付け初期でない場合」とは、カメラ１１の取り付け状態が第１の状態とは異なる「第２の状態である場合」を指す。

具体的には、図２に示すように、実施形態に係る姿勢推定方法では、制御部１５が、カメラ１１の取り付け初期においては、矩形ＲＯＩ３０－１のオプティカルフローを使用した姿勢推定処理を実行する（ステップＳ１）。また、制御部１５は、カメラ１１の取り付け初期でない場合においては、矩形ＲＯＩ３０－１中の路面ＲＯＩ３０－２のオプティカルフローを使用した姿勢推定処理を実行する（ステップＳ２）。矩形ＲＯＩ３０－１中の路面ＲＯＩ３０－２とは、矩形ＲＯＩ３０－１と路面ＲＯＩ３０－２とが重なる重畳部分である重畳ＲＯＩ３０－Ｓを指す。

図２に示すように、重畳ＲＯＩ３０－Ｓのオプティカルフローを用いた場合、誤フローの発生は少なくなる。たとえば、ステップＳ１では処理対象に含まれるオプティカルフローＯｐ４，Ｏｐ５，Ｏｐ６は、ステップＳ２では含まれなくなる。

図３に矩形ＲＯＩ３０－１を用いた場合と、重畳ＲＯＩ３０－Ｓを用いた場合との比較を示す。重畳ＲＯＩ３０－Ｓを用いた場合は、矩形ＲＯＩ３０－１を用いた場合に比べて、誤フローは少なく、推定回数も少なく、推定精度も高い。ただし、推定時間は遅く、キャリブレーション値が必要である。

しかし、かかる推定時間およびキャリブレーション値に関するデメリットは、ステップＳ１でカメラ１１の取り付け初期に矩形ＲＯＩ３０－１を用いた姿勢推定処理が行われることによって補われる。

すなわち、実施形態に係る姿勢推定方法によれば、矩形ＲＯＩ３０－１を用いた場合、重畳ＲＯＩ３０－Ｓを用いた場合、それぞれのデメリットを互いの長所によって補いつつカメラ１１の姿勢推定の精度を向上させることができる。

このように、実施形態に係る姿勢推定方法では、制御部１５が、カメラ１１の取り付け初期である場合に、矩形状に設定された矩形ＲＯＩ３０－１を用いた第１の姿勢推定処理を実行し、取り付け初期でない場合に、路面の形状に応じて設定された重畳ＲＯＩ３０－Ｓを用いた第２の姿勢推定処理を実行することとした。

したがって、実施形態に係る姿勢推定方法によれば、カメラ１１の姿勢推定の精度を向上させることができる。

以下、上述した実施形態に係る姿勢推定方法を適用した車載装置１０の構成例について、より具体的に説明する。

図４は、実施形態に係る車載装置１０の構成例を示すブロック図である。なお、図４および後に示す図７では、本実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。

換言すれば、図４および図７に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

また、図４および図７を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、説明を省略する場合がある。

図４に示すように、実施形態に係る車載装置１０は、カメラ１１と、センサ部１２と、通知デバイス１３と、記憶部１４と、制御部１５とを有する。

カメラ１１は、たとえばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、かかる撮像素子を用いて予め決められた撮像範囲を撮像する。カメラ１１は、たとえばフロントガラスやダッシュボード等の車両の各所に、車両の前方の予め決められた撮像範囲を撮像するように取り付けられる。

センサ部１２は、車両に搭載される各種のセンサであり、たとえば車速センサやＧセンサなどを含む。通知デバイス１３は、キャリブレーションに関する情報を通知するデバイスである。通知デバイス１３は、たとえばディスプレイやスピーカ等によって実現される。

記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の記憶デバイスによって実現される。記憶部１４は、図４の例では、画像情報１４ａと、取り付け情報１４ｂとを記憶する。

画像情報１４ａは、カメラ１１によって撮像された撮像画像が格納される。これにより、車載装置１０は、搭載される車両が事故に遭遇した場合に、画像情報１４ａを出力することによって、画像情報１４ａを事故状況の再現、および、事故原因の解明に役立てることができる。

取り付け情報１４ｂは、カメラ１１の取り付けに関する情報である。取り付け情報１４ｂは、カメラ１１の取り付け位置および姿勢に関する設計値や、前述のキャリブレーション値を含む。取り付け情報１４ｂはさらに、取り付け時の日時、取り付け時から経過時間、取り付け時からのキャリブレーションの回数等、カメラ１１の取り付け初期であるかの判断材料となる各種の情報を含んでもよい。

制御部１５は、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、記憶部１４に記憶されている図示略の実施形態に係るプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１５は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

制御部１５は、モード設定部１５ａと、姿勢推定部１５ｂと、キャリブレーション実行部１５ｃとを有し、以下に説明する情報処理の機能や作用を実現または実行する。

モード設定部１５ａは、カメラ１１の取り付け初期である場合に、姿勢推定部１５ｂの実行モードである姿勢推定モードを第１のモードへ設定する。また、モード設定部１５ａは、カメラ１１の取り付け初期でない場合に、姿勢推定部１５ｂの姿勢推定モードを第２のモードへ設定する。

姿勢推定部１５ｂは、実行モードが第１のモードへ設定された場合、矩形ＲＯＩ３０－１のオプティカルフローを使用した第１の姿勢推定処理を実行する。また、姿勢推定部１５ｂは、実行モードが第２のモードへ設定された場合、矩形ＲＯＩ３０－１中の路面ＲＯＩ３０－２（すなわち、重畳ＲＯＩ３０－Ｓ）のオプティカルフローを使用した第２の姿勢推定処理を実行する。

ここで、路面ＲＯＩ３０－２および重畳ＲＯＩ３０－Ｓについて具体的に説明する。図５は、路面ＲＯＩ３０－２および重畳ＲＯＩ３０－Ｓの説明図（その１）である。また、図６は、路面ＲＯＩ３０－２および重畳ＲＯＩ３０－Ｓの説明図（その２）である。

図５に示すように、路面ＲＯＩ３０－２は、撮像画像中に写り込む路面の形状に応じたＲＯＩ３０として設定される。路面ＲＯＩ３０－２は、既知のキャリブレーション値に基づいて、自車走行レーンから左右に半車線～１車線分程度、奥行き２０ｍ程度の領域となるように設定される。

また、図５に示すように、重畳ＲＯＩ３０－Ｓは、矩形ＲＯＩ３０－１と路面ＲＯＩ３０－２とが重なる重畳部分である。重畳ＲＯＩ３０－Ｓは、より抽象的に表現すると、図６に示すように矩形ＲＯＩ３０－１から左上領域Ｃ－１と右上領域Ｃ－２とを除去した台形状の領域であると言うことができる。かかる左上領域Ｃ－１と右上領域Ｃ－２とを除去した領域を姿勢推定の処理対象領域とすることによって、誤フローの発生を減らし、姿勢推定の精度向上を図ることができる。

姿勢推定部１５ｂの構成例についてより具体的に説明する。図７は、姿勢推定部１５ｂの構成例を示すブロック図である。図７に示すように、姿勢推定部１５ｂは、取得部１５ｂａと、特徴点抽出部１５ｂｂと、特徴点追従部１５ｂｃと、線分抽出部１５ｂｄと、算出部１５ｂｅと、ノイズ除去部１５ｂｆと、決定部１５ｂｇとを有する。

取得部１５ｂａは、カメラ１１の撮像画像を取得し、画像情報１４ａへ格納する。特徴点抽出部１５ｂｂは、画像情報１４ａへ格納された撮像画像に対し、姿勢推定部１５ｂの実行モードに応じた各ＲＯＩ３０を設定する。また、特徴点抽出部１５ｂｂは、設定したＲＯＩ３０に含まれる特徴点を抽出する。

特徴点追従部１５ｂｃは、特徴点抽出部１５ｂｂによって抽出された各特徴点をフレーム間にわたって追従し、特徴点ごとのオプティカルフローを抽出する。線分抽出部１５ｂｄは、特徴点追従部１５ｂｃによって抽出されたオプティカルフローからノイズ成分を除去し、各オプティカルフローに基づく線分のペア群を抽出する。

算出部１５ｂｅは、線分抽出部１５ｂｄによって抽出された線分のペアのそれぞれについて、非特許文献１のアルゴリズムを用いてＰＡＮ，ＴＩＬＴ，ＲＯＬＬの各軸の回転角を算出する。

ノイズ除去部１５ｂｆは、センサ部１２のセンサ値に基づいて、算出部１５ｂｅによって算出された各角度のうちから低速および舵角によるノイズ分を除去する。決定部１５ｂｇは、ノイズ分が除去された各角度をヒストグラム化し、中央値に基づいてＰＡＮ，ＴＩＬＴ，ＲＯＬＬの各角度推定値を決定する。また、決定部１５ｂｇは、決定した角度推定値を取り付け情報１４ｂへ格納する。

図４の説明に戻る。キャリブレーション実行部１５ｃは、姿勢推定部１５ｂによる推定結果に基づいてキャリブレーションを実行する。具体的には、キャリブレーション実行部１５ｃは、姿勢推定部１５ｂによって推定された角度推定値と取り付け情報１４ｂに含まれる設計値とを比較し、誤差を補正することによって、キャリブレーション処理を実行する。

キャリブレーション実行部１５ｃは、カメラ１１の取り付け状態が第１の状態である第１の所定期間、つまり、カメラ１１の取り付け時から第１の所定期間に、推定されたカメラ１１の姿勢に基づいて、第１のキャリブレーション処理を実行する。

その後、キャリブレーション実行部１５ｃは、カメラ１１の取り付け状態が第２の状態である第２の所定期間に推定されたカメラ１１の姿勢に基づいて、第２のキャリブレーション処理を実行する。

つまり、キャリブレーション実行部１５ｃは、第１のキャリブレーション処理が完了してから第２の所定期間に、第１のキャリブレーション処理よりも詳細な第２のキャリブレーション処理を実行する。このように、制御部１５は、キャリブレーション処理を段階的に実行する。

そして、キャリブレーション実行部１５ｃは、補正したキャリブレーション値を外部装置５０へ通知して、キャリブレーション処理の段階に応じて外部装置５０による画像認識処理の内容を段階的に変更させる。

ここでの外部装置５０は、たとえば、カメラ１１による撮像画像を画像認識処理することによって、障害物を検知する機能、駐車枠を検知する機能、車両を自動運転走行させる機能、および車両を自動駐車させる機能などを備え、車両の運転支援を行う装置である。外部装置５０は、例えば、インターネットなどの通信ネットワーク１００を介して情報管理サーバ５１と無線通信可能に接続される。

車載装置１０によれば、カメラ１１のキャリブレーション処理が完全に終了していなくても、キャリブレーション処理の段階に応じた画像認識処理を外部装置５０に実行させることによって、外部装置５０による運転支援をより早期に開始させることができる。

ここで、図８および図９を参照して、車載装置１０がキャリブレーション処理の段階に応じて外部装置５０へ行う画像認識処理に関する指示の一例について説明する。図８および図９は、実施形態に係る車載装置１０から外部装置５０への指示の一例を示す説明図である。

図８に示すように、キャリブレーション実行部１５ｃは、カメラ１１の取り付けから第１の所定期間の間、第１のキャリブレーション処理を実行する。そして、キャリブレーション実行部１５ｃは、第１のキャリブレーション処理が完了するまでの間、外部装置５０に対して、画像認識処理の実行を禁止する指示を行う。

これに従い、外部装置５０は、画像認識処理による検知対象の検知を行わないので、ユーザへの検知対象（例えば、障害物など）のユーザへの通知および警告を行わない。つまり、外部装置５０は、カメラ１１の取り付けから第１の所定期間が経過するまでの間は、第１のキャリブレーション処理すら完了しておらず、画像認識処理による対象物の検知精度が比較的低いため、運転支援を行わない。

これにより、車載装置１０は、検知精度が低い状態の外部装置５０によって、実際には存在しない検知対象の存在が、誤ってユーザへ通知されたり、誤って警告されたりすることを防止することができる。

その後、キャリブレーション実行部１５ｃは、第１のキャリブレーション処理が完了すると、第１のキャリブレーション処理の完了から第２の所定期間の間、第１のキャリブレーション処理よりも詳細な第２のキャリブレーション処理を実行する。

そして、キャリブレーション実行部１５ｃは、第２のキャリブレーション処理が完了するまでの間、外部装置５０に対して、第１の画像認識処理を実行させる指示を行う。このとき、キャリブレーション実行部１５ｃは、カメラ１１から第１の所定距離（たとえば、５ｍ）までの範囲に存在する検知対象を外部装置５０によって検知させ、検知結果をユーザへ通知（警告部含む）させる第１の画像認識処理を外部装置５０に実行させる。

これにより、車載装置１０は、第１のキャリブレーションが未完了の場合よりは対象物の検知精度が高くなった状態の外部装置５０によって検知される比較的近距離の検知対象の存在をユーザへ通知させることができる。

つまり、車載装置１０は、キャリブレーション処理が完全には終了していない状態であっても、外部装置５０によって、そのときの検知対象の検知精度に応じた検知結果の通知を行わせることによって、早期に運転支援を開始させることができる。

しかも、車載装置１０は、キャリブレーション処理が完全には終了しておらず、遠方の検知対象に対しては検知精度が十分な状態ではない外部装置５０によって、第１の所定距離よりも遠いところに存在する検知対象を検知させない。これにより、車載装置１０は、実際には存在しない遠方の検知対象の存在が、誤ってユーザへ通知されたり、誤って警告されたりすることを防止することができる。

その後、キャリブレーション実行部１５ｃは、第２のキャリブレーション処理が完了して以降は、外部装置５０に対して、第１の画像認識よりも高感度な第２の画像認識処理を実行させる指示を行う。

このとき、キャリブレーション実行部１５ｃは、カメラ１１から第１の所定距離（たとえば、５ｍ）よりも長い第２の所定距離（例えば、１０ｍ）までの範囲に存在する検知対象を外部装置５０によって検知させ、検知結果をユーザへ通知（警告部含む）させる第２の画像認識処理を外部装置５０に実行させる。

これにより、車載装置１０は、キャリブレーション処理が完全に終了した状態の外部装置５０によって検知される比較的遠距離の検知対象の存在までを適切にユーザへ通知させることができる。

なお、図８示す外部装置５０への画像認識処理に関する指示は、一例である。キャリブレーション実行部１５ｃは、例えば、図９に示す指示を外部装置５０に対して行うように構成されてもよい。

たとえば、図９に示すように、キャリブレーション実行部１５ｃは、カメラ１１の取り付けから第１の所定期間が経過するまでは、図８に示す指示と同様の指示を外部装置５０に行い、その後、第２の所定期間には、図８に示す指示とは異なる指示を行ってもよい。

具体的には、キャリブレーション実行部１５ｃは、第１のキャリブレーション処理が完了してから第２のキャリブレーション処理が完了するまでの第２の所定期間の間、外部装置５０に対して、第１の画像認識処理を実行させる指示を行う。ただし、キャリブレーション実行部１５ｃは、外部装置５０によるユーザへの検知結果の通知を禁止させ、検知結果を情報管理サーバ５１に送信するように外部装置５０に指示する。

これにより、車載装置１０は、検知精度が低い状態の外部装置５０による不確かな検知結果がユーザへ通知されることを防止しつつ、そのときの検知結果を、情報管理サーバ５１に送信しておくことで、事故が発生したときの原因の究明に役立てることができる。なお、この場合、キャリブレーション実行部１５ｃは、第２のキャリブレーション処理を完了して以降は、図８に示す指示と同様の指示を外部装置５０に行う。

次に、車載装置１０が実行する処理手順について、図１０および図１１を用いて説明する。図１０および図１１は、実施形態に係る車載装置１０が実行する処理手順を示すフローチャートである。

図１０に示すように、車載装置１０の制御部１５は、カメラ１１の取り付け初期であるか否かを判定する（ステップＳ１０１）。取り付け初期である場合（ステップＳ１０１，Ｙｅｓ）、制御部１５は、姿勢推定モードを第１のモードへ設定する（ステップＳ１０２）。

そして、制御部１５は、矩形ＲＯＩ３０－１のオプティカルフローを使用した姿勢推定処理を実行する（ステップＳ１０３）。一方、取り付け初期でない場合（ステップＳ１０１，Ｎｏ）、制御部１５は、姿勢推定モードを第２のモードへ設定する（ステップＳ１０４）。

そして、制御部１５は、矩形ＲＯＩ３０－１中の路面ＲＯＩ３０－２のオプティカルフローを使用した姿勢推定処理を実行する（ステップＳ１０５）。そして、制御部１５は、処理終了イベントがあるか否かを判定する（ステップＳ１０６）。

処理終了イベントは、たとえば姿勢推定処理の非実行時間帯の到来や、エンジンの停止や、電源のオフ等である。処理終了イベントが生じていなければ（ステップＳ１０６，Ｎｏ）、制御部１５は、ステップＳ１０１からの処理を繰り返す。処理終了イベントが生じていれば（ステップＳ１０６，Ｙｅｓ）、制御部１５は、処理を終了する。

また、制御部１５は、図１０に示す処理と並行して、図１１に示す処理を実行する。図１１に示すように、制御部１５は、カメラ１１の取り付けから第１の所定期間内か否かを判定する（ステップＳ２０１）。制御部１５は、カメラ１１の取り付けから第１の所定期間内でないと判定した場合（ステップＳ２０１，Ｎｏ）、処理をステップＳ２０５へ移す。

制御部１５は、カメラ１１の取り付けから第１の所定期間内であると判定した場合（ステップＳ２０１，Ｙｅｓ）、第１のキャリブレーション処理を実行する（ステップＳ２０２）。そして、制御部１５は、画像認識処理の実行を禁止する指示を外部装置５０に対して行う（ステップＳ２０３）。

続いて、制御部１５は、第１のキャリブレーション処理が完了したか否かを判定する（ステップＳ２０４）。制御部１５は、第１のキャリブレーション処理が完了していないと判定した場合（ステップＳ２０４，Ｎｏ）、処理をステップＳ２０２へ移す。

制御部１５は、第１のキャリブレーション処理が完了したと判定した場合（ステップＳ２０４，Ｙｅｓ）、その後、第２の所定期間内か否かを判定する（ステップＳ２０５）。制御部１５は、第２の所定期間内でないと判定した場合（ステップＳ２０５，Ｎｏ）、処理をステップＳ２０９へ移す。

制御部１５は、第２の所定期間内であると判定した場合（ステップＳ２０５，Ｙｅｓ）、第２のキャリブレーション処理を実行する（ステップＳ２０６）。そして、制御部１５は、第１の画像認識処理を実施させる指示を外部装置５０に対して行う（ステップＳ２０７）。

続いて、制御部１５は、第２のキャリブレーション処理が完了したか否かを判定する（ステップＳ２０８）。制御部１５は、第２のキャリブレーション処理が完了していないと判定した場合（ステップＳ２０８，Ｎｏ）、処理をステップＳ２０６へ移す。

制御部１５は、第２のキャリブレーション処理が完了したと判定した場合（ステップＳ２０８，Ｙｅｓ）、第２の画像認識処理を実施させる指示を外部装置５０に対して行い（ステップＳ２０９）、処理を終了する。

なお、実施形態に係るプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。

付記として、本発明の特徴を以下の通り示す。
（１）
車載カメラの取り付けに応じて実行する第１のキャリブレーション処理を終了した後に第１の画像認識処理を実行し、
前記第１のキャリブレーション処理を終了した後に第２のキャリブレーション処理を実行し、
前記第２のキャリブレーション処理を終了した後に前記第１の画像認識処理とは異なる範囲で第２の画像認識処理を実行する制御部を備える、
情報処理装置。
（２）
前記第２のキャリブレーション処理は、前記第１のキャリブレーション処理よりも詳細である、
前記（１）に記載の情報処理装置。
（３）
前記制御部は、
前記第１のキャリブレーション処理を、矩形形状の範囲で実行し、前記第２のキャリブレーション処理を、路面形状に応じた範囲で実行する、
前記（１）または（２）に記載の情報処理装置。
（４）
前記第２のキャリブレーション処理は、前記第１の画像認識処理よりも高感度な処理である、
請求項１に記載の情報処理装置。
（５）
前記制御部は、
前記第１のキャリブレーション処理が終了するまで、前記第１の画像認識処理の実行を禁止する、
前記（１）～（４）のいずれか一つに記載の情報処理装置。
（６）
前記制御部は、
前記第２のキャリブレーション処理を実行中に、前記第１の画像認識処理を実行する、
前記（１）～（５）のいずれか一つに記載の情報処理装置。
（７）
前記制御部は、
前記第１の画像認識処理または前記第２の画像認識処理の結果をユーザへ通知する、
前記（１）～（６）のいずれか一つに記載の情報処理装置。
（８）
前記制御部は、
前記第１の画像認識処理および前記第２の画像認識処理の結果をサーバへ送信する、
前記（１）～（７）のいずれか一つに記載の情報処理装置。
（９）
情報処理装置が、
車載カメラの取り付けに応じて実行する第１のキャリブレーション処理を終了した後に第１の画像認識処理を実行し、
前記第１のキャリブレーション処理を終了した後に第２のキャリブレーション処理を実行し、
前記第２のキャリブレーション処理を終了した後に前記第１の画像認識処理とは異なる範囲で第２の画像認識処理を実行すること、
を含む、情報処理方法。
（１０）
前記第２のキャリブレーション処理は、前記第１のキャリブレーション処理よりも詳細である、
前記（９）に記載の情報処理方法。
（１１）
前記情報処理装置は、
前記第１のキャリブレーション処理を、矩形形状の範囲で実行し、前記第２のキャリブレーション処理を、路面形状に応じた範囲で実行する、
前記（９）または請求項（１０）に記載の情報処理方法。
（１２）
前記第２のキャリブレーション処理は、前記第１の画像認識処理よりも高感度な処理である、
前記（９）～（１１）のいずれか一つに記載の情報処理方法。
（１３）
車載カメラの取り付けに応じて実行する第１のキャリブレーション処理を終了した後に第１の画像認識処理を実行する手順と、
前記第１のキャリブレーション処理を終了した後に第２のキャリブレーション処理を実行する手順と、
前記第２のキャリブレーション処理を終了した後に前記第１の画像認識処理とは異なる範囲で第２の画像認識処理を実行する手順とをコンピュータに実行させる、
プログラム。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１０ 車載装置
１１ カメラ
１２ センサ部
１３ 通知デバイス
１４ 記憶部
１４ａ 画像情報
１４ｂ 取り付け情報
１５ 制御部
１５ａ モード設定部
１５ｂ 姿勢推定部
１５ｂａ 取得部
１５ｂｂ 特徴点抽出部
１５ｂｃ 特徴点追従部
１５ｂｄ 線分抽出部
１５ｂｅ 算出部
１５ｂｆ ノイズ除去部
１５ｂｇ 決定部
１５ｃ キャリブレーション実行部
３０ ＲＯＩ
３０－１ 矩形ＲＯＩ
３０－２ 路面ＲＯＩ
３０－Ｓ 重畳ＲＯＩ
５０ 外部装置
５１ 情報管理サーバ

Claims (13)

1. 車載カメラの取り付けに応じて実行する第１のキャリブレーション処理を終了した後に第１の画像認識処理を実行し、
   前記第１のキャリブレーション処理を終了した後に第２のキャリブレーション処理を実行し、
   前記第２のキャリブレーション処理を終了した後に前記第１の画像認識処理とは異なる範囲で第２の画像認識処理を実行する制御部を備える、
   情報処理装置。
2. 前記第２のキャリブレーション処理は、前記第１のキャリブレーション処理よりも詳細である、
   請求項１に記載の情報処理装置。
3. 前記制御部は、
   前記第１のキャリブレーション処理を、矩形形状の範囲で実行し、前記第２のキャリブレーション処理を、路面形状に応じた範囲で実行する、
   請求項１に記載の情報処理装置。
4. 前記第２の画像認識処理は、前記第１の画像認識処理よりも高感度な処理である、
   請求項１に記載の情報処理装置。
5. 前記制御部は、
   前記第１のキャリブレーション処理が終了するまで、前記第１の画像認識処理の実行を禁止する、
   請求項１に記載の情報処理装置。
6. 前記制御部は、
   前記第２のキャリブレーション処理を実行中に、前記第１の画像認識処理を実行する、
   請求項１に記載の情報処理装置。
7. 前記制御部は、
   前記第１の画像認識処理または前記第２の画像認識処理の結果をユーザへ通知する、
   請求項１に記載の情報処理装置。
8. 前記制御部は、
   前記第１の画像認識処理および前記第２の画像認識処理の結果をサーバへ送信する、
   請求項１に記載の情報処理装置。
9. 情報処理装置が、
   車載カメラの取り付けに応じて実行する第１のキャリブレーション処理を終了した後に第１の画像認識処理を実行し、
   前記第１のキャリブレーション処理を終了した後に第２のキャリブレーション処理を実行し、
   前記第２のキャリブレーション処理を終了した後に前記第１の画像認識処理とは異なる範囲で第２の画像認識処理を実行すること、
   を含む、情報処理方法。
10. 前記第２のキャリブレーション処理は、前記第１のキャリブレーション処理よりも詳細である、
    請求項９に記載の情報処理方法。
11. 前記情報処理装置は、
    前記第１のキャリブレーション処理を、矩形形状の範囲で実行し、前記第２のキャリブレーション処理を、路面形状に応じた範囲で実行する、
    請求項９に記載の情報処理方法。
12. 前記第２の画像認識処理は、前記第１の画像認識処理よりも高感度な処理である、
    請求項９に記載の情報処理方法。
13. 車載カメラの取り付けに応じて実行する第１のキャリブレーション処理を終了した後に第１の画像認識処理を実行する手順と、
    前記第１のキャリブレーション処理を終了した後に第２のキャリブレーション処理を実行する手順と、
    前記第２のキャリブレーション処理を終了した後に前記第１の画像認識処理とは異なる範囲で第２の画像認識処理を実行する手順とをコンピュータに実行させる、
    プログラム。

Images