JP7359901B1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】車載カメラの姿勢推定の精度を向上させること。【解決手段】実施形態に係る情報処理装置は、制御部を備える。制御部は、車載カメラの撮像画像に設定された処理対象領域における特徴点のオプティカルフローに基づいて車載カメラの姿勢を推定する姿勢推定処理を実行する。また、制御部は、車載カメラの取り付け状態が第１の状態である場合に、矩形状に設定された第１の処理対象領域を用いた第１の姿勢推定処理を実行し、車載カメラの取り付け状態が第２の状態である場合に、路面の形状に応じて設定された第２の処理対象領域を用いた第２の姿勢推定処理を実行する。【選択図】図２

Description

開示の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。

車載カメラの取り付け位置および姿勢は、不意の接触や経年変化などにより変化し、取り付け当初のキャリブレーションから誤差を生じてしまうことがある。これを検知するため、従来から、車載カメラの撮像画像に基づいて車載カメラの姿勢を推定する技術が知られている。

たとえば特許文献１に開示の技術は、撮像画像中に設定された矩形状のＲＯＩ（Region Of Interest；処理対象領域）から路面上の特徴点を抽出し、かかる特徴点のフレーム間での動きを示すオプティカルフローに基づいて車載カメラの姿勢を推定するものである。

かかるオプティカルフローに基づいて実空間における平行な線分のペアを抽出し、たとえば非特許文献１のアルゴリズムを用いることで、車載カメラの姿勢（ＰＡＮ，ＴＩＬＴ，ＲＯＬＬの各軸の回転角）を推定することができる。

特開２０２１－０８６２５８号公報

[online]，慶應義塾大学，[令和４年３月３１日検索]，インターネット＜URL:http://im-lab.net/artoolkit-overview/＞

しかしながら、上述した従来技術には、車載カメラの姿勢推定の精度を向上させるうえで、さらなる改善の余地がある。

実施形態の一態様は、上記に鑑みてなされたものであって、車載カメラの姿勢推定の精度を向上させることができる情報処理装置、情報処理方法およびプログラムを提供することを目的とする。

実施形態の一態様に係る情報処理装置は、制御部を備える。前記制御部は、車載カメラの撮像画像に基づいて前記車載カメラの姿勢を推定する。また、前記制御部は、第１の姿勢推定処理と、第２の姿勢推定処理と、を実行可能である。前記第１の姿勢推定処理は、前記車載カメラの取り付け状態が既知のキャリブレーション値を持たない第１の状態である場合に、前記撮像画像の中に矩形状の第１処理対象領域を設定し、前記第１処理対象領域内における特徴点のオプティカルフローに基づいて第１のキャリブレーション値を算出し前記車載カメラの姿勢を推定する。前記第２の姿勢推定処理は、前記車載カメラの取り付け状態が既知のキャリブレーション値を持つ第２の状態である場合に、既知のキャリブレーション値を用いて、前記撮像画像の中に路面の形状に応じた第２処理対象領域を設定し、前記第２処理対象領域内における特徴点のオプティカルフローに基づいて第２のキャリブレーション値を算出し前記車載カメラの姿勢を推定する。

実施形態の一態様によれば、車載カメラの姿勢推定の精度を向上させることができる。

図１は、実施形態に係る姿勢推定方法の概要説明図（その１）である。 図２は、実施形態に係る姿勢推定方法の概要説明図（その２）である。 図３は、実施形態に係る姿勢推定方法の概要説明図（その３）である。 図４は、実施形態に係る車載装置の構成例を示すブロック図である。 図５は、路面ＲＯＩおよび重畳ＲＯＩの説明図（その１）である。 図６は、路面ＲＯＩおよび重畳ＲＯＩの説明図（その２）である。 図７は、姿勢推定部の構成例を示すブロック図である。 図８は、実施形態に係る車載装置が実行する処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する情報処理装置、情報処理方法およびプログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

また、以下では、実施形態に係る情報処理装置が、車両に搭載される車載装置１０であるものとする。車載装置１０は、たとえばドライブレコーダである。また、以下では、実施形態に係る情報処理方法が、車載装置１０の備えるカメラ１１（図３参照）の姿勢推定方法であるものとする。

図１～図３は、実施形態に係る姿勢推定方法の概要説明図（その１）～（その３）である。まず、実施形態に係る姿勢推定方法の説明に先立って、既存技術の課題についてより具体的に説明する。図１は、その内容を示すものである。

路面上の特徴点のオプティカルフローに基づいてカメラ１１の姿勢を推定する場合、抽出される路面上の特徴点としては、車線等の路面標示のコーナー部分などが挙げられる。

しかし、図１に示すように、たとえば撮像画像中の車線は、遠近法に言う消失点へ向けて収束するように写り込む。このため、矩形状のＲＯＩ（以下、「矩形ＲＯＩ３０－１」と言う）を用いた場合、矩形ＲＯＩ３０－１の左上や右上には路面以外の立体物等の特徴点が抽出されやすくなる。

図１は、路面上の特徴点に基づいてオプティカルフローＯｐ１，Ｏｐ２が、路面以外の立体物の特徴点に基づいてオプティカルフローＯｐ３がそれぞれ抽出された例を示している。

非特許文献１のアルゴリズムは、実空間における平行な線分のペアを前提とするので、オプティカルフローＯｐ１，Ｏｐ２のペアは姿勢推定における正しい組み合わせ（以下、「正フロー」と言う）となる。一方、たとえばオプティカルフローＯｐ１，Ｏｐ３のペアは誤った組み合わせ（以下、「誤フロー」と言う）となる。

かかる誤フローに基づいては、カメラ１１の姿勢を正しく推定することができない。なお、カメラ１１の姿勢は、抽出したオプティカルフローのペアのそれぞれについてＰＡＮ，ＴＩＬＴ，ＲＯＬＬの各軸の回転角を推定し、ヒストグラム化した中央値に基づいて軸ズレが判定される。したがって、カメラ１１の姿勢推定は、誤フローが多ければそれだけ精度が低下するおそれがある。

これに対処するため、矩形ＲＯＩ３０－１ではなく、撮像画像中に写り込む路面の形状に応じたＲＯＩ３０を設定することが考えられる。しかしこの場合、そもそもカメラ１１のキャリブレーション値（取り付け位置およびＰＡＮ，ＴＩＬＴ，ＲＯＬＬ）が既知でなければ、かかる路面の形状に応じたＲＯＩ３０（以下、「路面ＲＯＩ３０－２」と言う）を設定することはできない。

そこで、実施形態に係る姿勢推定方法では、車載装置１０が備える制御部１５（図３参照）が、カメラ１１の取り付け初期である場合に、矩形状に設定された矩形ＲＯＩ３０－１を用いた第１の姿勢推定処理を実行し、カメラ１１の取り付け初期でない場合に、路面の形状に応じて設定された重畳ＲＯＩ３０－Ｓを用いた第２の姿勢推定処理を実行することとした。

ここで、「取り付け初期である場合」とは、カメラ１１の取り付け状態が「第１の状態である場合」を指す。「第１の状態」は、カメラ１１の取り付け初期であることを推定させる状態である。たとえば第１の状態は、カメラ１１の取り付け時からの経過時間が予め決められた経過時間未満である状態である。また、たとえば第１の状態は、カメラ１１の取り付け時からのキャリブレーションの回数が予め決められた回数未満である状態である。また、たとえば第１の状態は、取り付け時からのカメラ１１のズレ量が予め決められたズレ量未満である状態である。一方、「取り付け初期でない場合」とは、カメラ１１の取り付け状態が第１の状態とは異なる「第２の状態である場合」を指す。

具体的には、図２に示すように、実施形態に係る姿勢推定方法では、制御部１５が、カメラ１１の取り付け初期においては、矩形ＲＯＩ３０－１のオプティカルフローを使用した姿勢推定処理を実行する（ステップＳ１）。また、制御部１５は、カメラ１１の取り付け初期でない場合においては、矩形ＲＯＩ３０－１中の路面ＲＯＩ３０－２のオプティカルフローを使用した姿勢推定処理を実行する（ステップＳ２）。矩形ＲＯＩ３０－１中の路面ＲＯＩ３０－２とは、矩形ＲＯＩ３０－１と路面ＲＯＩ３０－２とが重なる重畳部分である重畳ＲＯＩ３０－Ｓを指す。

図２に示すように、重畳ＲＯＩ３０－Ｓのオプティカルフローを用いた場合、誤フローの発生は少なくなる。たとえば、ステップＳ１では処理対象に含まれるオプティカルフローＯｐ４，Ｏｐ５，Ｏｐ６は、ステップＳ２では含まれなくなる。

図３に矩形ＲＯＩ３０－１を用いた場合と、重畳ＲＯＩ３０－Ｓを用いた場合との比較を示す。重畳ＲＯＩ３０－Ｓを用いた場合は、矩形ＲＯＩ３０－１を用いた場合に比べて、誤フローは少なく、推定回数も少なく、推定精度も高い。ただし、推定時間は遅く、キャリブレーション値が必要である。

しかし、かかる推定時間およびキャリブレーション値に関するデメリットは、ステップＳ１でカメラ１１の取り付け初期に矩形ＲＯＩ３０－１を用いた姿勢推定処理が行われることによって補われる。

すなわち、実施形態に係る姿勢推定方法によれば、矩形ＲＯＩ３０－１を用いた場合、重畳ＲＯＩ３０－Ｓを用いた場合、それぞれのデメリットを互いの長所によって補いつつカメラ１１の姿勢推定の精度を向上させることができる。

このように、実施形態に係る姿勢推定方法では、制御部１５が、カメラ１１の取り付け初期である場合に、矩形状に設定された矩形ＲＯＩ３０－１を用いた第１の姿勢推定処理を実行し、取り付け初期でない場合に、路面の形状に応じて設定された重畳ＲＯＩ３０－Ｓを用いた第２の姿勢推定処理を実行することとした。

したがって、実施形態に係る姿勢推定方法によれば、カメラ１１の姿勢推定の精度を向上させることができる。

以下、上述した実施形態に係る姿勢推定方法を適用した車載装置１０の構成例について、より具体的に説明する。

図４は、実施形態に係る車載装置１０の構成例を示すブロック図である。なお、図４および後に示す図７では、本実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。

換言すれば、図４および図７に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

また、図４および図７を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、説明を省略する場合がある。

図４に示すように、実施形態に係る車載装置１０は、カメラ１１と、センサ部１２と、通知デバイス１３と、記憶部１４と、制御部１５とを有する。

カメラ１１は、たとえばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、かかる撮像素子を用いて予め決められた撮像範囲を撮像する。カメラ１１は、たとえばフロントガラスやダッシュボード等の車両の各所に、車両の前方の予め決められた撮像範囲を撮像するように取り付けられる。

センサ部１２は、車両に搭載される各種のセンサであり、たとえば車速センサやＧセンサなどを含む。通知デバイス１３は、キャリブレーションに関する情報を通知するデバイスである。通知デバイス１３は、たとえばディスプレイやスピーカ等によって実現される。

記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の記憶デバイスによって実現される。記憶部１４は、図４の例では、画像情報１４ａと、取り付け情報１４ｂとを記憶する。

画像情報１４ａは、カメラ１１によって撮像された撮像画像が格納される。取り付け情報１４ｂは、カメラ１１の取り付けに関する情報である。取り付け情報１４ｂは、カメラ１１の取り付け位置および姿勢に関する設計値や、前述のキャリブレーション値を含む。取り付け情報１４ｂはさらに、取り付け時の日時、取り付け時から経過時間、取り付け時からのキャリブレーションの回数等、カメラ１１の取り付け初期であるかの判断材料となる各種の情報を含んでもよい。

制御部１５は、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、記憶部１４に記憶されている図示略の実施形態に係るプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１５は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

制御部１５は、モード設定部１５ａと、姿勢推定部１５ｂと、キャリブレーション実行部１５ｃとを有し、以下に説明する情報処理の機能や作用を実現または実行する。

モード設定部１５ａは、カメラ１１の取り付け初期である場合に、姿勢推定部１５ｂの実行モードである姿勢推定モードを第１のモードへ設定する。また、モード設定部１５ａは、カメラ１１の取り付け初期でない場合に、姿勢推定部１５ｂの姿勢推定モードを第２のモードへ設定する。

姿勢推定部１５ｂは、実行モードが第１のモードへ設定された場合、矩形ＲＯＩ３０－１のオプティカルフローを使用した第１の姿勢推定処理を実行する。また、姿勢推定部１５ｂは、実行モードが第２のモードへ設定された場合、矩形ＲＯＩ３０－１中の路面ＲＯＩ３０－２（すなわち、重畳ＲＯＩ３０－Ｓ）のオプティカルフローを使用した第２の姿勢推定処理を実行する。

ここで、路面ＲＯＩ３０－２および重畳ＲＯＩ３０－Ｓについて具体的に説明する。図５は、路面ＲＯＩ３０－２および重畳ＲＯＩ３０－Ｓの説明図（その１）である。また、図６は、路面ＲＯＩ３０－２および重畳ＲＯＩ３０－Ｓの説明図（その２）である。

図５に示すように、路面ＲＯＩ３０－２は、撮像画像中に写り込む路面の形状に応じたＲＯＩ３０として設定される。路面ＲＯＩ３０－２は、既知のキャリブレーション値に基づいて、自車走行レーンから左右に半車線～１車線分程度、奥行き２０ｍ程度の領域となるように設定される。

また、図５に示すように、重畳ＲＯＩ３０－Ｓは、矩形ＲＯＩ３０－１と路面ＲＯＩ３０－２とが重なる重畳部分である。重畳ＲＯＩ３０－Ｓは、より抽象的に表現すると、図６に示すように矩形ＲＯＩ３０－１から左上領域Ｃ－１と右上領域Ｃ－２とを除去した台形状の領域であると言うことができる。かかる左上領域Ｃ－１と右上領域Ｃ－２とを除去した領域を姿勢推定の処理対象領域とすることによって、誤フローの発生を減らし、姿勢推定の精度向上を図ることができる。

姿勢推定部１５ｂの構成例についてより具体的に説明する。図７は、姿勢推定部１５ｂの構成例を示すブロック図である。図７に示すように、姿勢推定部１５ｂは、取得部１５ｂａと、特徴点抽出部１５ｂｂと、特徴点追従部１５ｂｃと、線分抽出部１５ｂｄと、算出部１５ｂｅと、ノイズ除去部１５ｂｆと、決定部１５ｂｇとを有する。

取得部１５ｂａは、カメラ１１の撮像画像を取得し、画像情報１４ａへ格納する。特徴点抽出部１５ｂｂは、画像情報１４ａへ格納された撮像画像に対し、姿勢推定部１５ｂの実行モードに応じた各ＲＯＩ３０を設定する。また、特徴点抽出部１５ｂｂは、設定したＲＯＩ３０に含まれる特徴点を抽出する。

特徴点追従部１５ｂｃは、特徴点抽出部１５ｂｂによって抽出された各特徴点をフレーム間にわたって追従し、特徴点ごとのオプティカルフローを抽出する。線分抽出部１５ｂｄは、特徴点追従部１５ｂｃによって抽出されたオプティカルフローからノイズ成分を除去し、各オプティカルフローに基づく線分のペア群を抽出する。

算出部１５ｂｅは、線分抽出部１５ｂｄによって抽出された線分のペアのそれぞれについて、非特許文献１のアルゴリズムを用いてＰＡＮ，ＴＩＬＴ，ＲＯＬＬの各軸の回転角を算出する。

ノイズ除去部１５ｂｆは、センサ部１２のセンサ値に基づいて、算出部１５ｂｅによって算出された各角度のうちから低速および舵角によるノイズ分を除去する。決定部１５ｂｇは、ノイズ分が除去された各角度をヒストグラム化し、中央値に基づいてＰＡＮ，ＴＩＬＴ，ＲＯＬＬの各角度推定値を決定する。また、決定部１５ｂｇは、決定した角度推定値を取り付け情報１４ｂへ格納する。

図４の説明に戻る。キャリブレーション実行部１５ｃは、姿勢推定部１５ｂによる推定結果に基づいてキャリブレーションを実行する。具体的には、キャリブレーション実行部１５ｃは、姿勢推定部１５ｂによって推定された角度推定値と取り付け情報１４ｂに含まれる設計値とを比較し、誤差を算出する。

キャリブレーション実行部１５ｃは、算出した誤差が許容内であれば、外部装置５０へキャリブレーション値を通知する。外部装置５０は、たとえば駐車枠検知機能や自動駐車機能を実現する各装置である。「誤差が許容内」とは、カメラ１１の軸ズレがないことを指す。

また、キャリブレーション実行部１５ｃは、算出した誤差が許容外であれば、外部装置５０へキャリブレーション値を通知するとともに、外部装置５０に駐車枠検知機能や自動駐車機能を停止させる。「誤差が許容外」とは、カメラ１１の軸ズレがあることを指す。

また、キャリブレーション実行部１５ｃは、通知デバイス１３へキャリブレーションの実行結果を通知する。ユーザは、その通知内容に基づいて、必要であればディーラー等でカメラ１１の取り付け角度を調整してもらうこととなる。

次に、車載装置１０が実行する処理手順について、図８を用いて説明する。図８は、実施形態に係る車載装置１０が実行する処理手順を示すフローチャートである。

図８に示すように、車載装置１０の制御部１５は、カメラ１１の取り付け初期であるか否かを判定する（ステップＳ１０１）。取り付け初期である場合（ステップＳ１０１，Ｙｅｓ）、制御部１５は、姿勢推定モードを第１のモードへ設定する（ステップＳ１０２）。

そして、制御部１５は、矩形ＲＯＩ３０－１のオプティカルフローを使用した姿勢推定処理を実行する（ステップＳ１０３）。一方、取り付け初期でない場合（ステップＳ１０１，Ｎｏ）、制御部１５は、姿勢推定モードを第２のモードへ設定する（ステップＳ１０４）。

そして、制御部１５は、矩形ＲＯＩ３０－１中の路面ＲＯＩ３０－２のオプティカルフローを使用した姿勢推定処理を実行する（ステップＳ１０５）。そして、制御部１５は、ステップＳ１０３またはステップＳ１０５における姿勢推定処理の結果に基づいてキャリブレーションを実行する（ステップＳ１０６）。

そして、制御部１５は、処理終了イベントがあるか否かを判定する（ステップＳ１０７）。処理終了イベントは、たとえば姿勢推定処理の非実行時間帯の到来や、エンジンの停止や、電源のオフ等である。処理終了イベントが生じていなければ（ステップＳ１０７，Ｎｏ）、制御部１５は、ステップＳ１０１からの処理を繰り返す。処理終了イベントが生じていれば（ステップＳ１０７，Ｙｅｓ）、制御部１５は、処理を終了する。

上述してきたように、実施形態に係る車載装置１０（「情報処理装置」の一例に相当）は、制御部１５を備える。制御部１５は、カメラ１１（「車載カメラ」の一例に相当）の撮像画像に設定されたＲＯＩ３０（「処理対象領域」の一例に相当）における特徴点のオプティカルフローに基づいてカメラ１１の姿勢を推定する姿勢推定処理を実行する。また、制御部１５は、カメラ１１の取り付け状態が第１の状態である場合に、矩形状に設定された矩形ＲＯＩ３０－１（「第１の処理対象領域」の一例に相当）を用いた第１の姿勢推定処理を実行し、カメラ１１の取り付け状態が第２の状態である場合に、路面の形状に応じて設定された重畳ＲＯＩ３０－Ｓ（「第２の処理対象領域」の一例に相当）を用いた第２の姿勢推定処理を実行する。

したがって、実施形態に係る車載装置１０によれば、カメラ１１の姿勢推定の精度を向上させることができる。

また、制御部１５は、台形状に設定された重畳ＲＯＩ３０－Ｓを用いた上記第２の姿勢推定処理を実行する。

したがって、実施形態に係る車載装置１０によれば、誤フローの発生を抑えることが可能となり、これに基づいてカメラ１１の姿勢推定の精度を向上させることができる。

また、制御部１５は、矩形ＲＯＩ３０－１から、上記撮像画像中において消失点へ向けて収束するように写り込む上記路面の形状に応じた範囲以外の領域を除去した上記台形状の領域として重畳ＲＯＩ３０－Ｓを設定する。

したがって、実施形態に係る車載装置１０によれば、消失点へ向けて収束するように写り込む上記路面の形状に応じた処理対象領域として重畳ＲＯＩ３０－Ｓを設定することができる。

また、制御部１５は、上記第１の姿勢推定処理が実行されることによって既知となるカメラ１１の取り付けに関するキャリブレーション値に基づいて上記撮像画像中に上記路面の形状に応じた路面ＲＯＩ３０－２（「第３の処理対象領域」の一例に相当）を設定し、当該路面ＲＯＩ３０－２と矩形ＲＯＩ３０－１とが重なる重畳部分を重畳ＲＯＩ３０－Ｓとして設定する。

したがって、実施形態に係る車載装置１０によれば、矩形ＲＯＩ３０－１を用いた場合、重畳ＲＯＩ３０－Ｓを用いた場合、それぞれのデメリットを互いの長所によって補いつつカメラ１１の姿勢推定の精度を向上させることができる。

また、制御部１５は、ＲＯＩ３０から上記オプティカルフローに基づく線分のペア群を抽出し、上記線分のペアのそれぞれに基づいてカメラ１１のＰＡＮ、ＴＩＬＴおよびＲＯＬＬの各軸の回転角を推定する。

したがって、実施形態に係る車載装置１０によれば、誤フローの少ない線分のペアのそれぞれに基づいて、高精度にカメラ１１のＰＡＮ、ＴＩＬＴおよびＲＯＬＬの各軸の回転角を推定することが可能となる。

また、制御部１５は、推定した上記回転角をヒストグラム化した後の中央値に基づいて上記ＰＡＮ、ＴＩＬＴおよびＲＯＬＬの各軸の角度推定値を決定する。

したがって、実施形態に係る車載装置１０によれば、高精度に推定された上記回転角の中央値に基づいて、上記ＰＡＮ、ＴＩＬＴおよびＲＯＬＬの各軸の角度推定値を高精度に決定することができる。

また、制御部１５は、決定した上記角度推定値に基づいてカメラ１１の軸ズレを判定する。

したがって、実施形態に係る車載装置１０によれば、高精度な角度推定値に基づいて高精度にカメラ１１の軸ズレを判定することができる。

また、制御部１５は、上記軸ズレが判定された場合に、少なくとも駐車枠検知機能または自動駐車機能を停止させる。

したがって、実施形態に係る車載装置１０によれば、高精度に判定された軸ズレに基づいて、少なくとも駐車枠検知機能または自動駐車機能において動作異常が発生するのを防ぐことができる。

また、実施形態に係る姿勢推定方法は、車載装置１０が実行する情報処理方法であって、カメラ１１の撮像画像に設定されたＲＯＩ３０における特徴点のオプティカルフローに基づいてカメラ１１の姿勢を推定する姿勢推定処理を実行すること、を含む。また、実施形態に係る姿勢推定方法は、カメラ１１の取り付け状態が第１の状態である場合に、矩形状に設定された矩形ＲＯＩ３０－１を用いた第１の姿勢推定処理を実行することと、カメラ１１の取り付け状態が第２の状態である場合に、路面の形状に応じて設定された重畳ＲＯＩ３０－Ｓを用いた第２の姿勢推定処理を実行することと、をさらに含む。

したがって、実施形態に係る姿勢推定方法によれば、カメラ１１の姿勢推定の精度を向上させることができる。

また、実施形態に係るプログラムは、カメラ１１の撮像画像に設定されたＲＯＩ３０における特徴点のオプティカルフローに基づいてカメラ１１の姿勢を推定する姿勢推定処理を実行すること、をコンピュータに実行させる。また、実施形態に係るプログラムは、カメラ１１の取り付け状態が第１の状態である場合に、矩形状に設定された矩形ＲＯＩ３０－１を用いた第１の姿勢推定処理を実行すること、カメラ１１の取り付け状態が第２の状態である場合に、路面の形状に応じて設定された重畳ＲＯＩ３０－Ｓを用いた第２の姿勢推定処理を実行すること、をさらに上記コンピュータに実行させる。

したがって、実施形態に係るプログラムによれば、カメラ１１の姿勢推定の精度を向上させることができる。なお、実施形態に係るプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１０ 車載装置
１１ カメラ
１２ センサ部
１３ 通知デバイス
１４ 記憶部
１４ａ 画像情報
１４ｂ 取り付け情報
１５ 制御部
１５ａ モード設定部
１５ｂ 姿勢推定部
１５ｂａ 取得部
１５ｂｂ 特徴点抽出部
１５ｂｃ 特徴点追従部
１５ｂｄ 線分抽出部
１５ｂｅ 算出部
１５ｂｆ ノイズ除去部
１５ｂｇ 決定部
１５ｃ キャリブレーション実行部
３０ ＲＯＩ
３０－１ 矩形ＲＯＩ
３０－２ 路面ＲＯＩ
３０－Ｓ 重畳ＲＯＩ
５０ 外部装置

Claims (10)

1. 車載カメラの撮像画像に基づいて前記車載カメラの姿勢を推定する制御部を備え、
   前記制御部は、
   前記車載カメラの取り付け状態が既知のキャリブレーション値を持たない第１の状態である場合に、前記撮像画像の中に矩形状の第１処理対象領域を設定し、前記第１処理対象領域内における特徴点のオプティカルフローに基づいて第１のキャリブレーション値を算出し前記車載カメラの姿勢を推定する第１の姿勢推定処理と、
   前記車載カメラの取り付け状態が既知のキャリブレーション値を持つ第２の状態である場合に、既知のキャリブレーション値を用いて、前記撮像画像の中に路面の形状に応じた第２処理対象領域を設定し、前記第２処理対象領域内における特徴点のオプティカルフローに基づいて第２のキャリブレーション値を算出し前記車載カメラの姿勢を推定する第２の姿勢推定処理と、
   を実行可能な情報処理装置。
2. 前記第２処理対象領域は台形状である、
   請求項１に記載の情報処理装置。
3. 前記第２処理対象領域は、前記撮像画像中において消失点へ向けて収束するように写り込む前記路面の形状に応じた形状である、
   請求項２に記載の情報処理装置。
4. 前記第２の姿勢推定処理は、
   前記第１処理対象領域と前記第２処理対象領域とが重なる重畳部分における特徴点のオプティカルフローに基づいて前記第２のキャリブレーション値を算出し前記車載カメラの姿勢を推定する、
   請求項２に記載の情報処理装置。
5. 前記制御部は、
   前記第１処理対象領域および前記第２処理対象領域のそれぞれから前記オプティカルフローに基づく線分のペア群を抽出し、前記線分のペア群に基づいて、前記第１のキャリブレーション値および前記第２のキャリブレーション値としてそれぞれ前記車載カメラのＰＡＮ、ＴＩＬＴおよびＲＯＬＬの各軸の回転角を算出する、
   請求項１～４のいずれか一つに記載の情報処理装置。
6. 前記制御部は、
   算出した前記回転角をヒストグラム化した後の中央値に基づいて前記ＰＡＮ、ＴＩＬＴおよびＲＯＬＬの各軸の角度推定値を決定する、
   請求項５に記載の情報処理装置。
7. 前記制御部は、
   決定した前記角度推定値に基づいて前記車載カメラの軸ズレを判定する、
   請求項６に記載の情報処理装置。
8. 前記制御部は、
   前記軸ズレが判定された場合に、少なくとも駐車枠検知機能または自動駐車機能を停止させる、
   請求項７に記載の情報処理装置。
9. 情報処理装置が実行する情報処理方法であって、
   車載カメラの撮像画像を取得し、
   前記車載カメラの取り付け状態が既知のキャリブレーション値を持たない第１の状態である場合に、前記撮像画像の中に矩形状の第１処理対象領域を設定し、前記第１処理対象領域内における特徴点のオプティカルフローに基づいて第１のキャリブレーション値を算出し前記車載カメラの姿勢を推定し、
   前記車載カメラの取り付け状態が既知のキャリブレーション値を持つ第２の状態である場合に、既知のキャリブレーション値を用いて、前記撮像画像の中に路面の形状に応じた第２処理対象領域を設定し、前記第２処理対象領域内における特徴点のオプティカルフローに基づいて第２のキャリブレーション値を算出し前記車載カメラの姿勢を推定する、
   情報処理方法。
10. 車載カメラの撮像画像を取得する処理と、
    前記車載カメラの取り付け状態が既知のキャリブレーション値を持たない第１の状態である場合に、前記撮像画像の中に矩形状の第１処理対象領域を設定し、前記第１処理対象領域内における特徴点のオプティカルフローに基づいて第１のキャリブレーション値を算出し前記車載カメラの姿勢を推定する処理と、
    前記車載カメラの取り付け状態が既知のキャリブレーション値を持つ第２の状態である場合に、既知のキャリブレーション値を用いて、前記撮像画像の中に路面の形状に応じた第２処理対象領域を設定し、前記第２処理対象領域内における特徴点のオプティカルフローに基づいて第２のキャリブレーション値を算出し前記車載カメラの姿勢を推定する処理と、
    をコンピュータに実行させる、プログラム。

Images