JP2024027849A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】車載カメラの姿勢推定における処理対象領域を適切に設定すること。【解決手段】実施形態に係る情報処理装置は、制御部（「コントローラ」の一例に相当）を備える。制御部は、車載カメラのカメラ画像に設定された処理対象領域における特徴点のオプティカルフローに基づいて上記車載カメラの姿勢を推定する姿勢推定処理を実行する。また、制御部は、上記カメラ画像内で観測される実空間では平行な２本の線が交わる点から導出される水平線の位置である水平線位置、上記車載カメラの取り付け高さ、および、上記水平線位置と上記車載カメラの光軸中心のズレ量である水平線ズレ量に基づいて上記処理対象領域の垂直方向の位置を設定する。【選択図】図７

Description

開示の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。

車載カメラの取り付け位置および姿勢は、不意の接触や経年変化などにより変化し、取り付け当初のキャリブレーションから誤差を生じてしまうことがある。これを検知するため従来から、車載カメラによって撮像されたカメラ画像に基づいて車載カメラの姿勢を推定する技術が知られている。

例えば特許文献１には、カメラ画像中に設定された矩形状のＲＯＩ（Region Of Interest；処理対象領域）から路面上の特徴点を抽出し、この特徴点のフレーム間での動きを示すオプティカルフローに基づいて車載カメラの姿勢を推定する技術が開示されている。

かかるオプティカルフローに基づいて実空間における平行な線分のペアを抽出し、例えば非特許文献１のアルゴリズムを用いることで、車載カメラの姿勢（ＰＡＮ，ＴＩＬＴ，ＲＯＬＬの各軸の回転角）を推定することができる。

特開２０２１－０８６２５８号公報

[online]，慶應義塾大学，[令和４年６月３０日検索]，インターネット＜URL:http://im-lab.net/artoolkit-overview/＞

しかしながら、上述した従来技術には、車載カメラの姿勢推定における処理対象領域を適切に設定するうえで、さらなる改善の余地がある。

オプティカルフローを用いた姿勢推定の場合、自車のカメラ位置から前方５ｍ～１５ｍの距離範囲にＲＯＩを設定することが望ましいとされている。

しかしながら、例えば車種等の違いにより、取り付け高さ等の車載カメラの取り付け条件やカメラ画像への車体の映り込み方は異なる。このため、車種等の違いにより、カメラ画像における前述の距離範囲の見え方も異なる。こうした見え方の差異を吸収しつつ、カメラ画像のみによって姿勢推定に適したＲＯＩを設定することは現状困難である。

実施形態の一態様は、上記に鑑みてなされたものであって、車載カメラの姿勢推定における処理対象領域を適切に設定することができる情報処理装置、情報処理方法およびプログラムを提供することを目的とする。

実施形態の一態様に係る情報処理装置は、コントローラを備える。前記コントローラは、車載カメラのカメラ画像に設定された処理対象領域における特徴点のオプティカルフローに基づいて前記車載カメラの姿勢を推定する姿勢推定処理を実行する。また、前記コントローラは、前記カメラ画像内で観測される実空間では平行な２本の線が交わる点から導出される水平線の位置である水平線位置、前記車載カメラの取り付け高さ、および、前記水平線位置と前記車載カメラの光軸中心のズレ量である水平線ズレ量に基づいて前記処理対象領域の垂直方向の位置を設定する。

実施形態の一態様によれば、車載カメラの姿勢推定における処理対象領域を適切に設定することができる。

図１は、第１の実施形態に係る姿勢推定方法の説明図（その１）である。 図２は、第１の実施形態に係る姿勢推定方法の説明図（その２）である。 図３は、第１の実施形態に係る姿勢推定方法の説明図（その３）である。 図４は、第１の実施形態に係る姿勢推定方法の説明図（その４）である。 図５は、第１の実施形態に係る姿勢推定方法の説明図（その５）である。 図６は、第１の実施形態に係る姿勢推定方法の説明図（その６）である。 図７は、第１の実施形態に係る車載装置の構成例を示すブロック図である。 図８は、姿勢推定部の構成例を示すブロック図である。 図９は、第１の実施形態に係る車載装置が実行する処理手順を示すフローチャートである。 図１０は、第２の実施形態に係る姿勢推定方法の説明図（その１）である。 図１１は、第２の実施形態に係る姿勢推定方法の説明図（その２）である。 図１２は、第２の実施形態に係る姿勢推定方法の説明図（その３）である。 図１３は、第２の実施形態に係る車載装置が実行する処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する情報処理装置、情報処理方法およびプログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

また、以下では、実施形態に係る情報処理装置が、車両に搭載される車載装置１０（図７参照）である場合を例に挙げて説明を行う。車載装置１０は、例えばドライブレコーダである。また、以下では、実施形態に係る情報処理方法が、車載装置１０の備えるカメラ１１（図７参照）の姿勢推定方法であるものとする。また、以下では、ＲＯＩは矩形状であるものとする。また、以下では、カメラ画像に関して「縦」と言った場合、縦方向はカメラ画像の上下方向、すなわち垂直方向に相当する。同じく「横」と言った場合、横方向はカメラ画像の左右方向、すなわち水平方向に相当する。

（第１の実施形態）
まず、第１の実施形態に係る姿勢推定方法の内容について、図１～図６を用いて説明する。図１～図６は、第１の実施形態に係る姿勢推定方法の説明図（その１）～（その６）である。

路面上の特徴点のオプティカルフローに基づいてカメラ１１の姿勢を推定する場合、抽出される路面上の特徴点としては、横断歩道や車線といった路面標示のコーナー部分などが挙げられる。

図１は、ＲＯＩ３０内において、横断歩道のコーナー部分に基づいてオプティカルフローＯｐ１，Ｏｐ２が抽出された例を示している。

非特許文献１のアルゴリズムは、実空間における平行な線分のペアを前提とするので、図１のオプティカルフローＯｐ１，Ｏｐ２のペアは姿勢推定における正しい組み合わせ（以下、「正フロー」と言う）となる。一方、ＲＯＩ３０内では、オプティカルフローＯｐ１，Ｏｐ２以外にもオプティカルフローＯｐ１，Ｏｐ２と非平行な場合を含む多くのオプティカルフローが抽出される。

したがって、これらオプティカルフローにおいては、前述の正フローに対し、誤った組み合わせ（以下、「誤フロー」と言う）となるペアも生じる。この誤フローに基づいては、カメラ１１の姿勢を正しく推定することができない。

このため、カメラ１１の姿勢推定処理では、抽出したオプティカルフローのペアのそれぞれについてＰＡＮ，ＴＩＬＴ，ＲＯＬＬの各軸の回転角を推定し、ヒストグラム化した中央値に基づいて統計的にカメラ１１の軸ズレを判定している。

ところで、図２に示すように、オプティカルフローを用いた姿勢推定処理においてＲＯＩ３０は、縦方向については少なくともカメラ１１前方の５ｍ～１５ｍの距離範囲が含まれる縦サイズを有することが望ましい。

また、同じく図２に示すように、ＲＯＩ３０の横方向については、側方車両や壁などの立体物等が多く映り込まない範囲として、自車走行レーンの幅３．５ｍ＋両隣の走行レーンの幅の半分ずつ（１．７５ｍ×２）の合計７．２ｍ程度の横サイズを有することが望ましい。

しかしながら、例えば車種等の違いにより、取り付け高さ等のカメラ１１の取り付け条件やカメラ画像への車体の映り込み方は異なる。このため、車種等の違いにより、カメラ画像における前述の５ｍ～１５ｍの距離範囲の見え方も異なる。こうした見え方の差異を吸収しつつ、カメラ画像のみによって姿勢推定に適したＲＯＩを設定することは現状困難である。

そこで、第１の実施形態に係る姿勢推定方法では、車載装置１０が備える制御部１５（図７参照）が、カメラ１１のカメラ画像に設定された処理対象領域における特徴点のオプティカルフローに基づいてカメラ１１の姿勢を推定する姿勢推定処理を実行し、上記カメラ画像内で観測される実空間では平行な２本の線が交わる点から導出される水平線の位置である水平線位置、カメラ１１の取り付け高さ、および、上記水平線位置とカメラ１１の光軸中心のズレ量である水平線ズレ量に基づいて上記処理対象領域の垂直方向の位置を設定することとした。

具体的に制御部１５は、まず図３に示すように、カメラ１１によって撮像されたカメラ画像を取得し、水平線位置Ｐ１とカメラ１１の光軸中心Ｃ１のズレ量である水平線ズレ量Ｄ１を算出する。

水平線位置Ｐ１は、実空間では平行であるがカメラ画像内では非平行な２本の線として観測される異なる２本の線（例えば２本の車線）が交わる点を通る水平な線のカメラ画像上の縦位置（垂直方向の位置）を指す。当該交わる点は、いわゆる遠近法における「消失点」に相当し、例えば２本の車線がほぼ交わると見なせる任意の点である場合を含む。

水平線位置Ｐ１は、例えばカメラ１１の取り付け時やキャリブレーション時、任意のタイミングなどで取り付け作業者やユーザにより設定される。あるいは、水平線位置Ｐ１は、カメラ画像の画像認識結果に基づいて設定される。

つづいて、図４に示すように、制御部１５は、算出した水平線ズレ量Ｄ１を簡易的なＴＩＬＴ角とし、当該ＴＩＬＴ角およびカメラ１１の取り付け高さに基づいてカメラ画像内におけるカメラ１１からの５ｍ位置Ｐ２を算出する。このとき、制御部１５は、例えばカメラ座標系および路面座標系の間の座標変換式を用いて５ｍ位置Ｐ２を算出してもよいし、予め設定された座標変換テーブル等を用いて５ｍ位置Ｐ２を導出してもよい。

なお、取り付け高さは、例えばカメラ１１の取り付け時などに取り付け作業者を含むユーザにより設定される。あるいは、取り付け高さは、カメラ画像の画像認識結果に基づいて設定される。

そして、制御部１５は、算出した５ｍ位置Ｐ２を仮の下端位置（以下、「仮下端位置Ｐ３」と言う）とするＲＯＩ３０－Ｔを仮設定する。このとき、制御部１５は、仮下端位置Ｐ３からカメラ１１前方の５ｍ～１５ｍの距離範囲が含まれるようにＲＯＩ３０－Ｔの縦サイズを設定する。横サイズについては、前述の７．２ｍ程度の幅範囲が含まれるように設定する。すなわち、制御部１５は、図２にも示した台形状の領域（図中の斜線で塗りつぶした領域参照）が含まれるようにＲＯＩ３０－Ｔのサイズを設定する。

そして、制御部１５は、図５に示すように、カメラ画像内におけるボンネットＢ等の車体の映り込み部分（二点鎖線が示す領域）にＲＯＩ３０－Ｔが重なる場合、ＲＯＩ３０－Ｔ全体を上方向へずらす。言い換えれば、制御部１５は、車体位置Ｐ４がＲＯＩ３０－Ｔの下端位置（すなわち、前述の仮下端位置Ｐ３）を超える場合、ＲＯＩ３０－Ｔの下端位置が車体位置Ｐ４より縦方向で上に位置するようにＲＯＩ３０－Ｔ全体を上方向へずらしてＲＯＩ３０－Ｔの位置を補正する。

車体位置Ｐ４は、カメラ画像内に映り込む車体部分の最突出位置である。車体位置Ｐ４は、水平線位置Ｐ１と同様に、例えばカメラ１１の取り付け時やキャリブレーション時、任意のタイミングなどで取り付け作業者を含むユーザにより設定される。あるいは、車体位置Ｐ４は、カメラ画像の画像認識結果に基づいて設定される。

なお、制御部１５は、車体の映り込み部分にＲＯＩ３０－Ｔが重なる場合、図６に示すように、ＲＯＩ３０－Ｔの下端位置を上方向へずらすようにしてもよい。言い換えれば、制御部１５は、車体位置Ｐ４が仮下端位置Ｐ３を超える場合、ＲＯＩ３０－Ｔの下端位置が車体位置Ｐ４より縦方向で上に位置するようにＲＯＩ３０－Ｔの縦サイズを補正（ここでは、縮小）してもよい。

そして、制御部１５は、このように必要に応じて位置および／またはサイズを補正したＲＯＩ３０－Ｔを最終的なＲＯＩ３０として設定する。そして、制御部１５は、設定したＲＯＩ３０を処理対象とする姿勢推定処理を実行する。

このように、第１の実施形態に係る姿勢推定方法では、車載装置１０の制御部１５が、カメラ１１のカメラ画像に設定された処理対象領域における特徴点のオプティカルフローに基づいてカメラ１１の姿勢を推定する姿勢推定処理を実行し、上記カメラ画像内で観測される実空間では平行な２本の線が交わる点から導出される水平線の位置である水平線位置、カメラ１１の取り付け高さ、および、上記水平線位置とカメラ１１の光軸中心のズレ量である水平線ズレ量に基づいて上記処理対象領域の垂直方向の位置を設定することとした。

したがって、第１の実施形態に係る姿勢推定方法によれば、カメラ１１の姿勢推定における処理対象領域を適切に設定することができる。

次に、車載装置１０の構成例について説明する。図７は、第１の実施形態に係る車載装置１０の構成例を示すブロック図である。また、図８は、姿勢推定部１５ａの構成例を示すブロック図である。なお、図７および図８では、本実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。

換言すれば、図７および図８に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

また、図７および図８を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、説明を省略する場合がある。

図７に示すように、実施形態に係る車載装置１０は、カメラ１１と、センサ部１２と、通知デバイス１３と、記憶部１４と、制御部１５とを有する。

カメラ１１は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、この撮像素子を用いて予め決められた撮像範囲を撮像する。カメラ１１は、例えばフロントガラスやダッシュボード等の車両の各所に、車両の前方の予め決められた撮像範囲を撮像するように取り付けられる。

センサ部１２は、車両に搭載される各種のセンサであり、例えば車速センサやＧセンサなどを含む。通知デバイス１３は、キャリブレーションに関する情報を通知するデバイスである。通知デバイス１３は、例えばディスプレイやスピーカ等によって実現される。

記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の記憶デバイスによって実現される。記憶部１４は、図７の例では、画像情報１４ａと、取り付け関連情報１４ｂとを記憶する。

画像情報１４ａは、カメラ１１によって撮像されたカメラ画像が格納される。取り付け関連情報１４ｂは、カメラ１１の取り付けに関する情報である。

取り付け関連情報１４ｂは、カメラ１１の取り付け位置および姿勢に関する設計値や、キャリブレーション値を含む。カメラ１１の取り付け位置は、カメラ１１の取り付け高さを含む。

また、取り付け関連情報１４ｂは、後述する設定部１５ａｂが実行するＲＯＩ３０の設定処理において用いられる前述の水平線位置Ｐ１や車体位置Ｐ４等を含む。

また、取り付け関連情報１４ｂは、後述する姿勢推定部１５ａが実行する姿勢推定処理において用いられるカメラパラメータや閾値等の各種のパラメータを含む。

制御部１５は、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、記憶部１４に記憶されている図示略の第１の実施形態に係るプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１５は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

制御部１５は、姿勢推定部１５ａと、キャリブレーション実行部１５ｂとを有し、以下に説明する情報処理の機能や作用を実現または実行する。

姿勢推定部１５ａは、カメラ１１の取り付け高さ、前述の水平線ズレ量Ｄ１および車体位置Ｐ４に基づいてＲＯＩ３０を設定し、設定したＲＯＩ３０におけるオプティカルフローを使用した姿勢推定処理を実行する。

姿勢推定部１５ａの構成例についてより具体的に図８を用いて説明する。図８に示すように、姿勢推定部１５ａは、取得部１５ａａと、設定部１５ａｂと、特徴点抽出部１５ａｃと、特徴点追従部１５ａｄと、線分抽出部１５ａｅと、算出部１５ａｆと、ノイズ除去部１５ａｇと、決定部１５ａｈとを有する。

取得部１５ａａは、カメラ１１の撮像画像を取得し、画像情報１４ａへ格納する。設定部１５ａｂは、画像情報１４ａへ格納されたカメラ画像に対し、カメラ１１の姿勢推定において処理対象となるＲＯＩ３０を設定する設定処理を実行する。

設定部１５ａｂは、水平線位置Ｐ１と光軸中心Ｃ１のズレ量である水平線ズレ量Ｄ１を算出する。また、設定部１５ａｂは、算出した水平線ズレ量Ｄ１を簡易的なＴＩＬＴ角とし、当該ＴＩＬＴ角およびカメラ１１の取り付け高さに基づいて前述のカメラ１１からの５ｍ位置Ｐ２を算出する。

また、設定部１５ａｂは、算出した５ｍ位置Ｐ２を前述の仮下端位置Ｐ３とするＲＯＩ３０－Ｔを仮設定する。このとき、設定部１５ａｂは、仮下端位置Ｐ３からカメラ１１前方の５ｍ～１５ｍの距離範囲が含まれるようにＲＯＩ３０－Ｔの縦サイズを設定する。横サイズについては、前述の７．２ｍ程度の幅範囲が含まれるように設定する。

また、設定部１５ａｂは、車体位置Ｐ４が仮下端位置Ｐ３を超えて車体の映り込み部分にＲＯＩ３０－Ｔが重なる場合、ＲＯＩ３０－Ｔの下端位置が車体位置Ｐ４より縦方向で上に位置するようにＲＯＩ３０－Ｔ全体を上方向へずらしてＲＯＩ３０－Ｔの位置を補正する。なお、設定部１５ａｂは、車体位置Ｐ４が仮下端位置Ｐ３以下である場合、ＲＯＩ３０－Ｔの位置を補正しない。

あるいは、設定部１５ａｂは、車体位置Ｐ４が仮下端位置Ｐ３を超えて車体の映り込み部分にＲＯＩ３０－Ｔが重なる場合、ＲＯＩ３０－Ｔの下端位置が車体位置Ｐ４より縦方向で上に位置するようにＲＯＩ３０－Ｔの下端位置を上方向へずらしてＲＯＩ３０－Ｔの縦サイズを補正する。なお、設定部１５ａｂは、車体位置Ｐ４が仮下端位置Ｐ３以下である場合、ＲＯＩ３０－Ｔの縦サイズを補正しない。

そして、設定部１５ａｂは、このように必要に応じて位置および／またはサイズを補正した場合を含むＲＯＩ３０－Ｔを最終的なＲＯＩ３０として設定する。また、設定部１５ａｂは設定したＲＯＩ３０の設定内容を特徴点抽出部１５ａｃへ出力する。

特徴点抽出部１５ａｃは、設定部１５ａｂによって設定されたＲＯＩ３０内の特徴点を抽出する。

特徴点追従部１５ａｄは、特徴点抽出部１５ａｃによって抽出された各特徴点をフレーム間にわたって追従し、特徴点ごとのオプティカルフローを抽出する。線分抽出部１５ａｅは、特徴点追従部１５ａｄによって抽出されたオプティカルフローからノイズ成分を除去し、各オプティカルフローに基づく線分のペア群を抽出する。

算出部１５ａｆは、線分抽出部１５ａｅによって抽出された線分のペアのそれぞれについて、非特許文献１のアルゴリズムを用いてＰＡＮ，ＴＩＬＴ，ＲＯＬＬの各軸の回転角を算出する。

ノイズ除去部１５ａｇは、センサ部１２のセンサ値に基づいて、算出部１５ａｆによって算出された各角度のうちから低速および舵角によるノイズ分を除去する。決定部１５ａｈは、ノイズ分が除去された各角度をヒストグラム化し、中央値に基づいてＰＡＮ，ＴＩＬＴ，ＲＯＬＬの各角度推定値を決定する。また、決定部１５ａｈは、決定した角度推定値を取り付け関連情報１４ｂへ格納する。

図７の説明に戻る。キャリブレーション実行部１５ｂは、姿勢推定部１５ａによる推定結果に基づいてキャリブレーションを実行する。具体的には、キャリブレーション実行部１５ｂは、姿勢推定部１５ａによって推定された角度推定値と取り付け関連情報１４ｂに含まれる設計値とを比較し、誤差を算出する。

キャリブレーション実行部１５ｂは、算出した誤差が許容内であれば、外部装置５０へキャリブレーション値を通知する。外部装置５０は、例えば駐車枠検知機能や自動駐車機能を実現する各装置である。「誤差が許容内」とは、カメラ１１の軸ズレがないことを指す。

また、キャリブレーション実行部１５ｂは、算出した誤差が許容外であれば、外部装置５０へキャリブレーション値を通知するとともに、外部装置５０に駐車枠検知機能や自動駐車機能を停止させる。「誤差が許容外」とは、カメラ１１の軸ズレがあることを指す。

また、キャリブレーション実行部１５ｂは、通知デバイス１３へキャリブレーションの実行結果を通知する。ユーザは、その通知内容に基づいて、必要であればディーラー等でカメラ１１の取り付け角度を調整してもらうこととなる。

次に、第１の実施形態に係る車載装置１０が実行する処理手順について、図９を用いて説明する。図９は、第１の実施形態に係る車載装置１０が実行する処理手順を示すフローチャートである。なお、図９は、カメラ画像１枚分の処理手順を示している。当該処理手順は、姿勢推定処理が実行される間繰り返される。

図９に示すように、車載装置１０の制御部１５は、まずカメラ１１からカメラ画像を取得し、取得したカメラ画像に基づいて水平線位置Ｐ１と光軸中心Ｃ１のズレ量である水平線ズレ量Ｄ１を算出する（ステップＳ１０１）。

そして、制御部１５は、算出した水平線ズレ量Ｄ１を簡易的なＴＩＬＴ角とし、当該ＴＩＬＴ角およびカメラ１１の取り付け高さに基づいてＲＯＩ３０－Ｔの仮下端位置Ｐ３を算出する（ステップＳ１０２）。

つづいて、制御部１５は、算出した仮下端位置Ｐ３からカメラ１１前方の５ｍ～１５ｍの距離範囲が含まれるようにＲＯＩ３０－Ｔの縦サイズを設定する（ステップＳ１０３）。なお、図示は略しているが、横サイズについては、制御部１５は前述の７．２ｍ程度の幅範囲が含まれるように設定する。

そして、制御部１５は、車体位置Ｐ４が仮下端位置Ｐ３を超えて車体の映り込み部分にＲＯＩ３０－Ｔが重なるか否かを判定する（ステップＳ１０４）。車体位置Ｐ４が仮下端位置Ｐ３を超える場合（ステップＳ１０４，Ｙｅｓ）、制御部１５は、下端位置が車体位置Ｐ４より縦方向で上に位置するようにＲＯＩ３０－Ｔの位置またはサイズを補正する（ステップＳ１０５）。

車体位置Ｐ４が仮下端位置Ｐ３より縦方向で下に位置する場合は（ステップＳ１０４，Ｎｏ）、ステップＳ１０６へ遷移する。

そして、制御部１５は、ステップＳ１０５で必要に応じて位置またはサイズを補正した場合を含むＲＯＩ３０－Ｔを最終的なＲＯＩ３０として設定し、設定したＲＯＩ３０中のオプティカルフローを使用した姿勢推定処理を実行する（ステップＳ１０６）。そして、制御部１５は、カメラ画像１枚分の処理を終了する。

上述してきたように、第１の実施形態に係る車載装置１０（「情報処理装置」の一例に相当）は、制御部１５（「コントローラ」の一例に相当）を備える。制御部１５は、カメラ１１（「車載カメラ」の一例に相当）のカメラ画像に設定された処理対象領域における特徴点のオプティカルフローに基づいてカメラ１１の姿勢を推定する姿勢推定処理を実行する。また、制御部１５は、上記カメラ画像内で観測される実空間では平行な２本の線が交わる点から導出される水平線の位置である水平線位置Ｐ１、カメラ１１の取り付け高さ、および、水平線位置Ｐ１とカメラ１１の光軸中心のズレ量である水平線ズレ量Ｄ１に基づいて上記処理対象領域の垂直方向の位置を設定する。

したがって、第１の実施形態に係る車載装置１０によれば、カメラ１１の姿勢推定における処理対象領域を適切に設定することができる。

また、制御部１５は、水平線ズレ量Ｄ１をカメラ１１のＴＩＬＴ角とし、当該ＴＩＬＴ角および上記取り付け高さに基づいて上記処理対象領域の下端位置を算出する。

したがって、第１の実施形態に係る車載装置１０によれば、水平線ズレ量Ｄ１を簡易的なＴＩＬＴ角として取り扱うことで簡便に処理対象領域を設定することができる。

また、制御部１５は、上記下端位置に基づいて設定した上記処理対象領域が上記カメラ画像内に映り込む車体部分と重なる場合に、上記下端位置が上記車体部分の最突出位置である車体位置Ｐ４より縦方向で上に位置するように上記処理対象領域の垂直方向の位置を補正する。

したがって、第１の実施形態に係る車載装置１０によれば、カメラ画像内に映り込む車体部分を位置の補正によって処理対象領域から除くことができる。

また、制御部１５は、上記下端位置に基づいて設定した上記処理対象領域が上記カメラ画像内に映り込む車体部分と重なる場合に、上記下端位置が上記車体部分の最突出位置である車体位置Ｐ４より縦方向で上に位置するように上記処理対象領域の垂直方向のサイズを補正する。

したがって、第１の実施形態に係る車載装置１０によれば、カメラ画像内に映り込む車体部分をサイズの補正によって処理対象領域から除くことができる。

また、水平線位置Ｐ１、車体位置Ｐ４および上記取り付け高さは、ユーザにより設定される。

したがって、第１の実施形態に係る車載装置１０によれば、ユーザ設定に基づいて簡便に処理対象領域を設定することができる。

また、制御部１５は、上記カメラ画像の画像認識結果に基づいて水平線位置Ｐ１、車体位置Ｐ４および上記取り付け高さのうちの少なくともいずれかを設定する。

したがって、第１の実施形態に係る車載装置１０によれば、動的に精度よく水平線位置Ｐ１、車体位置Ｐ４および上記取り付け高さのうちの少なくともいずれかを設定することができる。

また、制御部１５は、上記下端位置から上記姿勢推定処理に適した予め決められた距離範囲が含まれるように上記処理対象領域のサイズを設定する。

したがって、第１の実施形態に係る車載装置１０によれば、姿勢推定処理に適した例えばカメラ１１前方の５ｍ～１５ｍの距離範囲を含むＲＯＩ３０を設定することができる。

また、第１の実施形態に係る姿勢推定方法は、車載装置１０が実行する情報処理方法であって、カメラ１１のカメラ画像に設定された処理対象領域における特徴点のオプティカルフローに基づいてカメラ１１の姿勢を推定する姿勢推定処理を実行することと、上記カメラ画像内で観測される実空間では平行な２本の線が交わる点から導出される水平線の位置である水平線位置Ｐ１、カメラ１１の取り付け高さ、および、水平線位置Ｐ１とカメラ１１の光軸中心のズレ量である水平線ズレ量Ｄ１に基づいて上記処理対象領域の垂直方向の位置を設定することと、を含む。

したがって、第１の実施形態に係る姿勢推定方法によれば、カメラ１１の姿勢推定における処理対象領域を適切に設定することができる。

また、第１の実施形態に係るプログラムは、カメラ１１のカメラ画像に設定された処理対象領域における特徴点のオプティカルフローに基づいてカメラ１１の姿勢を推定する姿勢推定処理を実行すること、上記カメラ画像内で観測される実空間では平行な２本の線が交わる点から導出される水平線の位置である水平線位置Ｐ１、カメラ１１の取り付け高さ、および、水平線位置Ｐ１とカメラ１１の光軸中心のズレ量である水平線ズレ量Ｄ１に基づいて上記処理対象領域の垂直方向の位置を設定すること、をコンピュータに実行させる。

したがって、第１の実施形態に係るプログラムによれば、カメラ１１の姿勢推定における処理対象領域を適切に設定することができる。

（第２の実施形態）
次に、第２の実施形態について図１０～図１３を用いて説明する。なお、第２の実施形態に係る車載装置は「車載装置１０Ａ」と表記する。車載装置１０Ａの構成例は図７および図８と同様であるが、制御部１５に含まれる姿勢推定部１５ａの設定部１５ａｂが実行する設定処理の態様が異なる。以下では、この異なる点について主に説明する。

図１０～図１２は、第２の実施形態に係る姿勢推定方法の説明図（その１）～（その３）である。また、図１３は、第２の実施形態に係る車載装置１０Ａが実行する処理手順を示すフローチャートである。

第２の実施形態は、カメラ１１の姿勢推定におけるＲＯＩ３０をより高精度に設定しようとするものである。第１の実施形態では、水平線ズレ量Ｄ１を簡易的なＴＩＬＴ角とし、当該ＴＩＬＴ角およびカメラ１１の取り付け高さに基づいてカメラ画像内におけるカメラ１１からの５ｍ位置Ｐ２を算出した。

これに対し、第２の実施形態では、カメラ画像内の少なくとも路面を指す任意の第１のＲＯＩ３０－１を設定し、当該第１のＲＯＩ３０－１中のオプティカルフローを使用した姿勢推定処理を実行し、当該姿勢推定処理によって推定されたカメラ１１の姿勢に基づいてカメラ画像内におけるカメラ１１からの５ｍ位置Ｐ５を算出する。

具体的には、図１０に示すように、車載装置１０Ａの制御部１５は、任意の第１のＲＯＩ３０－１を設定し、当該第１のＲＯＩ３０－１中のオプティカルフローを使用した姿勢推定処理を実行する。第１のＲＯＩ３０－１は、カメラ画像内の少なくとも路面を指す。第１のＲＯＩ３０－１は、例えば第１の実施形態において最終的に設定したＲＯＩ３０を用いることができる。

そして、図１１に示すように、車載装置１０Ａの制御部１５は、姿勢推定処理によって推定されたカメラ１１の姿勢および取り付け高さから路面座標上のカメラ１１からの５ｍ位置Ｐ５を算出する。５ｍ位置Ｐ５は、姿勢推定処理の処理結果に基づくため、前述の５ｍ位置Ｐ２より高精度となる。

そして、図１２に示すように、車載装置１０Ａの制御部１５は、算出した５ｍ位置Ｐ５の縦位置を下端位置Ｐ６とする第２のＲＯＩ３０－２を設定する。

なお、ここでは図示を略するが、第２の実施形態でも図５に示したのと同様に、カメラ画像内における車体の映り込み部分にＲＯＩ３０－２が重なる場合、ＲＯＩ３０－２全体を上方向へずらしてもよい。すなわち、車載装置１０Ａの制御部１５は、車体位置Ｐ４がＲＯＩ３０－２の下端位置Ｐ６を超えて車体の映り込み部分にＲＯＩ３０－２が重なる場合、下端位置Ｐ６が車体位置Ｐ４より縦方向で上に位置するようにＲＯＩ３０－２全体を上方向へずらしてＲＯＩ３０－２の位置を補正してもよい。

また、第２の実施形態でも図６に示したのと同様に、車体の映り込み部分にＲＯＩ３０－２が重なる場合、ＲＯＩ３０－２の下端位置Ｐ６を上方向へずらすようにしてもよい。すなわち、車載装置１０Ａの制御部１５は、車体位置Ｐ４が下端位置Ｐ６を超えて車体の映り込み部分にＲＯＩ３０－２が重なる場合、ＲＯＩ３０－２の下端位置Ｐ６が車体位置Ｐ４より縦方向で上に位置するようにＲＯＩ３０－２の縦サイズを補正してもよい。

そして、車載装置１０Ａの制御部１５は、このように必要に応じて位置および／またはサイズを補正したＲＯＩ３０－２を新たなＲＯＩ３０－１として設定する。そして、車載装置１０Ａの制御部１５は、新たなＲＯＩ３０－１を処理対象とする姿勢推定処理を実行する。

次に、第２の実施形態に係る車載装置１０Ａが実行する処理手順について説明する。図１３に示すように、車載装置１０Ａの制御部１５は、任意の第１のＲＯＩ３０－１を設定する（ステップＳ２０１）。

そして、制御部１５は、設定した第１のＲＯＩ３０－１中のオプティカルフローを使用した姿勢推定処理を実行する（ステップＳ２０２）。

そして、制御部１５は、ステップＳ２０２で推定されたカメラ１１の姿勢および取り付け高さから路面座標上のカメラ１１からの５ｍ位置Ｐ５を算出する（ステップＳ２０３）。

そして、制御部１５は、ステップＳ２０３で算出した５ｍ位置Ｐ５を下端位置Ｐ６とする第２のＲＯＩ３０－２を設定する（ステップＳ２０４）。

そして、制御部１５は、処理終了イベントがあるか否かを判定する（ステップＳ２０５）。処理終了イベントは、例えば姿勢推定処理の非実行時間帯の到来や、エンジンの停止や、電源のオフ等である。

処理終了イベントが生じていなければ（ステップＳ２０５，Ｎｏ）、制御部１５は、第２のＲＯＩ３０－２を新たな第１のＲＯＩ３０－１として設定し（ステップＳ２０６）、ステップＳ２０２からの処理を繰り返す。処理終了イベントが生じていれば（ステップＳ２０５，Ｙｅｓ）、制御部１５は、処理を終了する。

上述してきたように、第２の実施形態に係る車載装置１０Ａ（「情報処理装置」の一例に相当）は、制御部１５（「コントローラ」の一例に相当）を備える。制御部１５は、カメラ１１（「車載カメラ」の一例に相当）のカメラ画像に設定されたＲＯＩ３０－１（「第１の処理対象領域」の一例に相当）における特徴点のオプティカルフローに基づいてカメラ１１の姿勢を推定する姿勢推定処理を実行する。また、制御部１５は、上記姿勢推定処理によって推定されたカメラ１１の姿勢およびカメラ１１の取り付け高さから上記カメラ画像内における予め決められた路面座標上の５ｍ位置Ｐ５（「距離位置」の一例に相当）を算出し、算出した５ｍ位置Ｐ５を下端位置Ｐ６とするＲＯＩ３０－２（「第２の処理対象領域」の一例に相当）を新たなＲＯＩ３０－１として設定する。

したがって、第２の実施形態に係る車載装置１０Ａによれば、カメラ１１の姿勢推定における処理対象領域を適切に設定することができる。また、姿勢推定処理が実行されるごとに高精度に処理対象領域を再設定することができる。

また、制御部１５は、下端位置Ｐ６に基づいて設定したＲＯＩ３０－２が上記カメラ画像内に映り込む車体部分と重なる場合に、下端位置Ｐ６が上記車体部分の最突出位置である車体位置Ｐ４より縦方向で上に位置するようにＲＯＩ３０－２の垂直方向の位置を補正する。

したがって、第２の実施形態に係る車載装置１０Ａによれば、カメラ画像内に映り込む車体部分を位置の補正によって処理対象領域から除くことができる。

また、制御部１５は、下端位置Ｐ６に基づいて設定したＲＯＩ３０－２が上記カメラ画像内に映り込む車体部分と重なる場合に、下端位置Ｐ６が上記車体部分の最突出位置である車体位置Ｐ４より縦方向で上に位置するようにＲＯＩ３０－２の垂直方向のサイズを補正する。

したがって、第２の実施形態に係る車載装置１０Ａによれば、カメラ画像内に映り込む車体部分をサイズの補正によって処理対象領域から除くことができる。

また、制御部１５は、下端位置Ｐ６から上記姿勢推定処理に適した予め決められた距離範囲が含まれるようにＲＯＩ３０－２のサイズを設定する。

したがって、第２の実施形態に係る車載装置１０Ａによれば、姿勢推定処理に適した例えばカメラ１１前方の５ｍ～１５ｍの距離範囲を含むＲＯＩ３０を設定することができる。

また、第２の実施形態に係る姿勢推定方法は、車載装置１０Ａが実行する情報処理方法であって、カメラ１１のカメラ画像に設定されたＲＯＩ３０－１における特徴点のオプティカルフローに基づいてカメラ１１の姿勢を推定する姿勢推定処理を実行することと、上記姿勢推定処理によって推定されたカメラ１１の姿勢およびカメラ１１の取り付け高さから上記カメラ画像内における予め決められた路面座標上の５ｍ位置Ｐ５を算出することと、算出した５ｍ位置Ｐ５を下端位置Ｐ６とするＲＯＩ３０－２を新たなＲＯＩ３０－１として設定することと、を含む。

したがって、第２の実施形態に係る姿勢推定方法によれば、カメラ１１の姿勢推定における処理対象領域を適切に設定することができる。また、姿勢推定処理が実行されるごとに高精度に処理対象領域を再設定することができる。

また、第２の実施形態に係るプログラムは、カメラ１１のカメラ画像に設定されたＲＯＩ３０－１における特徴点のオプティカルフローに基づいてカメラ１１の姿勢を推定する姿勢推定処理を実行すること、上記姿勢推定処理によって推定されたカメラ１１の姿勢およびカメラ１１の取り付け高さから上記カメラ画像内における予め決められた路面座標上の５ｍ位置Ｐ５を算出すること、算出した５ｍ位置Ｐ５を下端位置Ｐ６とするＲＯＩ３０－２を新たなＲＯＩ３０－１として設定すること、をコンピュータに実行させる。

したがって、第２の実施形態に係るプログラムによれば、カメラ１１の姿勢推定における処理対象領域を適切に設定することができる。また、姿勢推定処理が実行されるごとに高精度に処理対象領域を再設定することができる。

なお、第１の実施形態および第２の実施形態に係るプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。当該記録媒体も、本開示の一態様である。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１０ 車載装置
１１ カメラ
１２ センサ部
１３ 通知デバイス
１４ 記憶部
１４ａ 画像情報
１４ｂ 取り付け関連情報
１５ 制御部
１５ａ 姿勢推定部
１５ａａ 取得部
１５ａｂ 設定部
１５ａｃ 特徴点抽出部
１５ａｄ 特徴点追従部
１５ａｅ 線分抽出部
１５ａｆ 算出部
１５ａｇ ノイズ除去部
１５ａｈ 決定部
１５ｂ キャリブレーション実行部
３０，３０－Ｔ ＲＯＩ
３０－１ 第１のＲＯＩ
３０－２ 第２のＲＯＩ
５０ 外部装置
Ｂ ボンネット
Ｃ１ 光軸中心
Ｄ１ 水平線ズレ量
Ｐ１ 水平線位置
Ｐ２ ５ｍ位置
Ｐ３ 仮下端位置
Ｐ４ 車体位置
Ｐ５ 下端位置
Ｐ６ ５ｍ位置

実施形態の一態様に係る情報処理装置は、車載カメラの画像内に、路面を含む矩形の第１処理対象領域を設定し、前記第１処理対象領域内の特徴点のオプティカルフローに基づいて前記車載カメラの姿勢を推定する第１の姿勢推定処理を実行し、前記第１処理対象領域において、実空間では平行な２本の線が交わる消失点を通る水平線位置と前記車載カメラの光軸中心のズレ量である水平線ズレ量、および前記車載カメラの取り付け高さに基づいて前記第１処理対象領域の路面座標上の距離位置を算出し、前記第１処理対象領域の垂直方向の下端位置が、予め設定された距離位置と一致するように、前記下端位置を調整して、第２処理対象領域とし、前記第２処理対象領域内の特徴点のオプティカルフローに基づいて前記車載カメラの姿勢を推定する第２の姿勢推定処理を実行する。

Claims (9)

1. 車載カメラのカメラ画像に設定された処理対象領域における特徴点のオプティカルフローに基づいて前記車載カメラの姿勢を推定する姿勢推定処理を実行するコントローラを備え、
   前記コントローラは、
   前記カメラ画像内で観測される実空間では平行な２本の線が交わる点から導出される水平線の位置である水平線位置、前記車載カメラの取り付け高さ、および、前記水平線位置と前記車載カメラの光軸中心のズレ量である水平線ズレ量に基づいて前記処理対象領域の垂直方向の位置を設定する、
   情報処理装置。
2. 前記コントローラは、
   前記水平線ズレ量を前記車載カメラのＴＩＬＴ角とし、当該ＴＩＬＴ角および前記取り付け高さに基づいて前記処理対象領域の下端位置を算出する、
   請求項１に記載の情報処理装置。
3. 前記コントローラは、
   前記下端位置に基づいて設定した前記処理対象領域が前記カメラ画像内に映り込む車体部分と重なる場合に、前記下端位置が前記車体部分の最突出位置である車体位置より縦方向で上に位置するように前記処理対象領域の垂直方向の位置を補正する、
   請求項２に記載の情報処理装置。
4. 前記コントローラは、
   前記下端位置に基づいて設定した前記処理対象領域が前記カメラ画像内に映り込む車体部分と重なる場合に、前記下端位置が前記車体部分の最突出位置である車体位置より縦方向で上に位置するように前記処理対象領域の垂直方向のサイズを補正する、
   請求項２に記載の情報処理装置。
5. 前記水平線位置、前記車体位置および前記取り付け高さは、ユーザにより設定される、
   請求項３または４に記載の情報処理装置。
6. 前記コントローラは、
   前記カメラ画像の画像認識結果に基づいて前記水平線位置、前記車体位置および前記取り付け高さのうちの少なくともいずれかを設定する、
   請求項３または４に記載の情報処理装置。
7. 前記コントローラは、
   前記下端位置から前記姿勢推定処理に適した予め決められた距離範囲が含まれるように前記処理対象領域のサイズを設定する、
   請求項２に記載の情報処理装置。
8. 情報処理装置が実行する情報処理方法であって、
   車載カメラのカメラ画像に設定された処理対象領域における特徴点のオプティカルフローに基づいて前記車載カメラの姿勢を推定する姿勢推定処理を実行することと、
   前記カメラ画像内で観測される実空間では平行な２本の線が交わる点から導出される水平線の位置である水平線位置、前記車載カメラの取り付け高さ、および、前記水平線位置と前記車載カメラの光軸中心のズレ量である水平線ズレ量に基づいて前記処理対象領域の垂直方向の位置を設定することと、
   を含む、情報処理方法。
9. 車載カメラのカメラ画像に設定された処理対象領域における特徴点のオプティカルフローに基づいて前記車載カメラの姿勢を推定する姿勢推定処理を実行すること、
   前記カメラ画像内で観測される実空間では平行な２本の線が交わる点から導出される水平線の位置である水平線位置、前記車載カメラの取り付け高さ、および、前記水平線位置と前記車載カメラの光軸中心のズレ量である水平線ズレ量に基づいて前記処理対象領域の垂直方向の位置を設定すること、
   をコンピュータに実行させる、プログラム。

Images