JP7359922B1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】車載カメラの取り付け状態の異常を精度よく簡便に検知すること。【解決手段】実施形態に係る情報処理装置は、コントローラを備える。コントローラは、車載カメラのカメラ画像に設定された処理対象領域から路面上の特徴点のオプティカルフローに基づく線分のペア群を抽出し、当該ペア群のペアデータそれぞれから推定される上記車載カメラ取り付けの角度推定値に基づいて上記車載カメラの姿勢を推定する姿勢推定処理を実行する。また、コントローラは、上記姿勢推定処理における上記ペアデータのデータ蓄積数、上記角度推定値の標準偏差、および、上記姿勢に関する既知のキャリブレーション値からのズレ量のうちの少なくともいずれかが許容外である場合に、上記車載カメラの取り付け状態が異常であると判定する。【選択図】図６

Description

開示の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。

車載カメラの取り付け位置および姿勢は、不意の接触や経年変化などにより変化し、取り付け当初のキャリブレーション結果からズレを生じてしまうことがある。これを検知するため従来から、車載カメラによって撮像されたカメラ画像に基づいて車載カメラの姿勢を推定する技術が知られている。

例えば特許文献１には、カメラ画像中に設定された矩形状のＲＯＩ（Region Of Interest；処理対象領域）から路面上の特徴点を抽出し、この特徴点のフレーム間での動きを示すオプティカルフローに基づいて車載カメラの姿勢を推定する技術が開示されている。

かかるオプティカルフローに基づいて実空間における平行な線分のペアを抽出し、例えば非特許文献１のアルゴリズムを用いることで、車載カメラの姿勢（ＰＡＮ，ＴＩＬＴ，ＲＯＬＬの各軸の回転角）を推定することができる。

特開２０２１－０８６２５８号公報

[online]，慶應義塾大学，[令和４年７月２５日検索]，インターネット＜URL:http://im-lab.net/artoolkit-overview/＞

しかしながら、上述した従来技術には、車載カメラの取り付け状態の異常を精度よく簡便に検知するうえで、さらなる改善の余地がある。

上述した従来技術を用いて推定された車載カメラの姿勢は、例えば車両システムの運転支援機能における画像認識処理に用いられるが、既知のキャリブレーション値からのズレ量が微量である場合は通常、この画像認識処理内で補正することが可能である。ただし、補正し切れないほどズレ量が大きい場合は、画像認識処理において例えば物体の誤検知や未検知が生じてしまう。

ここで、誤検知の場合、例えば誤検知によるアラートが多発すれば、ユーザは車載カメラの取り付け状態が異常であることを把握して取り付け状態の再調整を行うことができる。これに対し、誤検知でもアラートが通知されない場合や未検知の場合、ユーザは取り付け状態の異常を把握することができない。また、その結果、車載カメラの取り付け状態の再調整は行われず、車両システムは運転支援機能を正常に動作させることができない。

実施形態の一態様は、上記に鑑みてなされたものであって、車載カメラの取り付け状態の異常を精度よく簡便に検知することができる情報処理装置、情報処理方法およびプログラムを提供することを目的とする。

実施形態の一態様に係る情報処理装置は、コントローラを備える。前記コントローラは、車載カメラのカメラ画像に設定された処理対象領域から路面上の特徴点のオプティカルフローに基づく線分のペア群を抽出し、当該ペア群のペアデータそれぞれから推定される前記車載カメラ取り付けの角度推定値に基づいて前記車載カメラの姿勢を推定する姿勢推定処理を実行する。また、前記コントローラは、前記姿勢推定処理における前記ペアデータのデータ蓄積数が予め設定された基準値の１０分の１以下である場合に、前記車載カメラの取り付け状態が異常であると判定する。

実施形態の一態様によれば、車載カメラの取り付け状態の異常を精度よく簡便に検知することができる。

図１は、実施形態に係るカメラ取り付け状態の異常判定方法の説明図（その１）である。 図２は、実施形態に係るカメラ取り付け状態の異常判定方法の説明図（その２）である。 図３は、実施形態に係るカメラ取り付け状態の異常判定方法の説明図（その３）である。 図４は、実施形態に係るカメラ取り付け状態の異常判定方法の説明図（その４）である。 図５は、実施形態に係るカメラ取り付け状態の異常判定方法の説明図（その５）である。 図６は、実施形態に係る車載装置の構成例を示すブロック図である。 図７は、姿勢推定部の構成例を示すブロック図である。 図８は、判定条件情報に含まれる正常判定条件の説明図である。 図９は、判定条件情報に含まれる異常判定条件の説明図である。 図１０は、実施形態に係る車載装置が実行する処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する情報処理装置、情報処理方法およびプログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

また、以下では、実施形態に係る情報処理装置が、カメラ１１を備える車載装置１０（図６参照）である場合を例に挙げて説明を行う。車載装置１０は、例えばドライブレコーダである。また、以下では、実施形態に係る情報処理方法が、車載装置１０の実行するカメラ１１の取り付け状態の異常判定方法であるものとする。

また、以下では、「所定」と言った場合、「予め決められた」と言い換えてもよい。例えば、「所定値」は「予め決められた値」と言い換えてもよい。

まず、実施形態に係るカメラ取り付け状態の異常判定方法の内容について、図１～図５を用いて説明する。図１～図５は、実施形態に係るカメラ取り付け状態の異常判定方法の説明図（その１）～（その５）である。

車載装置１０が路面上の特徴点のオプティカルフローに基づいてカメラ１１の姿勢を推定する場合、抽出される路面上の特徴点としては、横断歩道や車線といった路面標示のコーナー部分などが挙げられる。

図１は、ＲＯＩ３０内において、横断歩道のコーナー部分に基づいてＲＯＩ３０を２分割した左半分の領域Ｒ１内にオプティカルフローＯｐ１が、右半分の領域Ｒ２内にオプティカルフローＯｐ２が、それぞれ抽出された例を示している。

非特許文献１のアルゴリズムは、実空間における平行な線分のペアを前提とする。また、本実施形態では、領域Ｒ１内に抽出されたオプティカルフローと領域Ｒ２内に抽出されたオプティカルフローとの組み合わせでペアを生成する。

図１のオプティカルフローＯｐ１，Ｏｐ２は、いずれも横断歩道のコーナー部分に基づくものであるので、実空間における平行な線分のペアである。したがって、オプティカルフローＯｐ１，Ｏｐ２のペアは姿勢推定における正しい組み合わせ（以下、適宜「正フロー」と言う）となる。

一方、ＲＯＩ３０内では、オプティカルフローＯｐ１，Ｏｐ２以外にもオプティカルフローＯｐ１，Ｏｐ２と非平行な場合を含む多くのオプティカルフローが抽出される。したがって、これらオプティカルフローにおいては、前述の正フローに対し、誤った組み合わせ（以下、適宜「誤フロー」と言う）となるペアも生じる。この誤フローに基づいては、カメラ１１の姿勢を正しく推定することができない。

このため、カメラ１１の姿勢推定処理では、抽出したオプティカルフローのペアのそれぞれについてＰＡＮ，ＴＩＬＴ，ＲＯＬＬの各軸の回転角を推定し、図２に示すように統計的に推定値をヒストグラム化した場合の中央値に基づいてカメラ１１の軸ズレを判定している。図２の例の場合、中央値である推定値ｅ５が角度推定値として採用される。

このようにして推定された角度推定値は、既に述べた通り、例えば車両システムの運転支援機能における画像認識処理に用いられるが、既知のキャリブレーション値からのズレ量が微量である場合は通常、この画像認識処理内で補正することが可能である。ただし、補正し切れないほどズレ量が大きい場合は、画像認識処理において例えば物体の誤検知や未検知が生じてしまい、運転支援機能が正常に動作しなくなるため、カメラ１１の取り付け状態の再調整が必要となる。

この再調整が必要な場合の例を図３および図４に示す。なお、図３は、上下方向へのズレのうち、上方向へのズレを示す具体例となっているが下方向についても同様である。また、図４は、左右方向へのズレのうち、左方向へのズレを示す具体例となっているが右方向についても同様である。

図３に示すように、カメラ１１の取り付け状態が上下方向へズレている場合、ＲＯＩ３０内には例えば空や自車両の車体などが映り込むため、ＲＯＩ３０内に特徴点が少なくなる。この場合、路面上の特徴点に基づく前述のオプティカルフローのペアのデータ（以下、適宜「ペアデータ」と言う）を、統計的に処理できるほど十分に蓄積できない。

また、図４に示すように、カメラ１１の取り付け状態が左右方向へズレている場合、ＲＯＩ３０内に特徴点は出るが路面以外の例えば建物等の特徴点も多く含まれることとなる。すなわち、ＲＯＩ３０内に特徴点は出るが角度推定値のバラつきが大きくなる。

そこで、実施形態に係るカメラ取り付け状態の異常判定方法では、車載装置１０が備えるコントローラ１５（図６参照）が、図５に示すようにデータ蓄積数、標準偏差、キャリブレーション値からのズレ量のうちの少なくともいずれか一つが許容外である場合に、カメラ１１の取り付け状態が異常と判定することとした。

データ蓄積数は、前述のペアデータのデータ蓄積数である。標準偏差は、ペアデータそれぞれに基づく角度推定値の標準偏差である。キャリブレーション値からのズレ量は、既知の、言い換えれば直近のキャリブレーション値からのズレ量である。

データ蓄積数が許容外とは、例えばデータ蓄積数が所定値以下である場合であり、図３に示した例に相当する。標準偏差が許容外とは、例えば標準偏差が所定値以上である場合であり、図４に示した例に相当する。キャリブレーション値からのズレ量が許容外とは、取り付け状態の再調整なしに算出された角度推定値に基づいて再キャリブレーションを行う場合であって、画像認識処理における補正が不可能である場合に相当する。

これらデータ蓄積数、標準偏差、キャリブレーション値からのズレ量のうちの少なくともいずれか一つが許容外である場合に、カメラ１１の取り付け状態が異常と判定することによって、精度よくカメラ１１の取り付け状態の異常を検知することができる。

また、当該異常判定方法は、姿勢推定処理のアルゴリズムにおいて用いられる既知の各種データ（すなわち、データ蓄積数、標準偏差、キャリブレーション値からのズレ量）を利用するものであるので、簡便にカメラ１１の取り付け状態の異常を検知することができる。

したがって、実施形態に係るカメラ取り付け状態の異常判定方法によれば、カメラ１１の取り付け状態の異常を精度よく簡便に検知することができる。

なお、図２には、上記姿勢推定処理が、前述のペアデータそれぞれから推定されるカメラ取り付けの角度推定値の「中央値」に基づいてカメラ１１の姿勢を推定する例を挙げたが、データ蓄積数が十分であればほとんどの場合正規分布となる。このため、実情は「中央値≒最頻値」となる。したがって、姿勢推定処理は、「中央値」および「最頻値」のいずれを採用してもよい。姿勢推定処理は、「中央値」を採用した場合、処理コスト的に有利となる。一方、姿勢推定処理は、「最頻値」を採用した場合、より高い精度を求めることができる。本実施形態では、図２に示した通り、「中央値」を採用するものとする。

以下、上述したカメラ取り付け状態の異常判定方法を適用した車載装置１０の構成例について、より具体的に説明する。

図６は、実施形態に係る車載装置１０の構成例を示すブロック図である。また、図７は、姿勢推定部１５ａの構成例を示すブロック図である。なお、図６および図７では、本実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。

換言すれば、図６および図７に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

また、図６および図７を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、説明を省略する場合がある。

図６に示すように、実施形態に係る車載装置１０は、カメラ１１と、センサ部１２と、通知デバイス１３と、記憶部１４と、コントローラ１５とを有する。

カメラ１１は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、この撮像素子を用いて予め決められた撮像範囲を撮像する。カメラ１１は、例えばフロントガラスやダッシュボード等の車両の各所に車両前方の所定の撮像範囲を撮像するように取り付けられる。

センサ部１２は、車両に搭載される各種のセンサである。センサ部１２は、例えば車速センサやＧセンサなどを含む。通知デバイス１３は、ユーザに対しカメラ１１の取り付け状態に関する情報等を通知するデバイスである。通知デバイス１３は、例えばディスプレイやスピーカ等によって実現される。

記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の記憶デバイスによって実現される。記憶部１４は、図６の例では、画像情報１４ａと、判定条件情報１４ｂと、取り付け関連情報１４ｃとを記憶する。

画像情報１４ａは、カメラ１１によって撮像されたカメラ画像が格納される。判定条件情報１４ｂは、カメラ１１の取り付け状態の判定条件に関する情報である。判定条件情報１４ｂに含まれる判定条件については、図８および図９を用いた説明で後述する。

取り付け関連情報１４ｃは、カメラ１１の取り付け状態に関する情報である。取り付け関連情報１４ｃは、カメラ１１の取り付け位置および姿勢に関する設計値や、キャリブレーション値を含む。また、取り付け関連情報１４ｃは、後述する姿勢推定部１５ａが実行する姿勢推定処理において用いられるカメラパラメータや閾値等の各種のパラメータを含む。

コントローラ（controller）１５は、いわゆるプロセッサや制御部に相当する。コントローラ１５は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、記憶部１４に記憶されている図示略の実施形態に係るプログラムがＲＡＭを作業領域として実行されることにより実現される。また、コントローラ１５は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

コントローラ１５は、姿勢推定部１５ａと、キャリブレーション実行部１５ｂとを有し、以下に説明する情報処理の機能や作用を実現または実行する。

姿勢推定部１５ａは、ＲＯＩ３０内における路面上の特徴点に基づくオプティカルフローを使用した姿勢推定処理を実行する。当該姿勢推定処理において、姿勢推定部１５ａは、データ蓄積数、標準偏差、キャリブレーション値からのズレ量のうちの少なくともいずれか一つが許容外である場合に、カメラ１１の取り付け状態が異常であると判定する。

姿勢推定部１５ａの構成例についてより具体的に図７を用いて説明する。図７に示すように、姿勢推定部１５ａは、取得部１５ａａと、設定部１５ａｂと、特徴点抽出部１５ａｃと、特徴点追従部１５ａｄと、線分抽出部１５ａｅと、算出部１５ａｆと、ノイズ除去部１５ａｇと、判定部１５ａｈと、決定部１５ａｉとを有する。

取得部１５ａａは、カメラ１１の撮像画像を取得し、画像情報１４ａへ格納する。設定部１５ａｂは、画像情報１４ａへ格納されたカメラ画像に対し、カメラ１１の姿勢推定において処理対象となるＲＯＩ３０を設定する。

特徴点抽出部１５ａｃは、設定部１５ａｂによって設定されたＲＯＩ３０内の特徴点を抽出する。

特徴点追従部１５ａｄは、特徴点抽出部１５ａｃによって抽出された各特徴点をフレーム間にわたって追従し、特徴点ごとのオプティカルフローを抽出する。線分抽出部１５ａｅは、特徴点追従部１５ａｄによって抽出されたオプティカルフローからノイズ成分を除去し、各オプティカルフローに基づく線分のペア群を抽出する。

算出部１５ａｆは、線分抽出部１５ａｅによって抽出された線分のペアのそれぞれについて、非特許文献１のアルゴリズムを用いてＰＡＮ，ＴＩＬＴ，ＲＯＬＬの各軸の回転角を算出する。

ノイズ除去部１５ａｇは、センサ部１２のセンサ値に基づいて、算出部１５ａｆによって算出された各角度推定値のうちから低速および舵角によるノイズ分を除去する。

判定部１５ａｈは、ノイズ分が除去された各角度推定値をヒストグラム化するとともに、前述のデータ蓄積数、標準偏差、キャリブレーション値からのズレ量のうちの少なくともいずれか一つが許容外である場合に、カメラ１１の取り付け状態が異常であるか否かを判定する判定処理を実行する。

このとき、判定部１５ａｈは、判定条件情報１４ｂに含まれる正常判定条件／異常判定条件を参照する。図８は、判定条件情報１４ｂに含まれる正常判定条件の説明図である。図９は、判定条件情報１４ｂに含まれる異常判定条件の説明図である。なお、以下では、「キャリブレーション値」のことを適宜「キャリブ値」と言う。

判定部１５ａｈは、図８に示す正常判定条件を満たす場合、カメラ１１の取り付け状態が正常であると判定する。図８の（１）に示すように、ＩＧ（イグニッション）オン直後と呼ばれるＩＧオンの時点から所定期間の間は、判定部１５ａｈは走行時間１０分ごとに図８に示す正常判定条件を参照した判定処理を実行する。

判定部１５ａｈは、（１）ＩＧオン直後は、データ蓄積数が１００以上であり、標準偏差が１０以下であれば、カメラ１１の取り付け状態が正常であると判定する。

また、判定部１５ａｈは、図８の（２）に示すように、ＩＧオン直後より後（すなわち（１）より後）は、判定部１５ａｈは走行時間３０分ごとに図８に示す正常判定条件を参照した判定処理を実行する。

判定部１５ａｈは、（２）ＩＧオン直後より後は、データ蓄積数が１００以上であり、標準偏差が５以下であれば、カメラ１１の取り付け状態が正常であると判定する。なお、図８に挙げたデータ蓄積数の「１００以上」、標準偏差の「１０以下」および「５以下」は、「基準値」の一例に相当する。

また、判定部１５ａｈは、図８に示す正常判定条件を満たさない場合、カメラ１１の取り付け状態が異常であると判定する。また、判定部１５ａｈは、当該異常である場合に、図９に示す異常判定条件を満たすか否かによって、推定される状態を判定する。

具体的には、図９に示すように、判定部１５ａｈは、（１）ＩＧオン直後については走行時間１０分ごとに図９に示す異常判定条件を参照した判定処理を実行する。そして、判定部１５ａｈは、データ蓄積数が１０以下である場合、路面が映らない（ＴＩＬＴ下向きのズレ）状態であると推定する（図中の（１－１）の＊１参照）。

また、判定部１５ａｈは、データ蓄積数が１００以上であり、標準偏差が２０以上であれば、路面が映らない状態であると推定する（図中の（１－２）の＊２参照）。なお、＊１は、例えば図３を用いて説明した状態に相当する。また、＊２は、例えば図４を用いて説明した状態に相当する。

また、判定部１５ａｈは、（２）ＩＧオン直後より後の（２－１）については走行時間１０分ごとに図９に示す異常判定条件を参照した判定処理を実行する。そして、判定部１５ａｈは、データ蓄積数が１０以下である場合、路面が映らない（ＴＩＬＴ下向きのズレ）状態であると推定する（図中の（２－１）の＊１参照）。

また、判定部１５ａｈは、（２－２）および（２－３）については走行時間３０分ごとに図９に示す異常判定条件を参照した判定処理を実行する。そして、判定部１５ａｈは、データ蓄積数が１００以上であり、標準偏差が２０以上であれば、路面が映らない状態であると推定する（図中の（２－２）の＊２参照）。

また、判定部１５ａｈは、データ蓄積数が１００以上であり、標準偏差が５以下であり、キャリブ値からのズレ量が１０ｄｅｇ以上であれば、路面は映っているが既知のキャリブレーション値からのズレ量が大きい状態であると推定する（図中の（２－３）の＊３参照）。

図７の説明に戻る。判定部１５ａｈは、カメラ１１の取り付け状態が異常であると判定した場合、当該異常であることおよび推定される状態を通知デバイス１３へ通知する。ユーザは、その通知内容に基づいて、カメラ１１の取り付け状態の再調整を例えばディーラー等で行ってもらうこととなる。また、判定部１５ａｈは、カメラ１１の取り付け状態が異常である場合、例えば姿勢推定処理を異常終了させる。

一方、判定部１５ａｈは、カメラ１１の取り付け状態が正常であると判定した場合、決定部１５ａｉに角度推定値を決定させる。決定部１５ａｉは、判定部１５ａｈによってヒストグラム化された角度推定値の中央値に基づいてＰＡＮ，ＴＩＬＴ，ＲＯＬＬの各角度推定値を決定する。また、決定部１５ａｉは、決定した角度推定値を取り付け関連情報１４ｃへ格納する。

図６の説明に戻る。キャリブレーション実行部１５ｂは、姿勢推定部１５ａによる推定結果に基づいてキャリブレーションを実行する。具体的には、キャリブレーション実行部１５ｂは、姿勢推定部１５ａによって推定された角度推定値と取り付け関連情報１４ｃに含まれる設計値との誤差を算出し、キャリブレーション値として外部装置５０へ通知する。

外部装置５０は、例えば駐車枠検知機能や自動駐車機能といった運転支援機能を実現する各装置である。また、キャリブレーション実行部１５ｂは、通知デバイス１３へキャリブレーションの実行結果を通知する。なお、この場合のキャリブレーションの実行結果は、カメラ１１の取り付け状態が正常な状態で行われた実行結果となる。

次に、車載装置１０が実行する処理手順について図１０を用いて説明する。図１０は、実施形態に係る車載装置１０が実行する処理手順を示すフローチャートである。

図１０に示すように、車載装置１０のコントローラ１５は、カメラ１１からカメラ画像を取得してＲＯＩ３０を設定する（ステップＳ１０１）。

そして、コントローラ１５は、設定したＲＯＩ３０内のオプティカルフローを使用した姿勢推定処理を実行する（ステップＳ１０２）。

そして、コントローラ１５は、その姿勢推定処理において、データ蓄積数、標準偏差およびキャリブ値からのズレ量のいずれかが許容外であるか否かを判定する（ステップＳ１０３）。

許容外である場合（ステップＳ１０３，Ｙｅｓ）、コントローラ１５は、カメラ１１の取り付け状態が異常であると判定し（ステップＳ１０４）、通知デバイス１３へ異常を通知する（ステップＳ１０５）。そして、処理を終了する。

また、コントローラ１５は、データ蓄積数、標準偏差およびキャリブ値からのズレ量のいずれも許容内である場合（ステップＳ１０３，Ｎｏ）、姿勢推定処理の結果に基づいてキャリブレーションを実行する（ステップＳ１０６）。

そして、コントローラ１５は、処理終了イベントがあるか否かを判定する（ステップＳ１０７）。処理終了イベントは、たとえば姿勢推定処理の非実行時間帯の到来や、エンジンの停止や、電源のオフ等である。

処理終了イベントが生じていなければ（ステップＳ１０７，Ｎｏ）、コントローラ１５は、ステップＳ１０１からの処理を繰り返す。処理終了イベントが生じていれば（ステップＳ１０７，Ｙｅｓ）、コントローラ１５は処理を終了する。

上述してきたように、実施形態に係る車載装置１０（「情報処理装置」の一例に相当）は、コントローラ１５を備える。コントローラ１５は、カメラ１１（「車載カメラ」の一例に相当）のカメラ画像に設定されたＲＯＩ３０（「処理対象領域」の一例に相当）から路面上の特徴点のオプティカルフローに基づく線分のペア群を抽出し、当該ペア群のペアデータそれぞれから推定されるカメラ１１取り付けの角度推定値に基づいてカメラ１１の姿勢を推定する姿勢推定処理を実行する。また、コントローラは、上記姿勢推定処理における上記ペアデータのデータ蓄積数、上記角度推定値の標準偏差、および、上記姿勢に関する既知のキャリブレーション値からのズレ量のうちの少なくともいずれかが許容外である場合に、カメラ１１の取り付け状態が異常であると判定する。

したがって、実施形態に係る車載装置１０によれば、カメラ１１の取り付け状態の異常を精度よく簡便に検知することができる。

また、コントローラ１５は、上記データ蓄積数、上記標準偏差および上記ズレ量のうちのいずれかが予め設定された基準値から所定値以上逸脱した場合に、上記異常であると判定する。

したがって、実施形態に係る車載装置１０によれば、上記データ蓄積数、上記標準偏差および上記ズレ量のうちのいずれかが上記基準値から大きく外れた場合をカメラ１１の取り付け状態が異常であるとして検知することができる。

また、コントローラ１５は、上記データ蓄積数が上記基準値の１０分の１以下である場合に、上記異常であると判定する。

したがって、実施形態に係る車載装置１０によれば、路面上の特徴点の少なさに基づいてカメラ１１の取り付け状態の異常を検知することができる。

また、コントローラ１５は、上記基準値が１００以上であることに対して、上記データ蓄積数が１０以下である場合に、上記異常であると判定する。

したがって、実施形態に係る車載装置１０によれば、上記基準値が１００以上であることに対して上記データ蓄積数が１０以下であることによって、例えばカメラ１１の上下方向における許容外のズレを検知することができる。

また、コントローラ１５は、上記標準偏差が上記基準値の２倍以上である場合に、上記異常であると判定する。

したがって、実施形態に係る車載装置１０によれば、角度推定値のバラつきの大きさに基づいてカメラ１１の取り付け状態の異常を検知することができる。

また、コントローラ１５は、上記基準値が１０以下であることに対して、上記標準偏差が２０以上である場合に、上記異常であると判定する。

したがって、実施形態に係る車載装置１０によれば、上記基準値が１０以下であることに対して上記標準偏差が２０以上であることによって、例えばカメラ１１の左右方向における許容外のズレを検知することができる。

また、コントローラ１５は、上記ズレ量が１０ｄｅｇ以上である場合に、上記異常であると判定する。

したがって、実施形態に係る車載装置１０によれば、カメラ１１の取り付け状態の再調整なしには再キャリブレーションが不可能なカメラ１１の取り付け状態の異常を検知することができる。

また、コントローラ１５は、上記姿勢推定処理において、上記角度推定値の中央値に基づいてカメラ１１の姿勢を推定する。

したがって、実施形態に係る車載装置１０によれば、角度推定値の中央値に基づくことで処理コスト的に有利にカメラ１１の姿勢を推定することができる。

また、コントローラ１５は、上記姿勢推定処理において、上記角度推定値の最頻値に基づいてカメラ１１の姿勢を推定する。

したがって、実施形態に係る車載装置１０によれば、角度推定値の最頻値に基づくことで精度よくカメラ１１の姿勢を推定することができる。

また、実施形態に係るカメラ取り付け状態の異常判定方法は、車載装置１０が実行する情報処理方法であって、カメラ１１のカメラ画像に設定されたＲＯＩ３０から路面上の特徴点のオプティカルフローに基づく線分のペア群を抽出し、当該ペア群のペアデータそれぞれから推定されるカメラ１１取り付けの角度推定値に基づいてカメラ１１の姿勢を推定する姿勢推定処理を実行することと、上記姿勢推定処理における上記ペアデータのデータ蓄積数、上記角度推定値の標準偏差、および、上記姿勢に関する既知のキャリブレーション値からのズレ量のうちの少なくともいずれかが許容外である場合に、カメラ１１の取り付け状態が異常であると判定することと、を含む。

したがって、実施形態に係るカメラ取り付け状態の異常判定方法によれば、カメラ１１の取り付け状態の異常を精度よく簡便に検知することができる。

また、実施形態に係るプログラムは、カメラ１１のカメラ画像に設定されたＲＯＩ３０から路面上の特徴点のオプティカルフローに基づく線分のペア群を抽出し、当該ペア群のペアデータそれぞれから推定されるカメラ１１取り付けの角度推定値に基づいてカメラ１１の姿勢を推定する姿勢推定処理を実行すること、上記姿勢推定処理における上記ペアデータのデータ蓄積数、上記角度推定値の標準偏差、および、上記姿勢に関する既知のキャリブレーション値からのズレ量のうちの少なくともいずれかが許容外である場合に、カメラ１１の取り付け状態が異常であると判定すること、をコンピュータに実行させる。

したがって、実施形態に係るプログラムによれば、カメラ１１の取り付け状態の異常を精度よく簡便に検知することができる。

なお、実施形態に係るプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。当該記録媒体も、本開示の一態様である。

また、上述した実施形態において挙げた正常判定条件および異常判定条件における各種パラメータの値はあくまで一例であって、当該値を限定するものではない。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１０ 車載装置
１１ カメラ
１２ センサ部
１３ 通知デバイス
１４ 記憶部
１４ａ 画像情報
１４ｂ 判定条件情報
１４ｃ 取り付け関連情報
１５ 制御部
１５ａ 姿勢推定部
１５ａａ 取得部
１５ａｂ 設定部
１５ａｃ 特徴点抽出部
１５ａｄ 特徴点追従部
１５ａｅ 線分抽出部
１５ａｆ 算出部
１５ａｇ ノイズ除去部
１５ａｈ 判定部
１５ａｉ 決定部
１５ｂ キャリブレーション実行部
３０ ＲＯＩ
５０ 外部装置

Claims (8)

1. 車載カメラのカメラ画像に設定された処理対象領域から路面上の特徴点のオプティカルフローに基づく線分のペア群を抽出し、当該ペア群のペアデータそれぞれから推定される前記車載カメラ取り付けの角度推定値に基づいて前記車載カメラの姿勢を推定する姿勢推定処理を実行するコントローラを備え、
   前記コントローラは、
   前記姿勢推定処理における前記ペアデータのデータ蓄積数が予め設定された基準値の１０分の１以下である場合に、前記車載カメラの取り付け状態が異常であると判定する、
   情報処理装置。
2. 前記コントローラは、
   前記基準値が１００以上であることに対して、前記データ蓄積数が１０以下である場合に、前記異常であると判定する、
   請求項１に記載の情報処理装置。
3. 前記コントローラは、
   前記姿勢推定処理において、前記角度推定値の中央値に基づいて前記車載カメラの姿勢を推定する、
   請求項１または２に記載の情報処理装置。
4. 前記コントローラは、
   前記姿勢推定処理において、前記角度推定値の最頻値に基づいて前記車載カメラの姿勢を推定する、
   請求項１または２に記載の情報処理装置。
5. 情報処理装置が実行する情報処理方法であって、
   車載カメラのカメラ画像に設定された処理対象領域から路面上の特徴点のオプティカルフローに基づく線分のペア群を抽出し、当該ペア群のペアデータそれぞれから推定される前記車載カメラ取り付けの角度推定値に基づいて前記車載カメラの姿勢を推定する姿勢推定処理を実行することと、
   前記姿勢推定処理における前記ペアデータのデータ蓄積数が予め設定された基準値の１０分の１以下である場合に、前記車載カメラの取り付け状態が異常であると判定することと、
   を含む、情報処理方法。
6. 車載カメラのカメラ画像に設定された処理対象領域から路面上の特徴点のオプティカルフローに基づく線分のペア群を抽出し、当該ペア群のペアデータそれぞれから推定される前記車載カメラ取り付けの角度推定値に基づいて前記車載カメラの姿勢を推定する姿勢推定処理を実行すること、
   前記姿勢推定処理における前記ペアデータのデータ蓄積数が予め設定された基準値の１０分の１以下である場合に、前記車載カメラの取り付け状態が異常であると判定すること、
   をコンピュータに実行させる、プログラム。
7. 車載カメラのカメラ画像に設定された処理対象領域から路面上の特徴点のオプティカルフローに基づく線分のペア群を抽出し、当該ペア群のペアデータそれぞれから推定される前記車載カメラ取り付けの角度推定値に基づいて前記車載カメラの姿勢を推定する姿勢推定処理を実行するコントローラを備え、
   前記コントローラは、
   前記角度推定値の推定に用いる前記ペアデータのデータ蓄積数が統計的に処理できる数より少ない場合に、前記車載カメラの取り付け状態が異常であると判定する、
   情報処理装置。
8. 前記統計的に処理できる数は、前記角度推定値の正規分布が求められる数である、
   請求項７に記載の情報処理装置。

Images