JP7283268B2 - 情報処理装置及び車載システム - Google Patents

Description

本開示は、車両周辺の物体を認識する技術に関する。

従来、車両に搭載されたステレオカメラの撮影画像に基づいて車両周辺の物体までの距離を検出する技術が知られている。例えば、下記特許文献１には、遠距離での分解能を相対的に向上させることで、遠方側の距離計測の安定性を向上させる技術が提案されている。

特開２０１１－１９１９０５号公報

ステレオカメラ等から取得される視差画像では、視差点の視差値から距離が求められる。車両周辺の物体の距離を計測する際、視差値により分類したヒストグラムを形成し、各ビンの投票数に基づいて物体の距離を算出することができる。しかしながら発明者の詳細な検討の結果、視差により分類したヒストグラムの１つのビンに対応する距離幅は、車両からの距離が相対的に小さい近距離のビンほど小さくなるため、近距離のビンにおける１つのビンに対する投票数が少なくなり、物体の距離の適切な算出が行えない場合があるという課題が見出された。

本開示の１つの局面は、適切に物体までの距離の算出をすることができる技術を提供することにある。

本開示の一態様は、撮像装置（１１）を備える車両（３）にて用いられる情報処理装置（１３）である。情報処理装置は、第１算出部（３３）と、第２算出部（３４）と、を備える。第１算出部は、撮像装置を用いて取得され車両の周辺が撮影された視差画像（４１）における所定領域（４３）中の視差点を対象として、視差値に基づいて画定された複数の区間それぞれに属する視差点の数を算出する。第２算出部は、第１算出部により算出された複数の区間それぞれに属する視差点の数に基づいて、所定領域に示される物体までの距離を算出する。複数の区間のうち１つ以上の対象区間は、対象区間よりも小さい視差値に係る１つ以上の区間と比較して、区間を画定する視差値の範囲が大きくなるように構成されている。

このような構成であれば、相対的に近距離にある対象区間において、区間を画定する視差値の範囲が相対的に遠距離の区間よりも大きくなる。そのため、対象区間に含まれる区間それぞれに属する視差点の数が少なくなりすぎることを抑制でき、適切に物体までの距離を算出することができる。

本開示の別の態様は、車両（３）に搭載して用いられる車載システム（１）であって、撮像装置（１１）と、上述した情報処理装置（１３）と、を備える。撮像装置は、車両の周辺が撮影された視差画像（４１）を取得するための装置である。

このような構成によれば、上述した本開示の一態様の情報処理装置を備えることによる適切な物体までの距離算出を実現させることができる。

運転支援システムの構成を示すブロック図である。 実施形態の情報処理装置の機能ブロック図である。 物体検出処理のフローチャートである。 視差画像の例を示す図である。 図５Ａが、視差画像に基づく視差ヒストグラムの例を示す図であり、図５Ｂが、同じ視差画像に基づき一部を距離ヒストグラムに切替えた状態を示す図である。 視差値と距離の関係を示すグラフである。 図７Ａは、先行車のリアガラスに写り込みがある場合の例を示す図であり、図７Ｂは、先行車の内部が視認できる場合の例を示す図である。 ヒストグラムの切替え手法を説明する図である。 変形例の投票数判定手法を説明する図であって、参照するビンの数を切り替える位置を示す図である。 変形例の投票数判定手法を説明する図であって、参照するビンの数の変化を示す図である。

以下、図面を参照しながら、本開示の実施形態を説明する。
［１．実施形態］
［１－１．構成］
図１に示される車載システム１は、車両３に搭載して用いられるシステムであって、ステレオカメラ１１と、運転支援装置１２と、情報処理装置１３と、を備える。

ステレオカメラ１１は、右カメラ１１ａ及び左カメラ１１ｂを備える。右カメラ１１ａ及び左カメラ１１ｂは、互いに同期が取られたＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサを備える。右カメラ１１ａ及び左カメラ１１ｂは、例えば、車両３のフロントガラスの内側において、車幅方向に所定の間隔をあけて、路面から同じ高さに取り付けられている。右カメラ１１ａ及び左カメラ１１ｂは、所定の周期（例えば、０．１秒間隔）で車両３の周辺を繰り返し撮影する。ステレオカメラ１１が撮像装置に相当する。なお視差画像が取得可能であれば、ステレオカメラ以外の装置を用いてもよい。

運転支援装置１２は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ及びＩ／Ｏ等を備えたマイクロコンピュータを備えた装置である。運転支援装置１２は、一例として、先行車との車間距離を維持するように加減速を行う、いわゆるアダプティブ・クルーズ・コントロール（以下、ＡＣＣ）の制御が可能に構成されている。運転支援装置１２は、情報処理装置１３により出力される物体情報を用いてＡＣＣを実行する。

情報処理装置１３は、ＣＰＵ２１と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ２２）と、を有するマイクロコンピュータを備える。情報処理装置１３の各機能は、ＣＰＵ２１がメモリ２２に格納されたプログラムを実行することにより実現される。

情報処理装置１３は、図２に示されるように、第１算出部３３と、第２算出部３４と、を備える。また情報処理装置１３は、視差検出部３１と、物体認識・追跡部３２と、情報取得部３５と、種別判定部３６と、出力部３７と、を備えてもよい。

視差検出部３１は、ステレオカメラ１１を用いて取得された、車両３の周辺が撮影された視差画像から、視差画像に映される物体を示す視差点を検出する。視差画像には、画像上のエッジ部分を中心に多数の視差点が含まれる。つまり視差点は視差画像における物体が存在する蓋然性が高い位置にて検出される。視差点は公知の手法により取得できる。本実施形態では、視差検出部３１は、右カメラ１１ａ及び左カメラ１１ｂにより撮影がなされた都度、取得された左右の画像のアナログデータを、画素ごとに、所定の輝度階調のデジタルデータに変換する。そして、視差検出部３１は、左右のデジタル画像のステレオマッチングを行って視差を算出し、視差画像を生成する。

物体認識・追跡部３２は、視差画像から物体を検出すると共に、異なるタイミングで取得された視差画像における同一の物体の追跡を行い、さらに物体の種別を判定する。物体認識・追跡部３２は公知の方法を用いてこれらの処理を実行する。

第１算出部３３は、視差画像における所定の物体領域中の視差点を対象として、視差値に基づいて画定された複数の区間それぞれに属する視差点の数を算出する。本実施形態では、後述する視差ヒストグラム又は距離ヒストグラムの複数のビンが、上述した複数の区間に該当する。また、上述した複数の区間のうち１つ以上の区間である対象区間は、該対象区間よりも小さい視差値に係る１つ以上の区間と比較して、区間を画定する視差値の範囲が大きい。本実施形態では、対象区間とは、複数の区間のうち、所定の視差値以上の視差点が属する区間である。さらに本実施形態では、ヒストグラムの複数のビンのうち、距離が所定値以下の近距離に対応するビンが対象区間に該当する。

第２算出部３４は、第１算出部３３により算出されたヒストグラムの各ビンに属する視差点の数に基づいて、視差画像の物体領域に示される物体までの距離を算出する。本実施形態では、最頻値となるビンに係る視差値に対応する距離が物体の距離として算出される。もちろん、各ビンに属する視差点の数に基づいて算出されるならば、最頻値以外の方法で距離を算出してもよい。なお物体領域とは、視差画像における物体が存在する領域である。物体領域の設定方法や具体的な態様は特に限定されず、様々な手法、形状で設定できる。

情報取得部３５は、先行車の挙動を示す情報である物体情報を取得する。物体情報は、視差画像に示される先行車の位置又は移動などに関する情報などを含むが、その具体的な内容は特に限定されず、運転支援装置１２による運転支援に利用できる様々な情報を物体情報として用いてもよい。物体情報の例として、例えば物体までの距離、車両３の進行方向に対する物体の相対速度、進行方向と直交する方向に関する物体の位置及び相対速度、物体横幅、物体種別などが挙げられる。物体種別は種別判定部３６により特定される。出力部３７は、情報取得部３５により取得された物体情報を運転支援装置１２に出力する。

［１－２．処理］
次に、情報処理装置１３が実行する物体検出処理について、図３のフローチャートを用いて説明する。本処理は、周期的に、例えば右カメラ１１ａ及び左カメラ１１ｂにより画像が取得される毎に実行される。

まず、Ｓ１では、視差検出部３１が視差算出を行う。ここでは、視差検出部３１は、右カメラ１１ａ及び左カメラ１１ｂにより撮影された左右の撮影画像に基づいて、視差点を含む視差画像を生成する。

Ｓ２では、物体認識・追跡部３２が、視差画像から物体を検出する。このとき、検出された物体それぞれに物体領域が設定される。図４に示されるように、視差画像４１には多数の視差点４２が含まれる。視差画像４１における物体が存在する領域には、物体領域４３が設定される。本実施形態においては物体領域４３の対象となる物体は先行車１０１である。

Ｓ３では、物体認識・追跡部３２が、物体追跡をする。ここでは、今回取得した視差画像（以下、今回画像とも記載する）よりも１フレーム前の視差画像（以下、前回画像とも記載する）にて検出された物体を、今回画像において追跡し、特定する。物体追跡の具体的な方法は特に限定されない。例えば、前回画像にて検出された物体と今回画像にて検出された物体の尤度を算出し、尤度が所定の閾値以上である物体を同一の物体を判定してもよい。また今回画像に物体が複数存在する場合は、最も尤度が大きいものを同一の物体と判定してもよい。

Ｓ４では、第１算出部３３は、物体領域４３内の視差点４２について、図５Ａに示されるように視差ヒストグラムを作成する。視差ヒストグラムの各ビンは視差値により画定されており、視差ヒストグラムは各ビンに属する物体領域４３の視差点４２の数を示している。各ビンに対応する視差値の範囲は、視差値基準でいずれも一定の幅に設定されている。しかしながら図５Ａにおいては横軸をステレオカメラ１１から物体までの距離に換算して示しているため、距離が近いほど同じ視差値幅であってもビンの幅が狭くなる。以下、単に距離と記載する場合はこの距離を意味する。図６に確認的に示すように、視差値と距離は反比例の関係にある。視差値が大きいほどステレオカメラ１１から物体までの距離は小さい。また、仮に視差値の幅が同じであっても、対応する距離の幅は、距離が遠い（即ち、視差値が小さい）ほど大きくなる。そのため、視差値基準で等間隔にビンを画定しても、図５Ａのように横軸を距離とした場合は等間隔にならず、近距離ほどビンの境界は近くなる。

ここで、図５Ａのような視差ヒストグラムによって得られたビンそれぞれに属する視差点の数に基づき、最頻値のビンに対応する視差値を物体までの距離として算出しようとした場合、次のような問題が生じる場合がある。

図５Ａに示される視差ヒストグラムは、近距離と遠距離の２箇所に視差点が集中している。例えば図７Ａに示されるように、リアガラス１０２に後方かつ遠方の物体の映りこみがある場合や、図７Ｂに示されるようにリアガラス１０２を通過して車室内部の物体が映されている場合、それらの物体についても視差点が検出され、視差ヒストグラムに投票がされる。これらは、相対的に遠距離に対応するビンに投票される。一方、先行車１０１の背面部に係る視差点は、相対的に近距離に対応するビンに投票される。視差点は近距離ほど分解能が高くなるので、少しの距離変化で大きく視差値が変化する。そのため、投票されるビンが分散してしまい、近距離ほど１つのビンに属する視差点の数が少なくなりやすい。反対に、遠距離ほど視差点の数が大きくなりやすい。

運転支援にて取得が望まれる距離は、先行車１０１の背面部までの距離である場合が多いが、これは近距離のビンに対応する距離である。仮に近距離ほど多くの視差点を検出していたとしても、遠距離ほど１つのビンに含まれる視差点が多くなり、図５Ａに示されるように、遠距離のビンが最頻値となり易くなってしまうおそれがある。

そこで、続くＳ５では、図５Ｂに示されるように、所定の視差値を閾値として、視差値が所定の閾値以上の場合（即ち、所定の距離より近距離の場合）と、所定の閾値未満の場合と、でヒストグラムを切り替える。具体的には、視差値が所定の閾値以上の視差点については、距離ヒストグラムが生成される。

距離ヒストグラムは、各ビンの範囲が一定間隔の距離によって設定されている。つまり、各ビンの範囲を視差値基準で見ると、距離の範囲に換算したときに等しくなるように設定されており、近距離側のビンほど視差値の範囲が広くなる。

距離ヒストグラムの各ビンは、視差ヒストグラムの各ビンと比較して、ビンを画定する視差値の範囲が大きくなるように構成される。その結果、近距離のビンにおいて視差点の投票数が増加する（即ち、ビンに属する視差点が増加する）ため、近距離のビンを最頻値として算出しやすくなる。

なお、図８に示されるように、距離ヒストグラムのビン間隔をＡ［ｍ］としたとき、視差ヒストグラムにおいて、距離に換算したビン間隔がＡ［ｍ］以下となるビンのうち最も大きい間隔を有するところを境界として距離ヒストグラムに切り替えてもよい。これによりビン間隔が滑らかに切り替わる。

本実施形態においては、所定の閾値以上の視差値を有する視差点が属する各ビン（つまり、図５Ｂにおける距離ヒストグラムの各ビン）が「複数の区間のうち１つ以上の対象区間」に相当する。また、所定の閾値未満の視差値を有する視差点が属する各ビン（つまり、図５Ｂにおける視差ヒストグラムの各ビン）が「該対象区間よりも小さい視差値に係る１つ以上の区間」に相当する。また、図５Ｂの距離ヒストグラムに係る複数のビンは、「２つ以上の区間」に相当する。

Ｓ６では、第２算出部３４は、作成した図５Ｂのヒストグラムの最頻値を物体距離として算出する。
Ｓ７では、情報取得部３５は、Ｓ３にて追跡され、Ｓ６にて距離が設定された物体の位置及び速度を含む物体情報を取得する。物体の速度は、例えば、車両３の速度と、車両３と物体の相対速度から算出できる。

Ｓ８では、種別判定部３６は、テンプレートマッチング等を行い、検出された物体の種別を判定する。その後、本処理を終了する。
なお本処理によって取得された各種情報は、出力部３７によって運転支援装置１２に出力される。

［１－３．効果］
以上詳述した実施形態によれば、以下の効果を奏する。
（１ａ）情報処理装置１３は、相対的に近距離に対応するビンを画定する視差値の範囲が、相対的に遠距離に対応するビンを画定する視差値の範囲と比較して、大きくなるように構成されている。そのため、遠距離に対応するビンに属する視差値の数が、距離を基準としたビンの範囲が広いことに起因して大きくなってしまい、誤った距離として出力してしまうことを抑制できる。

（１ｂ）情報処理装置１３は、所定の視差値以上である視差点が属するビンに係る視差値の範囲を、一定の視差値の範囲で作成された視差ヒストグラムのビンとは異なる範囲に変更する。これにより、近距離の視差点について、過剰に細かく分類されたビンに投票されてしまうことを抑制でき、物体までの距離を適切に測定することができる。

（１ｃ）情報処理装置１３は、所定の視差値以上の視差点については、距離ヒストグラムを用いて投票を行う。そのため、近距離の視差点が投票されるビンについては、実際の距離に換算したときに等しい距離間隔となるように幅を設定できる。これにより、ステレオカメラ１１からの距離に起因するビンの投票されやすさの偏りを抑制して、物体までの距離を適切に測定することができる。

［２．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（２ａ）上記実施形態では、視差値が所定の閾値以上である視差点が属するビンは、距離ヒストグラムを適用し、それ以外のビンは視差ヒストグラムを適用して、最頻値を求める構成を例示した。また、ヒストグラムのビンを、最頻値を求めるための区間として用いる構成を例示した。

しかしながら、複数の区間のうち１つ以上の区間が、その区間よりも小さい視差値に係る１つ以上の区間と比較して、区間を画定する視差値の範囲が大きくなるように構成されていれば、その具体的な構成は特に限定されない。

例えば、所定の閾値以上の視差値のうち、全ての視差値の範囲で距離ヒストグラムが適用される構成でなくもよく、一部の視差値の範囲でのみ距離ヒストグラムが適用されてもよい。

また例えば、最頻値を求めるための区間それぞれが、ヒストグラムの１つのビンと対応していなくてもよい。図９に示されるように、視差値が所定の閾値以上である場合は複数のビンを参照して投票値を算出し、視差値が所定の閾値未満である場合は１つのビンを参照して投票値を算出してもよい。もちろん参照するビンの数はこれらに限らず、近距離ほど多くのビンを参照する構成であればよい。例えば図１０に示されるように、距離が近いほど段階的に多くのビンを参照するように構成されていてもよい。このような構成であれば、距離ヒストグラムを生成することなく、適切に距離の算出を行うことができる。

上述した構成では、視差ヒストグラムのビンが、「同一の視差値の範囲を有する複数の微小区間」に相当する。そして、視差点が属する区間は１つ又は複数の連続するビンにより構成され、所定の閾値を超える視差値を有する視差点が属する区間は、その他の区間と比較して複数の微小区間を含む。このように、上述した例では、最頻値を求めるための区間が微小区間を１つ以上含む。

もちろん、これら以外の態様で区間を設定してもよい。例えば、視差値に基づいて画定された複数の区間それぞれの範囲は、視差値又は距離が一定になるように範囲が設定されたビンを用いておらず、近距離のビンほど視差値範囲が大きくなるような任意の範囲に設定されていてもよい。また、視差値の範囲の設定方法を切り替える視差値の所定の閾値は、上記実施形態では１つである構成を例示した。しかしながら、例えば、２つ以上の閾値で３つ以上の領域に分けて、視差値の範囲の設定方法を切替えてもよい。

（２ｂ）上記実施形態では、物体領域４３に属する視差点に基づいてヒストグラムを作成する構成を例示した。つまり、物体領域４３が、物体の距離を測定する対象となる視差点が含まれる所定領域である構成を例示した。しかしながら、所定領域は上述した物体領域４３に限定されず、視差画像における様々な領域を採用することができる。例えば、視差画像全体や、視差画像中の予め設定された範囲、例えば視差画像の中心部分や消失点を含む部分、車両３の進行方向に対応する部分などを所定領域としてもよい。

（２ｃ）本開示に記載の情報処理装置１３及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の情報処理装置１３及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の情報処理装置１３及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。情報処理装置１３に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。

（２ｄ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

（２ｅ）上述した情報処理装置１３の他、当該情報処理装置１３を構成要素とするシステム、当該情報処理装置１３としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、距離測定判定方法など、種々の形態で本開示を実現することもできる。

３…車両、１１…ステレオカメラ、１３…情報処理装置、３３…第１算出部、３４…第２算出部、４１…視差画像、４３…物体領域

Claims (5)

1. 撮像装置（１１）を備える車両（３）にて用いられる情報処理装置（１３）であって、
   前記撮像装置を用いて取得され前記車両の周辺が撮影された視差画像（４１）における所定領域（４３）中の視差点を対象として、視差値に基づいて画定された複数の区間それぞれに属する前記視差点の数を算出し、前記複数の区間それぞれに属する前記視差点の数を示す視差ヒストグラムを作成する第１算出部（３３）と、
   前記第１算出部により作成された前記視差ヒストグラムにおける前記複数の区間それぞれに属する前記視差点の数に基づいて、前記所定領域に示される物体までの距離を算出する第２算出部（３４）と、を備え、
   前記複数の区間のうち１つ以上の区間である対象区間は、該対象区間よりも小さい視差値に係る１つ以上の区間と比較して、区間を画定する前記視差値の範囲が大きくなるように構成されており、
   前記対象区間は、前記複数の区間のうち、所定の視差値以上の前記視差点が属する区間であり、
   前記対象区間は２つ以上の区間であり、
   前記２つ以上の区間に係る前記範囲は、該範囲を距離の範囲に換算したときに等しくなるように設定されており、
   前記対象区間では、前記視差ヒストグラムに代えて、前記範囲が一定間隔の距離によって設定され、前記範囲それぞれに属する前記視差点の数を示す距離ヒストグラムが適用される、情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記距離ヒストグラムの前記範囲の間隔を距離間隔としたとき、前記視差ヒストグラムにおいて、距離に換算した区間が前記距離間隔以下となる区間のうち最も大きい区間以下となる区間を前記対象区間として前記距離ヒストグラムが適用される、情報処理装置。
3. 請求項１又は請求項２に記載の情報処理装置であって、
   前記対象区間よりも小さい視差値に係る１つ以上の区間に係る前記範囲は、一定の視差値となるように設定されている、情報処理装置。
4. 請求項１から請求項３のいずれか１項に記載の情報処理装置であって、
   前記複数の区間それぞれは、同一の視差値の範囲を有する複数の微小区間を１つ以上含むものであり、
   前記対象区間は、該対象区間よりも小さい視差値に係る１つ以上の区間と比較して多数の前記微小区間を含む、情報処理装置。
5. 車両（３）に搭載して用いられる車載システム（１）であって、
   前記車両の周辺が撮影された視差画像（４１）を取得するための撮像装置（１１）と、
   請求項１から請求項４のいずれか１項に記載の情報処理装置（１３）と、を備える車載システム。

Images